人工智能深度学习:初始化如何影响训练?

开课吧开课吧锤锤2021-02-24 17:48

点赞
有用
分享分享

技术在程序员中,是用实力说话的。有一个超强的实力,大家都会羡慕想跟随你学习。跟随一个好的老师学习,可能比闭门造车要学的更好,更快。

人工智能深度学习:初始化如何影响训练? 

方法:我们生成两个 12 维高斯混合。高斯具有相同的协方差矩阵,但在每个维度都有一个由 1 隔开的均值。该数据集由 500 个高斯组成,其中 400 个用于训练,100 个用于测试。我们在这个神经网络中初始化权重值,看哪一个具有最好的训练性能。

假设:我们期望 Xavier 损失具有最好的性能(它是 tensorflow 中使用的默认值),而其他方法性能不佳(尤其是不断的初始化)。

运行实验所需的时间: 34.137 s

结论:Xavier 和高斯(具有较低的方差)初始化会得到很好的训练。有趣的是,常数 0 的初始化最终导致训练,而其他初始化并不会。

讨论:Xavire 初始化提供了最好的性能,这并不奇怪。标准偏差小的高斯也适用(但不像 Xavire 那样好)。如果方差变得太大,那么训练速度就会变得较慢,这可能是因为神经网络的大部分输出都发生了爆炸。

有趣的是,持续的初始化(理论上不应该能够训练神经网络)在几个轮数之后就会导致训练进行。这可能是由于核心并行化导致小的数值误差,最终导致了不同权重的散度。有趣的是,当权重都为 1 时,这些就都不起作用了。

以上就是人工智能深度学习:初始化如何影响训练的具体解析,如果你想快速提升自己,那今天小编就送您一份免费课程,只要点击图片即可免费获得课程。

ai

 

跟随正确的人学习,你就会感觉什么是鸟枪换大炮,什么是自行车变火箭,技术快速的提升。

有用
分享