美国持续封锁,华为的技术自研,已经深入到了AI底层算法层面上,并开始将研究成果面向业界开源。


刚刚,华为诺亚实验室开源Disout算法(地址在文末),直接对标谷歌申请专利的Dropout算法。


而且,在多项任务上,华为的新算法都超过了Dropout。比如,在ImageNet上训练的ResNet-50可以达到78.76%的准确率,而谷歌Dropout系列方法仅为76.8%。


这一算法背后的论文,已被AAAI 2020收录,并对外公开。华为到底提出的Disout到底如何,也得以呈现。

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout!

华为自研Disout:多项AI任务超越Dropout


在申请专利时,谷歌将Dropout定义为“解决神经网络过拟合的系统和方法”。


其核心的思路是,训练神经网络前向传播过程中,Dropout能让某个神经元的激活值以一定的概率p停止工作,也就是“Drop”(丢弃),提升模型稳定性,来缓解过拟合现象。


而Disout是提出的新型替代方案,是一种通过研究特征图扰动来增强深度神经网络的泛化能力的方法。


简单来说,就是根据网络中间层的Rademacher 复杂度(ERC),确定给定深度神经网络的泛化误差上界。


并将扰动引入特征图,来降低网络的Rademacher复杂度,从而提高其泛化能力。


它们之间的区别可以用下面这张图来展示——也就是对输出特征进行扰动,而不是丢弃。

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout!

相比之下,华为的方法效果更好。


Disout不但在传统视觉任务上表现优异,超越谷歌Dropout性能,在NLP任务以及语音处理任务上,同样具备有效性。