深度学习是泡沫吗？何时会破？

      有人在 Quora 上问了一个匪夷所思的问题：“深度学习的泡沫何时会破？”在短短的十几个小时内，该问题就得到了 18 个回应，而且每个回应都颇有深度。下面的内容翻译自吴恩达和微软数据科学家 Tim Scarfe 对该问题的回应。

　  吴恩达:

　　在 100 多年前也曾经出现过有关电力的炒作，但那个所谓的泡沫到现在都没有破，相反，我们现在根本离不开电力!

　　深度学习为我们带来了很多价值，它被广泛应用在多个领域，如 Web 搜索、广告、语音识别、推荐系统等，所以毫无疑问，这项技术会与我们同在。深度学习技术与其他人工智能工具(图像模型、智能决策、KR 等)的结合正在改变着我们的各行各业，它的影响力将不仅限于技术行业。

　　然而，在技术社区之外，人们对”情感人工智能“似乎给予了过多的期望。我与一些 CEO 聊过这方面的问题，他们把人工智能当成解决技术问题的灵丹妙药。看来，在深度学习方面确实存在一些泡沫，我希望这些泡沫在变大之前就破掉，越快越好。

　　Tim Scarfe（微软数据科学家，机器学习博士）：

　　我感觉深度学习比预想的要更加普及。深度学习为预测技术带来了变革，而且在序列建模(如自然语言处理、语音识别)、局部空间处理(如计算机视觉)和增强学习方面具备无以伦比的性能。

　　在很多情况下，深度学习算法的性能相比之前的“频率学派”算法有了阶段性的进步。在拥有大数据集的情况下，执行关键性预测任务的性能优势尤为明显。

　　上图展示了 ImageNet 计算机视觉检测技术的快速发展，其中包括 2012 年 Alex Krizhevsky 使用他的卷积神经网络击败了前作。今年，一个来自中国的团队将错误率降低到了 2.2%，看来这场竞赛似乎要告一段落了。

　　我们也看到过去 8 年多在语言处理和语音识别方面出现了类似的进步。今年，微软通过基于 CNN 和双向 LSTM 的架构实现了语音识别的 human parity。

　　人们常说这些要归因于过去 10 年的数据大爆炸和计算大爆炸。实际上，这些大爆炸就是性能得到大幅提升的主要推动力，而人工神经网络不过是一项古老的技术。我不认为我们会在这两方面停下脚步，不是吗?

　　不过我想说的是，这不仅仅是一次思维的转型，或仅仅是一种全新的编程方式。

　　1.更少地强调特征提取

　　在古老的频率学派架构里，数据科学家需要掌握一些领域知识来完成特征提取。所有的算法都用来解决优化问题，这些问题与特征是混杂在一起的。这并不是说深度学习架构就不包含领域知识，图像的 CNN 模型局部空间依赖和 RNN 模型临时依赖不就是吗?关键的差异在于，NN 模型会自己学习表征层次，而这些表征在很多情况下可以很好地工作。

　　2.新奇预测(novel prediction)架构

　　我想，我们现在的优势是可以在一个框架内搭建出一个端到端的新奇预测架构，而且可以很快地训练模型，并在云端操作模型。

　　在以前，我们需要回归和分类算法，而现在我们使用预测架构。

　　上面的图片展示了物体的分割和局部化网络——Mask R-CNN。请留意我们是如何使用 CNN 来检测图像特征的，我们有一个区域提议网络(region proposal network)和该区域内的掩膜回归(mask regression)，它们都处于同一个网络内。任何一个熟悉深度学习工具包和云端人工智能训练平台(如微软 Azure)的人都可以重现、训练和操作这些东西。

　　深度学习实际上是一种新型的编程模式，也被称为“可微编程(differentiable programming)”。

　　3.创新架构正在出现

　　这个可以参考 GAN 或混合专家(Mixture of Experts)模型。

　　4.业界在拥抱深度学习和创新

　　微软和谷歌已经在他们的云端安装了一些硬件来加速深度学习，也因为深度学习与生俱来的灵活预测架构，得到了广泛的应用。这一领域或许有点炒作过度了，但对于创新来说是一件好事，因为每个人都被调动起来了，变革的速度在加快。

　　5.超越深度学习

　　我并不认为我们剩下的只有深度学习。我个人相信基于模型的贝叶斯机器学习可能会回归，因为它可以在有效数据不足的情况下对真实世界的领域知识进行建模，而深度学习需要大量的数据!