深度學習的前世今生

1 深度學習的歷史及發展趨勢

1.1 深度學習的歷史

        一般來說，目前爲止已經有三次深度學習的發展浪潮：在 20 世紀 40 年代到 60 年代深度學習被稱爲控制論 (cybernetics)，20 世紀 80 年代到 90 年代深度學習被譽爲連接機制 (connectionism)，並於 2006 年開始，以深度學習之名復興。

    連接機制是在認知科學的背景下出現的。認知科學是理解心智，並結合多個不同層次分析的跨學科方法。連接機制的中心思想是，當網絡將大量簡單計算單元連接在一起時可以實現智能行爲。這種見解同樣適用於與計算模型中隱藏單元作用類似的生物神經系統中的神經元。

      神經網絡研究的第三次浪潮始於 2006 年的突破。Geoffrey Hinton 表明名爲深度信念網絡（DBN）的神經網絡可以使用一種稱爲貪心逐層訓練的策略進行有效地訓練 (Hinton et al., 2006a)。

1.2 深度學習的發展

  與日俱增的數據量和模型規模

        數據量的增加，使得深度學習的一些算法獲取良好性能的技巧逐漸減少，目前，在複雜的任務中能達到與人類表現可以媲美的性能。大數據時代的到來，使得深度學習變得更加容易。但我們應該注意在無監督和半監督學習中充分利用未標註的樣本。

  模型規模的擴大，較大的網絡能夠在更復雜的任務中實現更高的精度。所以更多學者在神經網絡中引入更多的隱藏單元，使得模型規模擴大。另外，硬件（更快的 CPU、通用 GPU、硬盤存儲量）以及更好的分佈式計算的軟件基礎設備和更快的網絡連接使得模型規模擴大成爲可能。與日俱增的精度、複雜度和對現實世界的衝擊

    深度學習提供精確識別和預測的能力一直在提高。此外，深度學習持續成功地應用於越來越廣泛的應用。

       上圖顯示了每神經元連接數。1、自適應線性單元；2、神經認知機；3、GPU 加速 卷積網絡；4、深度玻爾茲曼機；5、無監督卷積網絡；6、GPU 加速 多層感知機；7、分佈式自動編碼器；8、Multi-GPU 卷積網絡；9、COTS HPC 無監督卷積網絡；10、GoogLeNet。

  1. 感知機 (Rosenblatt, 1958, 1962)

  2. 自適應線性單元 (Widrow and Hoff, 1960)

  3. 神經認知機 (Fukushima, 1980)

  4. 早期後向傳播網絡 (Rumelhart et al., 1986b)

  5. 用於語音識別的循環神經網絡 (Robinson and Fallside, 1991)

  6. 用於語音識別的多層感知機 (Bengio et al., 1991)

  7. 均勻場 sigmoid 信念網絡 (Saul et al., 1996)

  8. LeNet-5 (LeCun et al., 1998b)

  9. 回聲狀態網絡 (Jaeger and Haas, 2004)

  10. 深度信念網絡 (Hinton et al., 2006a)

  11. GPU - 加速卷積網絡 (Chellapilla et al., 2006)

  12. 深度玻爾茲曼機 (Salakhutdinov and Hinton, 2009a)

  13. GPU - 加速深度信念網絡 (Raina et al., 2009a)

  14. 無監督卷積網絡 (Jarrett et al., 2009b)

  15. GPU - 加速多層感知機 (Ciresan et al., 2010)

  16. OMP-1 網絡 (Coates and Ng, 2011)

  17. 分佈式自動編碼器 (Le et al., 2012)

  18. Multi-GPU 卷積網絡 (Krizhevsky et al., 2012a)

  19. COTS HPC 無監督卷積網絡 (Coates et al., 2013)

  20. GoogLeNet (Szegedy et al., 2014a)

 深度學習是機器學習的一種方法，過去幾十年的發展中，它深深地吸收了我們關於人腦、統計學與應用數學的知識。近年來，深度學習的普及性和實用性有了極大的發展，這在很大程度上得益於更強大的計算機、更大的數據集和能夠訓練更深網絡的技術。未來幾年充滿了進一步提高深度學習並將它帶到新領域的挑戰和機遇。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/FnuBymC1y3Z5-P0TxV-z3w

猜你喜歡