深度學(xué)習(xí)入門教程

1. 引言

在深度學(xué)習(xí)十分火熱的今天，不時(shí)會(huì)涌現(xiàn)出各種新型的人工神經(jīng)網(wǎng)絡(luò) ，想要實(shí)時(shí)了解這些新型神經(jīng)網(wǎng)絡(luò)的架構(gòu)還真是不容易 。光是知道各式各樣的神經(jīng)網(wǎng)絡(luò)模型縮寫（如：DCIGN 、BiLSTM 、DCGAN……還有哪些 ？)，就已經(jīng)讓人招架不住了。

因此，這里整理出一份清單來(lái)梳理所有這些架構(gòu) 。其中大部分是人工神經(jīng)網(wǎng)絡(luò)，也有一些完全不同的怪物 。盡管所有這些架構(gòu)都各不相同
、功能獨(dú)特 ，當(dāng)我在畫它們的節(jié)點(diǎn)圖時(shí)……其中潛在的關(guān)系開(kāi)始逐漸清晰起來(lái) 。

把這些架構(gòu)做成節(jié)點(diǎn)圖，會(huì)存在一個(gè)問(wèn)題 ：它無(wú)法展示神經(jīng)網(wǎng)絡(luò)架構(gòu)內(nèi)部的工作原理。舉例來(lái)說(shuō)
，變分自編碼機(jī)（VAE
：variational autoencoders ）看起來(lái)跟自編碼機(jī)（AE ：autoencoders）差不多，但它們的訓(xùn)練過(guò)程卻大不相同。訓(xùn)練后的模型在使用場(chǎng)景上差別更大 ：VAE是生成器 ，通過(guò)插入噪音數(shù)據(jù)來(lái)獲取新樣本；而AE僅僅是把他們所收到的任何信息作為輸入，映射到“記憶中”最相似的訓(xùn)練樣本上。

在介紹不同模型的神經(jīng)元和神經(jīng)細(xì)胞層之間的連接方式前
，我們一步一步來(lái)
，先來(lái)了解不同的神經(jīng)元節(jié)點(diǎn)內(nèi)部是如何工作的。

1.1 神經(jīng)元

對(duì)不同類型的神經(jīng)元標(biāo)記不同的顏色，可以更好地在各種網(wǎng)絡(luò)架構(gòu)之間進(jìn)行區(qū)分 。但是 ，這些神經(jīng)元的工作方式卻是大同小異 。在下圖的基本神經(jīng)元結(jié)構(gòu)后面，你會(huì)看到詳細(xì)的講解 ：

基本的人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元（basic neural network cell）相當(dāng)簡(jiǎn)單，這種簡(jiǎn)單的類型可以在常規(guī)的前饋人工神經(jīng)網(wǎng)絡(luò)架構(gòu)里面找到  。這種神經(jīng)元與其它神經(jīng)元之間的連接具有權(quán)重，也就是說(shuō)，它可以和前一層神經(jīng)網(wǎng)絡(luò)層中的所有神經(jīng)元有連接 。

每一個(gè)連接都有各自的權(quán)重，通常情況下是一些隨機(jī)值（關(guān)于如何對(duì)人工神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行初始化是一個(gè)非常重要的話題
，這將會(huì)直接影響到之后的訓(xùn)練過(guò)程，以及最終整個(gè)模型的性能）。這個(gè)權(quán)重可以是負(fù)值，正值