生命科學(xué)學(xué)院陶樂(lè)天課題組發(fā)表關(guān)于前饋神經(jīng)網(wǎng)絡(luò)信道容量的研究
北京大學(xué)生命科學(xué)學(xué)院陶樂(lè)天課題組近期在Entropy雜志特刊，Information Theory in Neuroscience，上發(fā)表了題為“Mutual Information and Information Gating in Synfire Chains”的論文。該課題組此前的工作發(fā)現(xiàn)通過(guò)增加門控電流,脈沖門控同步放電鏈有著比原始的同步放電鏈更為強(qiáng)大的信息傳輸能力,這次的工作利用信息論手段,將這一結(jié)論定量化,系統(tǒng)地探索了前饋神經(jīng)網(wǎng)絡(luò)作為信息通道的容量，發(fā)現(xiàn)這一模型可以作為受控信息通道的神經(jīng)環(huán)路模型。
為了更好的表征環(huán)境中的連續(xù)信息，神經(jīng)系統(tǒng)的許多部分都有對(duì)連續(xù)變量的定量編碼（graded coding），從初級(jí)感覺(jué)系統(tǒng)的聲音響度編碼，高級(jí)感覺(jué)系統(tǒng)中對(duì)面孔特征的編碼（faces patches in inferior temporal cortex），到?jīng)Q策系統(tǒng)中對(duì)獎(jiǎng)賞不確定度（primate anterodorsal septum region）、累積證據(jù)強(qiáng)弱（rat posterior parietal cortex）的編碼，等等。在連續(xù)編碼的情況下，一個(gè)問(wèn)題是信息在神經(jīng)網(wǎng)絡(luò)中傳遞時(shí)信息量的變化。60年前，香農(nóng)信息論中的互信息(mutual information)是衡量?jī)蓚€(gè)隨機(jī)變量之間影響程度大小,即兩個(gè)變量間信息傳遞量的自然度量。本文利用這一度量去考察，被編碼在神經(jīng)元群體放電率上的變量,在前饋網(wǎng)絡(luò)中傳遞時(shí),具體傳輸?shù)男畔⒘俊?/p>
圖a)-c)為三種不同的傳輸模式下，輸入不同電流幅值，隨著網(wǎng)絡(luò)層數(shù)(橫軸)增加，輸出幅值的變化；d) 為對(duì)應(yīng)的輸入層與每層輸出之間的互信息
該研究在對(duì)神經(jīng)網(wǎng)絡(luò)的高維動(dòng)力系統(tǒng)做了一系列解析簡(jiǎn)化后，探索了不同參數(shù)下網(wǎng)絡(luò)的信道容量變化。在這一工作中,利用互信息度量,研究者發(fā)現(xiàn)了前饋環(huán)路里的三種傳輸模式:信息丟失(degenerate/unitary),二元傳輸(binary),定量傳輸(graded transfer)。而且，通過(guò)改變門控電流的強(qiáng)度和方差，就可以在不同模式間進(jìn)行切換，因而產(chǎn)生了一個(gè)可控的信息通道。
圖2上圖為固定門控電流幅值與層間連接強(qiáng)度，隨著門控電流方差變化與傳輸層數(shù)增加，傳輸信息量的變化；下圖為固定連接強(qiáng)度，改變門控電流幅值與方差，經(jīng)過(guò)50層傳遞后的傳輸信息量
定量傳輸模式可以最大化傳輸信息量,很好的保存了連續(xù)變量中的信息，方便進(jìn)行線性變換。與之相對(duì),二元傳輸類似數(shù)字信號(hào)，方便進(jìn)行二元邏輯運(yùn)算，傳輸更加穩(wěn)健，不易混淆，在決策系統(tǒng)中類似于做判斷的讀出層(readout)。而且通過(guò)門控電流可以控制兩種模式之間的切換。從而，這一神經(jīng)環(huán)路作為一種基本組件，從理論上，豐富了我們對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算能力的認(rèn)識(shí)。
生科院12級(jí)本科生肖卓成（現(xiàn)美國(guó)亞利桑那大學(xué)應(yīng)用數(shù)學(xué)系研究生）與元培物理方向13級(jí)本科生王彬旭為本文共同第一作者，加州大學(xué)戴維斯分校數(shù)學(xué)系教授Andrew T. Sornborger與陶樂(lè)天研究員為共同通訊作者。此項(xiàng)工作得到了國(guó)家自然科學(xué)基金委、認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放課題基金、北京市科學(xué)技術(shù)委員會(huì)、以及美國(guó)國(guó)立衛(wèi)生研究院CRCNS項(xiàng)目的支持。
原文鏈接：http://www.mdpi.com/1099-4300/20/2/102
版權(quán)與免責(zé)聲明：本網(wǎng)頁(yè)的內(nèi)容由收集互聯(lián)網(wǎng)上公開(kāi)發(fā)布的信息整理獲得。目的在于傳遞信息及分享，并不意味著贊同其觀點(diǎn)或證實(shí)其真實(shí)性，也不構(gòu)成其他建議。僅提供交流平臺(tái)，不為其版權(quán)負(fù)責(zé)。如涉及侵權(quán)，請(qǐng)聯(lián)系我們及時(shí)修改或刪除。郵箱：sales@allpeptide.com