理解大腦如何組織和訪問空間信息，例如“我們在哪里”、“拐角處有什么”、“如何到達那里”，仍是一項巨大的挑戰(zhàn)。該過程涉及從上百億個神經(jīng)元中調(diào)取一系列的記憶及存儲其中的空間數(shù)據(jù)，而每個神經(jīng)元又連接著上千個其他神經(jīng)元。神經(jīng)科學家已經(jīng)確認了空間認知的關鍵元素，例如映射位置的網(wǎng)格細胞[1]。然而，要想對此進行更深入的研究，事情就變得棘手了：研究人員想要觀察基于位置的有關圖像、聲音、和味道的記憶是如何流動和互相連接的，卻不可能通過取出并研究人的大腦灰質(zhì)切片來達此目的。

(相關資料圖)

人工智能為此提供了另一條出路。多年來，神經(jīng)科學家們利用了多種類型的神經(jīng)網(wǎng)絡（神經(jīng)網(wǎng)絡為大多數(shù)深度學習的應用提供了動力）來模擬大腦中神經(jīng)元的放電。于近期的研究中，研究人員發(fā)現(xiàn)海馬體作為一個對記憶至關重要的腦部結(jié)構(gòu)其實是一種變相的特殊神經(jīng)網(wǎng)絡，這種神經(jīng)網(wǎng)絡被稱為Transformer[2]。他們的新模型以一種類似大腦內(nèi)部運作的方式來追蹤空間信息，并且已經(jīng)取得了顯著成效。

-Kristina Armitage-

同時就職于斯坦福大學和牛津大學蒂姆·貝倫斯（Tim Behrens）實驗室的認知神經(jīng)科學家詹姆斯·惠廷頓（James Whittington）說：“現(xiàn)在我們知道了，這些大腦模型與Transformer模型相當，這就意味著我們的模型表現(xiàn)得更好并且更容易訓練?！?/p>

惠廷頓及同事所做的研究提示我們，Transformer可以極大地促進神經(jīng)網(wǎng)絡模型模擬網(wǎng)格細胞及大腦其他部分進行運算的能力。惠廷頓表示，這些模型可以推動我們對人工神經(jīng)網(wǎng)絡的工作原理、甚至對大腦運算機制的理解。

在谷歌大腦（Google Brain）研究Transformer模型的計算機科學家大衛(wèi)·哈（David Ha）表示：“我們并不是在嘗試重新建造一個大腦，但我們能否創(chuàng)造出足以復制大腦所作所為的機制呢？”

Transformers在2017年作為一種處理語言的新型AI模型首次出現(xiàn)。這一模型是BERT[3]和GPT-3等引人注目的能夠補全句子的程序中的秘密武器，而這些程序可以生成以假亂真的歌詞、創(chuàng)作莎士比亞十四行詩并模仿客服代表。

Transformer的工作原理是一種被稱為“自注意力”（self-attention）的機制，其中每個輸入，不管是一個單詞、一個像素、還是序列中的一個數(shù)字，總是與其余每個輸入相連。而別的神經(jīng)網(wǎng)絡僅將輸入與某些特定的輸入相連。雖然Transformers最初是為語言任務而設計的，但后來它們在別的任務（比如圖像分類和如今的大腦建模）中都表現(xiàn)得相當出色。

-Avalon Nuovo-

在2020年，由奧地利林茨大學（Johannes Kepler University Linz）的計算機科學家塞普?霍克瑞特（Sepp Hochreiter）帶領的團隊用Transformer改造了一個強大的、存在已久的記憶檢索模型。這個被改造的模型名叫Hopfield網(wǎng)絡（Hopfield network），在40年前由普林斯頓的物理學家約翰·霍普菲爾德（John Hopfield）首次提出。這些網(wǎng)絡遵循一條通則：同時活躍的神經(jīng)元在彼此之間建立更牢固的連接。

霍克瑞特和他的合作者留意到研究人員一直在尋找更好的記憶檢索模型，在此之后，他們發(fā)現(xiàn)了一類新型Hopfield網(wǎng)絡[4]檢索記憶的方式和Transformers執(zhí)行注意力的方式之間的聯(lián)系。這些新型Hopfield網(wǎng)絡由MIT-IBM沃森人工智能實驗室（MIT-IBM Watson AI Lab）的霍普菲爾德和德米特里·克羅托夫（Dmitry Krotov）開發(fā)。與標準的Hopfield網(wǎng)絡相比，新型Hopfield網(wǎng)絡由于有更高效的連接而可以存儲和檢索更多的記憶?；艨巳鹛氐膱F隊通過添加一個類似Transformers里注意力機制的規(guī)則來升級這些網(wǎng)絡。

之后，在今年早些時候[5]，惠廷頓和貝倫斯進一步改進了這種方法。他們修改了這些Transformer，使得模型不再將記憶視為線性序列（就像句子里的一串單詞那樣），而是將它們編碼為高維空間中的坐標。研究人員口中的這一“扭轉(zhuǎn)”進一步提升了模型在神經(jīng)科學任務中的表現(xiàn)。他們還表明，該模型的數(shù)學基礎和神經(jīng)科學家在功能性磁共振成像（fMRI）掃描中觀測到的網(wǎng)格細胞放電模式的模型一致。

貝倫斯（左）和惠廷頓（右）幫助證明了我們大腦中的結(jié)構(gòu)在數(shù)學上與“Transformer”相似。

倫敦大學學院的神經(jīng)科學家卡斯維爾? 巴里（Caswell Barry）說道：“網(wǎng)格細胞有這種令人激動的、美麗的、規(guī)則的結(jié)構(gòu)，并具有那些不太可能隨機產(chǎn)生的、醒目的放電模式?！鄙鲜龅男卵芯縿t向我們展示了Transformer如何精確地復刻這些在海馬體觀測到的模式。巴里說：“他們認識到，Transformer可以根據(jù)以前的狀態(tài)及其移動情況確定位置，而這正是傳統(tǒng)的網(wǎng)格細胞模型描述的定位方式?！?/p>

近期的其他研究表明，Transformer也可以促進我們對大腦中其他功能的理解。2021年，麻省理工學院的計算神經(jīng)科學家馬丁·施林普夫（Martin Schrimpf）分析了43例不同種類的神經(jīng)網(wǎng)絡模型[6]，來觀察它們在預測由fMRI和腦皮層電圖報告的人類神經(jīng)活動測量結(jié)果上表現(xiàn)如何。他發(fā)現(xiàn)Transformer作為目前領先的、最先進的神經(jīng)網(wǎng)絡，幾乎可以預測神經(jīng)成像報告的所有變化。

此外，哈和計算機科學家同事Yujin Tang最近設計了一個模型[7]，該模型可以通過Transformer有意地以一種隨機、無序的方式發(fā)送大量數(shù)據(jù)，來模擬人體向大腦傳遞感覺信號。他們的Transformer可以像我們的大腦一樣成功處理無序的信息流。

Yujin Tang表示：“神經(jīng)網(wǎng)絡只能硬性地接收特定的輸入?！钡诂F(xiàn)實生活中，數(shù)據(jù)集通常變幻莫測，而大多數(shù)的AI模型無法據(jù)此調(diào)整?！拔覀兿胍囼炓环N具有快速適應性的架構(gòu)?！?/p>

論文題目：The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

DOI：https://doi.org/10.48550/arXiv.2109.02869

盡管存在這些進步的跡象，貝倫斯認為Transformer只是我們向最精確的大腦模型邁出的一步而已，而非探索的終點。他說：“我在這里必須要做一個持懷疑態(tài)度的神經(jīng)科學家。例如，我不認為Transformers最終會是我們在大腦中處理語言的方式，即使它們是當前最好的語句模型。”

巴里說：“在預測‘我在哪兒’以及‘我將會看到什么’這方面，Transformer會是那個最高效的機制嗎？老實說，現(xiàn)在就下定論還為時尚早?！?/p>

施林普夫也指出，即便是表現(xiàn)最好的Transformers也是有局限的。例如，它們在單詞和短語方面表現(xiàn)良好，但在像講故事這種更大規(guī)模的語言任務中卻并不出色。

施林普夫說：“我感到這種Transformer的架構(gòu)已經(jīng)讓我們處于理解大腦結(jié)構(gòu)的正確框架中了，并且它還可以隨著訓練得到改善。這是一個很好的方向，只是這個領域太過復雜?！?/p>

參考文獻

[1]https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/

[2]https://www.quantamagazine.org/will-transformers-take-over-artificial-intelligence-20220310/

[3]https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

[4]https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

[5]https://openreview.net/forum?id=B8DVo9B1YE0

[6]https://www.pnas.org/doi/10.1073/pnas.2105646118

[7]https://arxiv.org/abs/2109.02869

原文

https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/

本文來自微信公眾號“神經(jīng)現(xiàn)實”（ID：neureality），作者：Stephen Ornes，，譯者：Lemon，校對：P，編輯：M.W. l，36氪經(jīng)授權(quán)發(fā)布。