盡管現(xiàn)有的視覺(jué)信息解碼模型在對(duì)大腦信號(hào)的分類(lèi)、識(shí)別任務(wù)上表現(xiàn)良好，但是試圖通過(guò)大腦視覺(jué)皮層信號(hào)精確重建視覺(jué)刺激內(nèi)容仍然非常困難。阻礙人們有效地進(jìn)行視覺(jué)信息解碼的因素主要包括 fMRI 數(shù)據(jù)維度高、樣本量小、噪聲嚴(yán)重、解碼模型不科學(xué)等。傳統(tǒng)的基于多體素模式分析（Multi-Voxel Pattern Analysis， MVPA）的視覺(jué)信息解碼方法直接在高維的 fMRI 體素空間和視覺(jué)圖像像素空間建立映射關(guān)系，這種解碼方法很容易造成對(duì)冗余或噪聲體素的過(guò)擬合。此外，現(xiàn)有的視覺(jué)信息解碼方法大多數(shù)基于對(duì)視覺(jué)圖像的線性變換，沒(méi)有結(jié)合人腦視覺(jué)系統(tǒng)的信息處理機(jī)制，解碼效果差并且缺乏生物學(xué)基礎(chǔ)。

中國(guó)科學(xué)院自動(dòng)化研究所研究員何暉光團(tuán)隊(duì)近年來(lái)一直致力于更復(fù)雜刺激（如人臉，自然圖像，乃至動(dòng)態(tài)視覺(jué)刺激）的大腦解碼工作，繼去年關(guān)于“利用fMRI信號(hào)重建圖像”的工作被MIT Technology Review頭條報(bào)道后，基于以往工作積累，提出了一種基于貝葉斯深度學(xué)習(xí)的大腦視覺(jué)信息解碼模型，針對(duì)基于fMRI數(shù)據(jù)的視覺(jué)神經(jīng)信息編解碼問(wèn)題，提出了統(tǒng)一的多視圖深度生成式模型（Deep Generative Multi-view Model， DGMM），為基于大腦信號(hào)的視覺(jué)圖像重建問(wèn)題提供了有效的解決方案。相關(guān)研究成果“Reconstructing Perceived Images from Human Brain Activities with Bayesian Deep Multi-view Learning”近日已在神經(jīng)網(wǎng)絡(luò)及機(jī)器學(xué)習(xí)領(lǐng)域國(guó)際期刊IEEE Transactions on Neural Networks and Learning Systems (TNNLS)在線發(fā)表，為腦-機(jī)接口的進(jìn)一步研究打下了堅(jiān)實(shí)的基礎(chǔ)。

該研究以一種科學(xué)合理的方式建立起了視覺(jué)圖像和大腦響應(yīng)之間的關(guān)系，將視覺(jué)圖像重建問(wèn)題轉(zhuǎn)化成多視圖隱含變量模型中缺失視圖的貝葉斯推斷問(wèn)題。受人腦視覺(jué)信息處理機(jī)制（層次化、Bottom-up、Top-down）的啟發(fā)，團(tuán)隊(duì)采用了深度神經(jīng)網(wǎng)絡(luò)從視覺(jué)圖像中逐層提取視覺(jué)特征和概念，提高了模型的表達(dá)能力和可解釋性；受視覺(jué)區(qū)域的體素感受野和視覺(jué)信息的稀疏表達(dá)準(zhǔn)則的啟發(fā)，團(tuán)隊(duì)采用了稀疏貝葉斯學(xué)習(xí)從大量體素中自動(dòng)篩選出對(duì)視覺(jué)信息解碼貢獻(xiàn)較大的體素，提高了模型的穩(wěn)定性和泛化能力。深度生成式多視圖模型充分利用了 fMRI 體素之間的相關(guān)性信息，有效抑制了體素噪聲的干擾，增強(qiáng)了算法的魯棒性。得益于貝葉斯方法的優(yōu)點(diǎn)，深度生成式多視圖模型能夠方便靈活地融合先驗(yàn)知識(shí)，進(jìn)而提升預(yù)測(cè)性能。大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了深度生成式多視圖模型的優(yōu)越性。新算法為大腦信號(hào)解碼問(wèn)題提供了一個(gè)行之有效的通用框架，具有很強(qiáng)的可擴(kuò)展性，允許從不同角度對(duì)其進(jìn)行擴(kuò)展以適應(yīng)不同任務(wù)。該項(xiàng)目不僅為探究大腦的視覺(jué)信息處理機(jī)制提供了一個(gè)強(qiáng)有力的工具，而且為腦-機(jī)接口的發(fā)展提供了技術(shù)支持，將對(duì)類(lèi)腦智能的發(fā)展起到一定的促進(jìn)作用。

論文的第一作者是博士生杜長(zhǎng)德。該工作同時(shí)受到國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、中科院先導(dǎo)項(xiàng)目以及中科院青促會(huì)優(yōu)秀會(huì)員項(xiàng)目的資助。