人腦功能活動(dòng)的捕捉如同在迷霧中繪制星圖，需要多模態(tài)技術(shù)的協(xié)同。功能性磁共振成像（fMRI）憑借毫米級空間分辨率，在腦機(jī)工程研究中被視為腦功能解碼的金標(biāo)準(zhǔn)數(shù)據(jù)，但其笨重的設(shè)備、高昂的成本和低時(shí)間分辨率限制了應(yīng)用潛力。與之互補(bǔ)的腦電圖（EEG）雖能毫秒級捕捉電信號，卻像“霧里看花”，信噪比低且難以定位深層腦區(qū)活動(dòng)。如何讓兩者優(yōu)勢融合提升腦功能解碼精度和可用性是腦機(jī)接口研究中的重要挑戰(zhàn)。
為突破這一瓶頸，中國科學(xué)院深圳先進(jìn)技術(shù)研究院王書強(qiáng)課題組提出了一種創(chuàng)新的解決方案-通過構(gòu)建條件對齊時(shí)序擴(kuò)散模型（CATD），實(shí)現(xiàn)腦電-腦血氧信號的統(tǒng)一表征。團(tuán)隊(duì)相關(guān)工作近日在IEEE Transactions on Medical Imaging發(fā)表了題為CATD: Unified Representation Learning for EEG-to-fMRI Cross-Modal Generation的研究成果，首次實(shí)現(xiàn)了基于擴(kuò)散學(xué)習(xí)的EEG到fMRI跨模態(tài)表征，將BOLD信號時(shí)間分辨率提升3倍，為便捷獲取高質(zhì)量腦功能信號提供新方案。
如果把EEG信號比作“閃電快照”，BOLD信號則是“延時(shí)攝影”——前者記錄毫秒級神經(jīng)元放電，后者反映秒級血氧代謝。二者雖同源，卻因時(shí)空尺度差異如同“加密語言”。
CATD框架通過兩項(xiàng)核心技術(shù)破解這一密碼：
（1）“腦信號翻譯官”條件對齊塊（CAB）
研究團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)CAB模塊，借助跨模態(tài)注意力機(jī)制，將EEG的“時(shí)間密碼”與BOLD的“空間密碼”對齊至同一潛在空間。這一過程模擬了人腦神經(jīng)血管耦合機(jī)制——當(dāng)神經(jīng)元放電后約6秒，血氧水平隨之波動(dòng)。通過捕捉這種延遲關(guān)聯(lián)，AI能精準(zhǔn)翻譯兩種信號的內(nèi)在邏輯。
（2）“時(shí)間顯微鏡”動(dòng)態(tài)時(shí)頻分割（DTFS）
傳統(tǒng)BOLD信號每秒采集1次，難以捕捉癲癇發(fā)作等瞬態(tài)事件。團(tuán)隊(duì)開發(fā)的DTFS模塊，通過滑動(dòng)采樣將EEG信號切割為毫秒級片段，驅(qū)動(dòng)AI生成時(shí)間分辨率提升3倍的BOLD信號。實(shí)驗(yàn)顯示，合成信號在癲癇早期征兆檢測中，時(shí)間相關(guān)性（余弦相似度）達(dá)0.85，媲美真實(shí)數(shù)據(jù)。
全球約70%的醫(yī)院配備EEG設(shè)備，但僅5%擁有fMRI。團(tuán)隊(duì)提出的這一解決方案可基于海量EEG數(shù)據(jù)生成多模態(tài)腦影像庫，助力帕金森、抑郁癥等腦疾病神經(jīng)調(diào)控機(jī)制研究。
數(shù)字所研究生姚瑋珩為論文第一作者，王書強(qiáng)研究員為論文通訊作者，該研究工作得到了國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金等科技項(xiàng)目資助。
圖1. CATD模型圖
圖2. EEG-fMRI?跨模態(tài)增強(qiáng)在運(yùn)動(dòng)想象等下游任務(wù)中的驗(yàn)證分析
附件下載：