動物行為的精細(xì)化追蹤與分析對于神經(jīng)科學(xué)、行為學(xué)和生物醫(yī)學(xué)領(lǐng)域至關(guān)重要。然而，當(dāng)前主流的深度學(xué)習(xí)姿態(tài)估計(jì)方法在面對多動物交互和長時(shí)程追蹤場景時(shí)，往往受到關(guān)鍵點(diǎn)漂移問題的困擾，影響行為量化的準(zhǔn)確性與數(shù)據(jù)的穩(wěn)定性。
近日，中國科學(xué)院深圳先進(jìn)技術(shù)研究院（簡稱“深圳先進(jìn)院”）腦認(rèn)知與腦疾病研究所/深港腦科學(xué)創(chuàng)新研究院蔚鵬飛研究員團(tuán)隊(duì)在國際學(xué)術(shù)期刊eLife發(fā)表了題為“Anti-drift pose tracker (ADPT):A transformer-based network for robust animal pose estimation across species”的研究論文。研究團(tuán)隊(duì)提出了一種基于Transformer架構(gòu)的抗漂移姿態(tài)追蹤技術(shù)（ADPT），成功實(shí)現(xiàn)跨物種動物姿態(tài)追蹤的高精度、高魯棒性檢測。
ADPT融合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）與Transformer結(jié)構(gòu)的優(yōu)勢，一方面利用CNN提取圖像的局部精細(xì)特征，另一方面通過Transformer有效捕捉身體各部位之間的全局依賴關(guān)系，顯著降低了關(guān)鍵點(diǎn)的漂移現(xiàn)象（圖1）。與DeepLabCut、SLEAP等現(xiàn)有方法的對比測試顯示，ADPT在復(fù)雜的多動物交互和長時(shí)程行為追蹤任務(wù)中具有明顯的精度與穩(wěn)定性優(yōu)勢。
研究團(tuán)隊(duì)對多物種（包括小鼠、食蟹猴等）的行為視頻數(shù)據(jù)集進(jìn)行了深入評估。在小鼠數(shù)據(jù)集中，ADPT有效解決了傳統(tǒng)方法難以準(zhǔn)確檢測的尾尖等細(xì)微部位追蹤問題，總體檢測精度較DeepLabCut與SLEAP方法提高超過8.6%，平均均方根誤差（RMSE）降至7.19 ± 0.58像素，表現(xiàn)出顯著優(yōu)勢(圖2左)。在食蟹猴行為數(shù)據(jù)集中，ADPT在復(fù)雜環(huán)境干擾下依舊成功實(shí)現(xiàn)靈長類動物的姿態(tài)穩(wěn)定追蹤。特別是在存在人類干擾的場景中，其他方法容易誤將人類識別為目標(biāo)動物，而ADPT表現(xiàn)出對跨物種干擾的優(yōu)秀抵抗能力，確保了追蹤精度與可靠性(圖2右)。
同時(shí)，研究團(tuán)隊(duì)還利用公開的果蠅（Single fly）、獼猴（OMS_dataset）和狨猴（Marmoset）數(shù)據(jù)集進(jìn)一步驗(yàn)證了ADPT的泛化性能，結(jié)果再次證實(shí)了ADPT跨物種姿態(tài)估計(jì)的適應(yīng)能力。
在多動物自由社交行為的場景中，ADPT更展現(xiàn)了其“身份-姿態(tài)”同步精準(zhǔn)追蹤的突出優(yōu)勢。團(tuán)隊(duì)發(fā)現(xiàn)，ADPT在不進(jìn)行任何時(shí)序后處理的情況下，即可達(dá)到90.36%的身份追蹤準(zhǔn)確率；若結(jié)合簡單時(shí)序校正，這一準(zhǔn)確率進(jìn)一步提高至99.72%，明顯優(yōu)于現(xiàn)有的多動物姿態(tài)追蹤工具。此外，在團(tuán)隊(duì)自建的Homecage小鼠社交數(shù)據(jù)集中，ADPT不僅身份追蹤效果顯著優(yōu)于DeepLabCut和SLEAP（準(zhǔn)確率提高約5-10倍，身份互換現(xiàn)象顯著減少），姿態(tài)估計(jì)精度也提高了約15%（圖3）。
為進(jìn)一步推動ADPT技術(shù)的應(yīng)用落地，研究團(tuán)隊(duì)開發(fā)了簡單易用的ADPT工具箱，能夠讓缺乏深度學(xué)習(xí)背景的生物學(xué)研究人員輕松使用，極大地降低了姿態(tài)追蹤技術(shù)的應(yīng)用門檻。
本研究為動物行為學(xué)、神經(jīng)疾病與社會互動機(jī)制研究提供了強(qiáng)大的技術(shù)支持，有望推動神經(jīng)科學(xué)與行為學(xué)的交叉研究進(jìn)入新的階段。
深圳先進(jìn)院蔚鵬飛研究員為本文最后通訊作者，南方科技大學(xué)劉泉影助理教授為共同通訊作者，深圳先進(jìn)院腦所研究助理唐國令、博士生韓亞寧為本文共同第一作者。該研究還得到了暨南大學(xué)李曉江教授、閆森教授團(tuán)隊(duì)的大力支持。該項(xiàng)目主要受到國家自然科學(xué)基金-青年科學(xué)基金項(xiàng)目（B類）、國家自然科學(xué)基金外國學(xué)者研究基金項(xiàng)目、科技部“腦科學(xué)與類腦研究”國家科技重大專項(xiàng)以及深圳市科技創(chuàng)新計(jì)劃等項(xiàng)目資助。
圖1 ADPT工作流程和網(wǎng)絡(luò)結(jié)構(gòu)圖
圖2 ADPT實(shí)現(xiàn)高精度、高魯棒性單動物姿態(tài)估計(jì)
圖3 ADPT實(shí)現(xiàn)多動物社交場景下精確身份-姿態(tài)同步追蹤
附件下載：