近日，中國科學(xué)院深圳先進(jìn)技術(shù)研究院·醫(yī)療機(jī)器人與微創(chuàng)手術(shù)器械研究中心秦文健博士團(tuán)隊(duì)在數(shù)字病理圖像分析領(lǐng)域先后取得多項(xiàng)研究進(jìn)展，團(tuán)隊(duì)針對如何對數(shù)字病理圖像單張巨大尺寸計(jì)算、多倍率信息利用、跨尺度信息融合的技術(shù)挑戰(zhàn)，開展一系列相關(guān)研究，實(shí)現(xiàn)了“從算法模型創(chuàng)新——到實(shí)際臨床驗(yàn)證”的科研思路。相關(guān)工作前期發(fā)表生物醫(yī)學(xué)信息領(lǐng)域國際權(quán)威期刊IEEE Journal of Biomedical and Health Informatics, 病理領(lǐng)域國際權(quán)威期刊THE AMERICAN JOURNAL OF PATHOLOGY和GENES上。
病理學(xué)診斷是癌癥臨床確診的金標(biāo)準(zhǔn)，它是通過顯微鏡觀察病變微觀組織、細(xì)胞的形態(tài)變化，對癌癥診斷分期，為腫瘤患者提供術(shù)前診斷、治療方案和術(shù)后預(yù)期的參考依據(jù)。隨著患癌人數(shù)的增加，病理學(xué)診斷的需求也日益擴(kuò)增，但是目前國內(nèi)病理專家數(shù)量嚴(yán)重不足。數(shù)字病理成像技術(shù)為解決我國病理醫(yī)生嚴(yán)重匱乏及資源分配不均勻的困境提供了可行的技術(shù)途徑，該技術(shù)通過光學(xué)拼接掃描方式實(shí)現(xiàn)對完整病理玻片的數(shù)字化，得到全景病理圖像。然而，面對單張十億像素級的全景病理圖像，人工對病理細(xì)胞分析的工作量巨大且易出錯。
近年來，隨著數(shù)字病理成像速度提升和深度學(xué)習(xí)算法的成熟，通過深度學(xué)習(xí)算法對數(shù)字病理圖像自動提取特征，并在量化計(jì)算后給出量化評價，該分析過程具有很好的重復(fù)性、穩(wěn)定性、魯棒性，不僅可以得到客觀的診斷結(jié)果，還依靠計(jì)算機(jī)自動化計(jì)算，大大提高工作效率，降低醫(yī)生工作負(fù)擔(dān)。盡管基于深度學(xué)習(xí)的病理智能計(jì)算取得了一定進(jìn)展，然而，在真實(shí)臨床應(yīng)用中，病理學(xué)家通常以不同的放大倍率組合信息，即從亞核O（0.1μm）到細(xì)胞(≈O（10μm））和細(xì)胞間(≈O（100μm）），到其他更大尺度的組織(≈O（1mm））進(jìn)行診斷。因此如何解決“金字塔”形式存儲的多倍率信息有效利用與單張巨大尺寸的圖像快速、準(zhǔn)確計(jì)算依然存在技術(shù)挑戰(zhàn)。
針對不同放大倍率下組織病理學(xué)圖像信息融合的不足，秦文健團(tuán)隊(duì)通過長期不懈的積累，提出了一種創(chuàng)新性的深度多倍率相似性學(xué)習(xí)方法，該方法不僅有助于多放大倍率學(xué)習(xí)模型的可解釋性，易于可視化低維（如細(xì)胞級）到高維（如組織級）的特征表示，克服了跨放大倍率信息傳播理解的困難；同時借助于相似性交叉熵?fù)p失函數(shù)的設(shè)計(jì)，可以更好學(xué)習(xí)交叉放大倍率之間信息的相似性。最后通過不同主干網(wǎng)絡(luò)特征提取和不同放大倍率組合的實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性，并進(jìn)一步通過可視化方式展示其解釋能力，分別在公開和臨床的組織病理學(xué)數(shù)據(jù)集上開展實(shí)驗(yàn)以驗(yàn)證方法性能，與現(xiàn)有方法對比，其曲線下面積（AUC）、準(zhǔn)確度均取得了優(yōu)異的性能。相關(guān)研究工作以“Deep Multi-Magnification Similarity Learning for Histopathological Image Classification”為題發(fā)表于生物醫(yī)學(xué)信息領(lǐng)域國際權(quán)威期刊IEEE Journal of Biomedical and Health Informatics（DOI: 10.1109/JBHI.2023.3237137），博士生刁頌輝為論文第一作者。
圖1：研究團(tuán)隊(duì)提出的多倍率病理圖像計(jì)算方法新框架和結(jié)果
團(tuán)隊(duì)前期研究中發(fā)現(xiàn)，經(jīng)驗(yàn)豐富的病理學(xué)家通常需要對全景病理圖像中對癌/疑似區(qū)域進(jìn)行視覺檢查，得到最終的診斷結(jié)果。然而，由于全景病理圖像具有單張巨大尺寸的特性，人工視覺診斷是一項(xiàng)勞動強(qiáng)度大和耗時的挑戰(zhàn)性任務(wù)。為與臨床實(shí)際診療步驟相結(jié)合，并驗(yàn)證算法在臨床的有效性，團(tuán)隊(duì)與臨床醫(yī)院合作實(shí)現(xiàn)了自動診斷算法的研究——提出了基于多倍率注意力卷積神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督框架。該方法只需圖像級標(biāo)簽（而不需要像素級注釋），即可以實(shí)現(xiàn)感興趣區(qū)域（癌癥）的檢測，為臨床病理醫(yī)師的診斷直接提示可疑病灶區(qū)域，提升臨床輔助診斷效率。所提出方法在TGCA肝癌數(shù)據(jù)集進(jìn)行論證。實(shí)驗(yàn)結(jié)果表明，根據(jù)曲線下面積、準(zhǔn)確度、靈敏度和特異性指標(biāo)，該框架顯著優(yōu)于單尺度檢測方法，并提供了非常快的檢測時間。同時，方法與三位病理學(xué)家的診斷結(jié)果相比，團(tuán)隊(duì)提出方法的性能優(yōu)于初級和中級病理學(xué)家，略低于高級病理學(xué)家。相關(guān)研究工作以“Weakly Supervised Framework for Cancer Region Detection of Hepatocellular Carcinoma in Whole-Slide Pathologic Images Based on Multiscale Attention Convolutional Neural Network”為題發(fā)表于病理學(xué)領(lǐng)域權(quán)威臨床雜志The American Journal of Pathology,（DOI: 10.1016/j.ajpath.2021.11.009），博士生刁頌輝為論文第一作者。
圖2：團(tuán)隊(duì)提出的多倍率弱監(jiān)督框架實(shí)驗(yàn)結(jié)果
為融合病理圖像形態(tài)學(xué)信息與分子基因功能信息實(shí)現(xiàn)病人生存狀態(tài)的準(zhǔn)確預(yù)測，團(tuán)隊(duì)結(jié)合前期病理圖像計(jì)算的工作積累，設(shè)計(jì)了融合病理圖像與基因的多模態(tài)生存預(yù)后預(yù)測模型，揭示了多模態(tài)信息對癌癥預(yù)后有很大的潛力，通過多模態(tài)模型的建模有望為輔助臨床診斷與決策提供有效工具。相關(guān)研究工作以“Integrative Histology-Genomic Analysis Predicts Hepatocellular Carcinoma Prognosis Using Deep Learning”為題發(fā)表于Genes（DOI: 10.3390/genes13101770)，碩士生侯嘉馨為第一作者。
圖3：團(tuán)隊(duì)提出的融合病理與基因的預(yù)后預(yù)測模型與實(shí)驗(yàn)結(jié)果
上述研究工作得到了國家自然科學(xué)基金青年項(xiàng)目、面上項(xiàng)目、深圳市基礎(chǔ)重點(diǎn)項(xiàng)目、中科院青年創(chuàng)新促進(jìn)會等資助。
論文鏈接：
1.http:// https://ieeexplore.ieee.org/document/10018139
2.https://www.sciencedirect.com/science/article/pii/S0002944021005241
附件下載：