近日，中國科學院深圳先進技術研究院集成所光電工程技術中心李劍平博士團隊在海洋觀測機器視覺算法研究中取得新突破，設計發展了一種深度學習圖像著色算法，可將水下原位拍攝的海洋浮游生物灰度圖像自動著色為天然色彩，著色效果極為接近人眼觀察。最新研究論文以Colorization for In Situ Marine Plankton Images為題，被國際機器視覺三大頂級學術會議之一的歐洲機器視覺大會(European Conference on Computer Vision，2022 ECCV，10.23日-27日于以色列特拉維夫召開)接收發表，中國科學院大學碩士研究生郭冠男為第一作者，李劍平博士為論文通信作者，來自廈門大學、哈爾濱工業大學（深圳）的數據科學家參與本課題的合作研究。
浮游生物是海洋生態系統的基本組成部分，它們不僅是海洋漁業和水產養殖業的基礎，還對全球氣候變化和海洋碳匯起著難以估量的影響。因此，對浮游生物的觀測不僅是海洋生態科學研究的基礎，也是現代海洋生態環境管理不可或缺的手段。 自20世紀90年代初以來，水下顯微光學成像技術和儀器被逐步研發利用，通過原位成像觀測助力海洋浮游生態系統研究，大大推動了人類對以浮游生物觀測為基礎的相關科學認知。
近年來，隨著技術的發展，越來越多的浮游生物成像儀實現了彩色成像，也有許多實驗證明彩色圖像能夠比灰度圖像帶來更為豐富的信息，對浮游生物觀測起到重要作用。然而，水下彩色成像需要使用白光照明，會導致浮游動物因趨光性大量聚集在水下成像儀器前，改變它們在水下的原有空間分布（如下圖所示）。這種非自然的改變，會使導致浮游生物的觀測結果產生嚴重偏差，觀測定量無法準確。
由于絕大多數浮游動物對波長較長的紅光不敏感，傳統的水下成像儀多數使用紅光或近紅外光照明成像，以避免浮游動物的趨光性聚集。但是，顯然這樣的拍攝條件只能獲得浮游生物的灰度圖像。如果能夠訓練人工智能，將紅光照明下獲取的灰度圖像轉換為高保真的彩色圖像，則上述問題即可迎刃而解。
針對這一設想，李劍平團隊設計并訓練了一種基于深度卷積神經網絡的浮游生物自動著色算法，命名為IsPlanktonCLR網絡。 IsPlanktonCLR網絡采用了一種具有自指導功能的雙通路網絡結構，配合定制化的調色板和逐步聚焦的損失函數，實現了對浮游生物灰度圖像的自動化著色，且對稀有物種和普通物種的關鍵部位的色彩還原具有優異的準確性。
為實現IsPlanktonCLR算法的訓練開發，李劍平團隊通過長期不懈積累，構建了一個包含上千對浮游生物彩色-灰度原位圖像對數據集。利用該數據集，團隊不僅訓練了著色算法，還與CIC、MemoColor、LetColor、InstCol、Chroma等現有最優水平著色算法進行了性能對比。實驗結果證實，無論是在人眼視覺感受效果上，還是在PSNR、SSIM、FID等機器視覺的經典量化指標上，IsPlanktonCLR算法所取得的效果均為最佳。
為使比測實驗更加公平，團隊進行了一項較大規模的人眼感受評價民眾調查。利用網上調查問卷，團隊收集了115名志愿者對多種不同模型著色結果與真實圖像色彩相似性的評分。這些志愿者包含了海洋學家、浮游生物專家和研究生。統計評分結果進一步證實了IsPlanktonCLR算法的著色效果比現有其他方法更加接近人眼視覺感受。 此外，團隊還注意到現有面向圖像復原的著色算法普遍缺乏客觀、定量的著色評價指標。現有評價指標不僅難以模擬人眼視覺的色彩感知能力，還難以客觀量化評價著色圖像與真實圖像之間的色彩相似程度。
因此，該論文提出了一個融合了色彩直方圖、色彩聚合向量、色彩相關圖和色彩梯度等彩色特征的圖像色彩相似度評價指標CDSIM。通過在海洋浮游生物和自然場景圖像上分別開展測試（如下圖所示），驗證了CDSIM在著色算法效果評價中不僅有效，而且比現有其他指標更適合在科學成像領域的圖像著色評價中應用。
IsPlanktonCLR算法的發展為海洋成像觀測儀器獲取準確、真實的觀測結果提供了一種新的人工智能解決方案，其效果不僅直接規避了海洋浮游生物原位成像中因生物趨光聚集所致的觀測不準確問題，還有可能為其他海洋生物的成像觀測困難或損傷帶來新的問題解決思路，為人類探索和認識海洋提供新的技術手段。本項目得到中國科學院和深圳市科技創新計劃等項目資助。
浮游生物圖像自動著色算法的神經網絡結構示意圖
CDSIM在海洋浮游生物圖像（a）和自然場景圖像（b）上的測試結果示例
附件下載：