近日，中國科學院深圳先進技術研究院醫學成像全國重點實驗室、醫工所醫學人工智能研究中心黃明強團隊在大模型AI芯片領域取得重要進展，其研究成果在電路與系統領域頂級期刊IEEE Transactions on Circuits and Systems I: Regular Papers上在線發表，論文題目為"EdgeLLM: A Highly Efficient CPU-FPGA Heterogeneous Edge Accelerator for Large Language Models"。該研究成功攻克人工智能大語言模型（LLM）在資源受限邊緣設備部署的核心難題，為智能機器人、便攜設備等場景的實時AI應用提供了創新解決方案。
自2017年以來，Transformer算法在自然語言處理和計算機視覺（CV）研究領域迅速成為人工智能領域的主導力量。通過引入自注意力機制，Transformer改變了傳統的序列建模方法，不再依賴卷積神經網絡或循環神經網絡進行特征提取和序列處理。這一創新不僅增強了模型的并行化能力，使得大規模模型的訓練成為可能，還顯著提升了模型性能。在Transformer取得成功之后，研究人員開始探索更大的模型，這些模型通常擁有數百億甚至更多的參數，被稱為“大語言模型”。大語言模型不僅增強了人工智能的語言處理能力，還推動了AI更廣泛的技術進步，為教育、娛樂、醫療和商業等行業帶來了革命性的變革。
但是大語言模型在資源受限的端側系統部署仍存在較大的困難。首先，大語言模型計算量龐大以及內存訪問需求極高。現有解決方案通常將這些權重參數量化為INT4格式。然而，為了確保計算精度，模型中的激活函數仍然保持FP16格式。因此，在前饋神經網絡（FFN）層中，系統需要支持FP16INT4格式的矩陣乘法。另一方面，在多頭注意力（MHA）模塊中，KV緩存作為激活數據動態生成，因此涉及KV緩存的矩陣乘法需要FP16FP16格式。因此，設計混合精度計算單元以加速LLM變得尤為重要。我們分析了前饋網絡（FFN）和多頭注意力（MHA）的計算需求，提出了高效率的混合精度計算單元以及組脈動陣列架構。此外，我們還提出了對數尺度結構化稀疏性和塊級量化方法，以在硬件效率和算法精度之間取得平衡。
此外，在大語言模型中，定義計算流程的算子圖極其復雜，包含數百甚至數千個以復雜方式相互連接的算子，確保從一個算子到另一個算子的過渡無縫且高效成為了一項重大挑戰。該團隊分析了大語言模型中的編譯需求，設計了一種統一且通用的數據格式，適用于所有算子和AI算法中的高維張量結構，使系統能夠快速執行算子操作而無需任何數據重排。隨后，開發了端到端的編譯方案，其中動態編譯用于處理不同輸入token長度，指令流水線策略用于減少延遲。該方案能夠動態編譯所有算子，并將整個模型映射到CPU-FPGA異構系統上。
最終，整個設計成功部署在AMDXilinx VCU128 FPGA上。與GPU相比，該系統的吞吐量提高了1.91倍，能效提高了7.55倍；與最先進的FPGA加速器FlightLLM相比，整體性能提升了10%到24%。該成果有望應用于新一代具身智能機器人、手機AI大模型等應用場景中。
中國科學院深圳先進技術研究院黃明強研究員為第一作者，南方科技大學深港微電子學院為合作單位。該研究得到了醫學成像科學與技術系統全國重點實驗室、科技創新-2030重大科技項目的資助。
圖1：文章上線截圖
圖2：AI帶來革命性的變革
圖3：端側FPGA-大模型 推理系統
圖4：不同計算平臺的數據
附件下載：