AI晶片軟硬整合方案
Integrated Hardware-Software Solutions for AI Chips
邊緣智慧推論革命:高速文件助理推論加速器
技術特色
電光所與陽明交大共同研發論文問答系統，結合推論加速器，實現邊緣AI每秒25 tokens高效推論。
技術說明
本系統由工研院電光所與陽明交通大學黃俊達教授團隊共同研發，融合論文檢索問答技術與專為邊緣裝置設計的大型語言模型 (LLM) 推論加速電路，於FPGA平台上實現LLaMA2-7B大型語言模型的高效推論。透過混合精度計算與運算圖最佳化，可由硬體加速器完成99.9%的推論運算。即使在僅有100GB/s記憶體頻寬的條件下，仍可達成每秒輸出25個詞元(tokens)，實現低延遲與高效表現。本系統之論文檢索問答技術具備優異的語意理解與精準回應能力，兼具高效能、低功耗與可攜性，適合部署於各類邊緣AI裝置，有助企業實現智慧化應用落地。
技術聯絡人
姓名：陳鼎升
電話：03-5915499
信箱：justinchen@itri.org.tw
