新科大研發獨創迷你人工智慧模型 性能超越許多現有開源語言模型

本地大學科研人員研發出獨創的迷你人工智慧模型。(圖:新加坡科技設計大學)
本地大學科研人員研發出獨創的迷你人工智慧模型(AI Model),性能超越許多現有的開源語言模型。
由新加坡科技設計大學信息系統技術與設計學院研究副院長陸巍副教授領導的團隊,推出的人工智慧模型「迷你羊駝」(TinyLlama),是一個擁有11億參數的開源語言模型,並進行了3萬億個標記訓練。
研究團隊說,目前的大型語言模型(LLMs)如ChatGPT或Google Bard,是由成千上萬個圖形處理單元(GPU)管理,並要求用戶連接到它們龐大的伺服器。
相比之下,「迷你羊駝」建立在16個圖形處理單元上,占用的隨機存取存儲器(RAM)空間不大。換句話說,「迷你羊駝」可以輕鬆部署在移動設備上,使每個人都能在口袋裡攜帶一個「迷你ChatGPT」。