新科大研发独创迷你人工智能模型 性能超越许多现有开源语言模型

本地大学科研人员研发出独创的迷你人工智能模型。(图:新加坡科技设计大学)
本地大学科研人员研发出独创的迷你人工智能模型(AI Model),性能超越许多现有的开源语言模型。
由新加坡科技设计大学信息系统技术与设计学院研究副院长陆巍副教授领导的团队,推出的人工智能模型“迷你羊驼”(TinyLlama),是一个拥有11亿参数的开源语言模型,并进行了3万亿个标记训练。
研究团队说,目前的大型语言模型(LLMs)如ChatGPT或Google Bard,是由成千上万个图形处理单元(GPU)管理,并要求用户连接到它们庞大的服务器。
相比之下,“迷你羊驼”建立在16个图形处理单元上,占用的随机存取存储器(RAM)空间不大。换句话说,“迷你羊驼”可以轻松部署在移动设备上,使每个人都能在口袋里携带一个“迷你ChatGPT”。