5月13日,OpenAI推出了多模态大模型GPT-4o,它能够同时理解和生成文本、语音及图像。紧接着的第二天,谷歌发布了Gemini 1.5 Pro大模型,为谷歌搜索注入了推理功能。到了周三,字节跳动公司推出了性价比极高的“豆包”大模型,宣称其价格仅为市场价的1%。

AI竞争主要体现在大模型
博智库预计,到2032年,全球生成式AI市场的规模将触及1.3万亿美元。由于生成式AI的生成能力严重依赖大模型,因此这场AI竞争在很大程度上演变成了大模型的较量。
特别是在大语言模型(LLM)领域,资本纷纷下注其未来潜力。
微软已对OpenAI投入超过130亿美元;亚马逊在2月为其竞争对手Anthropic追加了27.5亿美元的投资;Meta在第一季度财报会议上宣布将额外投入数十亿美元于AI领域;谷歌也在4月宣布将投入30亿美元用于数据中心建设。
这些公司的股价今年已经上涨了10%至40%,而作为AI基础设施的芯片巨头英伟达的股价更是飙升了近90%。
何为大语言模型
大语言模型是一种由具有许多参数的人工神经网络组成的语言模型。大模型的参数可以看作是神经元之间的连接,有了类似人脑神经的整个架构后,大模型就能对互联网上的知识进行“学习”。
大语言模型工作的基本原理是根据已有文本,预测下一个词出现的概率,进行输出。大语言模型的“大”,指的是参数量。从2018年谷歌推出大规模预训练语言模型BERT开始,到OpenAI的GPT-2、GPT-3、GPT-4,以及谷歌的PaLM和Gemini,Anthropic的Claude,短短几年,参数量从亿级提升至万亿级,掀起了这场生成式AI变革。

图源:ST
参数量越大,模型性能越好,神经元连接越多,AI就越像人脑,理解和推理能力就越强。因果推理的能力对AI系统进化十分重要,因此,大语言模型的出现,使通用人工智能成为可能。
然而,面对高昂的算力成本、盈利难题以及投资机构的退缩,人们开始担忧:大语言模型领域的竞争是否仅限于巨头之间?
AI初创公司更难生存
新加坡国立大学计算机系的尤洋教授指出,大模型的创业门槛极高,“没有两三亿美元的资金,几乎不可能起步。无论是美国、欧洲还是中国,从事大型模型开发的公司都是如此。”大型模型的开发似乎天生就需要大量烧钱,而模型的性能在很大程度上取决于其参数量,参数量越大,所需的算力成本也就越高。
据美国媒体SemiAnalysis去年披露的内部消息,ChatGPT的参数量达到了1.8万亿,其训练成本大约为6300万美元。这仅仅是算力的开销,还未包括实验、训练失败、数据收集和人力成本等。日常运行ChatGPT也需要消耗大量算力资源。

图源:FACEBOOK
新加坡AI公司WIZ.ai的联合创始人兼董事长陆剑锋曾表示:“扎克伯格提到Meta需要60万片H100的计算能力,而OpenAI可能需要100万片。除了这些顶尖公司,其他公司很难从零开始,开发通用大型模型。”
H100是英伟达在2022年推出的一款高性能GPU,主要针对AI和高性能计算任务。
尽管H100没有官方公开的价格,但在二手交易平台eBay上,其售价已接近4万美元一片。高昂的成本带来了盈利的难题。
专攻特定领域 小公司的出路
在AI领域,专注于特定领域的小公司也正在寻找新的发展道路。风险投资基金Flint Capital的创始人斯米尔诺夫(Dmitry Smirnov)指出,投资机构对AI初创公司的投资并未成为历史,但普通初创公司获得青睐的程度已不如以往。
由于算力资源的限制,专注于特定领域、训练有特定功能的大语言模型是多数小公司的选择,这些模型通常用于企业服务。

图源:FACEBOOK
尤洋指出,与通用大模型相比,垂直领域大模型可以更快实现盈利。例如,如果针对特定场景训练一个大模型,其体量和成本仅为OpenAI的百分之一,那么很可能实现盈利,如利用大模型加速药物研发或帮助石油公司寻找石油。
新加坡独角兽公司智慧芽(PatSnap)就是一个例子:
其联合创始人关典表示,与OpenAI和Anthropic的通用大模型相比,智慧芽的大模型在专利这一垂直领域更加深入和准确。
她认为,这是大模型时代的机会。小公司追求的不是技术高峰,而是效率提升。
陆剑锋说,小公司对算力成本敏感,这是大语言模型落地的难点。模型越大,推理代价就越高,如果一个场景只需要简单知识,那么过大的模型就不划算,这些在实际业务中还需考量。
新加坡在AI领域中的努力
新加坡去年推出了专为东南亚定制的大语言模型Sea-Lion,拥有30亿和70亿参数两种版本。去年12月,在发布新加坡人工智能策略2.0的同时,当局宣布投资7000万元在未来两年推出大语言模型,这个模型建立在Sea-Lion基础上,规模将扩大到300亿至500亿参数。
尤洋认为,新加坡等小国,也有必要自研千亿参数级别的大语言模型。“倒不是为了和OpenAI竞争,但有这样一个模型,最适合东南亚语言和产业,能在各行各业中产生价值,同时又能吸引高端人才,就像中东推出的Falcon。”
