AI圈瘋狂的一周!新加坡將進一步加大人工智慧領域投資

2024年05月24日   •   1710次閱讀

5月13日,OpenAI推出了多模態大模型GPT-4o,它能夠同時理解和生成文本、語音及圖像。緊接著的第二天,谷歌發布了Gemini 1.5 Pro大模型,為谷歌搜索注入了推理功能。到了周三,位元組跳動公司推出了性價比極高的「豆包」大模型,宣稱其價格僅為市場價的1%。

AI競爭主要體現在大模型

博智庫預計,到2032年,全球生成式AI市場的規模將觸及1.3萬億美元。由於生成式AI的生成能力嚴重依賴大模型,因此這場AI競爭在很大程度上演變成了大模型的較量。

特別是在大語言模型(LLM)領域,資本紛紛下注其未來潛力。

微軟已對OpenAI投入超過130億美元;亞馬遜在2月為其競爭對手Anthropic追加了27.5億美元的投資;Meta在第一季度財報會議上宣布將額外投入數十億美元於AI領域;谷歌也在4月宣布將投入30億美元用於數據中心建設。

這些公司的股價今年已經上漲了10%至40%,而作為AI基礎設施的晶片巨頭英偉達的股價更是飆升了近90%。

何為大語言模型

大語言模型是一種由具有許多參數的人工神經網絡組成的語言模型。大模型的參數可以看作是神經元之間的連接,有了類似人腦神經的整個架構後,大模型就能對網際網路上的知識進行「學習」。

大語言模型工作的基本原理是根據已有文本,預測下一個詞出現的機率,進行輸出。大語言模型的「大」,指的是參數量。從2018年谷歌推出大規模預訓練語言模型BERT開始,到OpenAI的GPT-2、GPT-3、GPT-4,以及谷歌的PaLM和Gemini,Anthropic的Claude,短短几年,參數量從億級提升至萬億級,掀起了這場生成式AI變革。

圖源:ST

參數量越大,模型性能越好,神經元連接越多,AI就越像人腦,理解和推理能力就越強。因果推理的能力對AI系統進化十分重要,因此,大語言模型的出現,使通用人工智慧成為可能。

然而,面對高昂的算力成本、盈利難題以及投資機構的退縮,人們開始擔憂:大語言模型領域的競爭是否僅限於巨頭之間?

AI初創公司更難生存

新加坡國立大學計算機系的尤洋教授指出,大模型的創業門檻極高,「沒有兩三億美元的資金,幾乎不可能起步。無論是美國、歐洲還是中國,從事大型模型開發的公司都是如此。」大型模型的開發似乎天生就需要大量燒錢,而模型的性能在很大程度上取決於其參數量,參數量越大,所需的算力成本也就越高。

據美國媒體SemiAnalysis去年披露的內部消息,ChatGPT的參數量達到了1.8萬億,其訓練成本大約為6300萬美元。這僅僅是算力的開銷,還未包括實驗、訓練失敗、數據收集和人力成本等。日常運行ChatGPT也需要消耗大量算力資源。

圖源:FACEBOOK

新加坡AI公司WIZ.ai的聯合創始人兼董事長陸劍鋒曾表示:「扎克伯格提到Meta需要60萬片H100的計算能力,而OpenAI可能需要100萬片。除了這些頂尖公司,其他公司很難從零開始,開發通用大型模型。」

H100是英偉達在2022年推出的一款高性能GPU,主要針對AI和高性能計算任務。

儘管H100沒有官方公開的價格,但在二手交易平台eBay上,其售價已接近4萬美元一片。高昂的成本帶來了盈利的難題。

專攻特定領域 小公司的出路

在AI領域,專注於特定領域的小公司也正在尋找新的發展道路。風險投資基金Flint Capital的創始人斯米爾諾夫(Dmitry Smirnov)指出,投資機構對AI初創公司的投資並未成為歷史,但普通初創公司獲得青睞的程度已不如以往。

由於算力資源的限制,專注於特定領域、訓練有特定功能的大語言模型是多數小公司的選擇,這些模型通常用於企業服務。

圖源:FACEBOOK

尤洋指出,與通用大模型相比,垂直領域大模型可以更快實現盈利。例如,如果針對特定場景訓練一個大模型,其體量和成本僅為OpenAI的百分之一,那麼很可能實現盈利,如利用大模型加速藥物研發或幫助石油公司尋找石油。

新加坡獨角獸公司智慧芽(PatSnap)就是一個例子:

其聯合創始人關典表示,與OpenAI和Anthropic的通用大模型相比,智慧芽的大模型在專利這一垂直領域更加深入和準確。

她認為,這是大模型時代的機會。小公司追求的不是技術高峰,而是效率提升。

陸劍鋒說,小公司對算力成本敏感,這是大語言模型落地的難點。模型越大,推理代價就越高,如果一個場景只需要簡單知識,那麼過大的模型就不划算,這些在實際業務中還需考量。

新加坡在AI領域中的努力

新加坡去年推出了專為東南亞定製的大語言模型Sea-Lion,擁有30億和70億參數兩種版本。去年12月,在發布新加坡人工智慧策略2.0的同時,當局宣布投資7000萬元在未來兩年推出大語言模型,這個模型建立在Sea-Lion基礎上,規模將擴大到300億至500億參數。

尤洋認為,新加坡等小國,也有必要自研千億參數級別的大語言模型。「倒不是為了和OpenAI競爭,但有這樣一個模型,最適合東南亞語言和產業,能在各行各業中產生價值,同時又能吸引高端人才,就像中東推出的Falcon。」

"在新加坡中了1000萬新元,錢要怎麼花?"
2025年04月28日   •   17萬次閱讀
這對新加坡夫妻在中國玩了近一個月,離境時被海關質問,竟這樣說!
2025年05月02日   •   16萬次閱讀
2025新加坡准證政策大變革,全面調整要點全解析
2025年04月29日   •   15萬次閱讀
旅遊簽連續入境新加坡10次,一年待了300多天,陪讀爸爸被ICA請去「小黑屋」
2025年05月02日   •   6萬次閱讀
外國勢力干預新加坡大選!網友:原來是它!
2025年04月29日   •   5萬次閱讀
新加坡地鐵再現蹭飯女團,專盯安哥出手,30秒變370新元
2025年05月03日   •   4萬次閱讀
新加坡史上最糾結選戰:66歲副總理臨危受命,為何反成選民"燙手山芋"?
2025年05月01日   •   3萬次閱讀
在新加坡,政府能查出你把票投給誰了?然後秋後算帳?
2025年05月01日   •   3萬次閱讀
我在新加坡陪娃讀書,突然收到小三信息:「他太累了,放過他吧。」
2025年04月29日   •   2萬次閱讀
新加坡全球搶人!將大批引進這類新移民!職位空缺近8萬人
2025年04月29日   •   1萬次閱讀
國人紛紛聲援副總理顏金勇:他「不是陌生人」
2025年05月03日   •   1萬次閱讀
入境新加坡可以帶香腸嗎?
2025年05月02日   •   1萬次閱讀
留英博士到卡車司機,他從上海開電車狂飆3000公里驚現新加坡街頭!
2025年05月03日   •   1萬次閱讀
25 歲的滾燙人生:從NTU校園夜宵攤到千萬麻辣帝國的逆襲密碼
2025年05月02日   •   1萬次閱讀
人在新加坡過世後財產會這樣被分配?!
2025年05月02日   •   9747次閱讀
乘坐飛往新加坡航班行李丟失?官方解決方案來了
2025年04月29日   •   9234次閱讀
遍布全島!新加坡徒步50個絕美秘境路線曝光:雨林、海岸、濕地...
2025年04月29日   •   8550次閱讀
還記得28歲的你做了些什麼嗎? 那時的你會怎麼用1萬3500新元
2025年05月01日   •   5130次閱讀
是被風吹還是惡作劇? 行動黨宣傳冊和工人黨海報如此「接地氣」
2025年04月28日   •   4446次閱讀
「拋棄」選區沒信義? 移情別戀實屬無奈 從一而終那是運氣
2025年04月30日   •   4275次閱讀
新加坡這個自然公園要這麼玩!知道12件事玩得才爽
2025年05月03日   •   4104次閱讀
她在新加坡轉行幼教後工資破$5000,科技教育悄悄改變誰?
2025年04月30日   •   3762次閱讀
新幣攻破5.6關口!大選倒計時,搶占政策+匯率「黃金交叉點」
2025年04月29日   •   3420次閱讀
黃循財:外國人、遊客、高收入群體其實在補貼新加坡的低收入家庭
2025年04月30日   •   3420次閱讀