近日,科技界傳出重磅消息,據知名科技媒體The Information報道,meta Platforms在人工智能(AI)領域的激烈競爭中,正面臨前所未有的成本壓力。據悉,為了支撐其旗艦大語言模型Llama的發展,meta曾在2024年主動向包括微軟、亞馬遜在內的多家競爭對手尋求資金支持。
meta內部對于Llama項目的資源需求深感憂慮,因此提出了“Llama Consortium”的構想,并愿意讓潛在的投資方參與到Llama未來功能的開發中,以期吸引更多合作伙伴。然而,據消息人士透露,這一提議的初期反響并不如預期般熱烈,目前尚無法確定是否已達成正式的資金協議。
這一事件無疑凸顯了構建頂尖AI系統所需承擔的巨額成本,即便是像meta這樣財力雄厚的科技巨頭也難以獨自承擔。生成式AI領域的高風險性在此事件中得到了淋漓盡致的展現。
meta近期推出的Llama 4系列模型更是將其技術雄心與成本挑戰推向了新的高度。其中,Llama 4 Scout以109億的總參數和17億的活躍參數,專為單GPU使用設計,擁有超大的1000萬token上下文窗口,能夠一次性處理約750萬字的內容。而Llama 4 Maverick則針對更大規模的任務,總參數高達400億,同樣擁有17億的活躍參數,并配備了128個專家系統。
兩款模型均采用了先進的Mixture-of-Experts(MoE)架構,通過激活特定的子網絡來顯著提升效率。meta內部還秘密研發了一款參數高達2萬億的超級模型——Llama 4 Behemoth,該模型主要用于訓練小型模型,其龐大的計算需求甚至需要動用多達3.2萬塊GPU。
meta尋求資金支持的行為與其Llama模型在公司業務中的核心地位密不可分。自Llama 4發布以來,它迅速被集成到WhatsApp、Instagram和Facebook的meta AI功能中,并通過亞馬遜SageMaker JumpStart和微軟Azure AI Foundry等云平臺提供商用許可。
在激烈的市場競爭中,meta采取了強硬的姿態。據報道,meta正努力阻止蘋果的Apple Intelligence功能在其iOS應用中使用,以迫使用戶轉向基于Llama的AI工具。這一舉措無疑進一步加劇了雙方在AI領域的競爭態勢。