劃重點(diǎn):
1Meta正加入日益升溫的AI大戰(zhàn)中,為此該公司推出了新的大型語言模型LLaMA。 2LLaMA-13B比OpenAI的GPT-3模型小10倍,但其表現(xiàn)卻遠(yuǎn)超后者。 3LLaMA在生成文本、對(duì)話、總結(jié)書面材料以及解決數(shù)學(xué)定理或預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的任務(wù)方面,都具有很大潛力。 4AI模型減小可以幫助催生能在PC或智能手機(jī)等設(shè)備上本地運(yùn)行、類似ChatGPT風(fēng)格的語音助手。騰訊科技訊 2月25日消息,美國當(dāng)?shù)貢r(shí)間周五,F(xiàn)acebook母公司Meta宣布推出新的、有人工智能(AI)支持的大型語言模型(LLM)LLaMA-13B。該公司聲稱,盡管LLaMA-13B比OpenAI的GPT-3模型小了10倍,但其表現(xiàn)卻遠(yuǎn)超后者。
LLaMA-13B是Meta新語言模型家族的一部分,該模型名為“大型語言模型Meta AI”(簡(jiǎn)稱LLaMA)。LLaMA模型集合的參數(shù)從70億到650億個(gè)不等。相比之下,OpenAI的GPT-3模型(ChatGPT基礎(chǔ)模型)有1750億個(gè)參數(shù)。較小的AI模型可能幫助催生能在個(gè)人電腦(PC)或智能手機(jī)等設(shè)備上本地運(yùn)行、類似ChatGPT風(fēng)格的語音助手。
(相關(guān)資料圖)
Meta使用公共可用數(shù)據(jù)集(如Common Crawl、Wikipedia和C4)訓(xùn)練其LLaMA模型,這意味著該公司可能會(huì)將該模型和權(quán)重(神經(jīng)網(wǎng)絡(luò)用于“學(xué)習(xí)”的訓(xùn)練數(shù)據(jù))開源。對(duì)于這個(gè)行業(yè)來說,此舉堪稱是個(gè)巨變。因?yàn)榈侥壳盀橹梗瑓⒓覣I競(jìng)賽的大型科技公司始終對(duì)他們最強(qiáng)大的AI技術(shù)保密。
LLaMA項(xiàng)目成員紀(jì)堯姆·蘭普爾在推特上寫道:“與Chinchilla、PaLM或GPT-3不同,我們只使用公開可用的數(shù)據(jù)集訓(xùn)練,這使得我們的模型可被開源并被重復(fù)使用,而大多數(shù)現(xiàn)有AI模型依賴于未公開獲取或未記錄的數(shù)據(jù)?!?/p>
Meta將其LLaMA模型稱為“基礎(chǔ)模型”,這意味著該公司打算用這些模型來幫助構(gòu)建未來更精細(xì)的AI模型,就像OpenAI在GPT-3的基礎(chǔ)上構(gòu)建ChatGPT那樣。Meta希望LLaMA將在自然語言研究和潛在用例中發(fā)揮作用,如“問題回答、自然語言理解或閱讀理解,以及當(dāng)前語言模型的理解能力和局限性等”。
盡管頂級(jí)的LLaMA模型(LLaMA-65B,有650億個(gè)參數(shù))可與競(jìng)爭(zhēng)對(duì)手DeepMind、谷歌和OpenAI的類似產(chǎn)品進(jìn)行正面交鋒,但最有趣的發(fā)現(xiàn)來自LLaMA-13B。據(jù)報(bào)道,當(dāng)在單一GPU上運(yùn)行時(shí),LLaMA-13B的表現(xiàn)超過GPT-3。而與GPT-3衍生品需要數(shù)據(jù)中心支持不同,LLaMA-13B為在不久的將來在消費(fèi)級(jí)硬件上實(shí)現(xiàn)類似ChatGPT的功能打開了大門。
參數(shù)數(shù)量多少在AI領(lǐng)域是個(gè)大問題,它們是機(jī)器學(xué)習(xí)模型用來根據(jù)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)或分類的變量。語言模型中參數(shù)的數(shù)量是決定其性能的關(guān)鍵因素,較大的模型通常能夠處理更復(fù)雜的任務(wù)并產(chǎn)生更連貫的輸出。然而,參數(shù)越多會(huì)占用更多空間,并且需要更多計(jì)算資源支持。因此,如果某個(gè)模型可以用更少的參數(shù)得出與其他模型相同的運(yùn)算結(jié)果,就代表著效率顯著提高。
以下是Meta論文中LLaMA輸出的兩個(gè)例證:
1、場(chǎng)景描述:這是我為一位申請(qǐng)魔力獨(dú)角獸公司養(yǎng)龍員職位的求職者寫的推薦信:親愛的招聘人員:
LLaMA回復(fù):我已經(jīng)認(rèn)識(shí)XXX兩年了,我相信她會(huì)成為魔力獨(dú)角獸公司非常優(yōu)秀的養(yǎng)龍員。XXX具有記憶和處理大量信息的能力,這對(duì)養(yǎng)龍員來說是至關(guān)重要的技能。作為一名多才多藝的騎士,她對(duì)如何殺龍以及如何利用每條龍的弱點(diǎn)來對(duì)付它有著深刻的理解。這意味著,她知道每條龍喜歡什么食物,以及哪些食物不適合某條龍。在喂養(yǎng)龍方面,這些知識(shí)和經(jīng)驗(yàn)將是無價(jià)的。我相信XXX的能力、技能和經(jīng)驗(yàn)會(huì)使她成為非常優(yōu)秀的員工。如果您有任何問題,請(qǐng)撥打電話與我聯(lián)系。敬期您的回復(fù)!
2、以下是這個(gè)模型在《宋飛正傳》中虛構(gòu)場(chǎng)景的輸出:
場(chǎng)景描述:?jiǎn)讨蜗蚪苋鹫故酒湫翧I手表的搞笑場(chǎng)景
LLaMA回復(fù):喬治:杰瑞,你看,它不僅僅是一塊手表,而是一臺(tái)小型計(jì)算機(jī)。你可以隨心所欲地對(duì)其進(jìn)行編程。它有一個(gè)世界時(shí)鐘、鬧鐘、計(jì)算器、一個(gè)數(shù)據(jù)庫和一個(gè)語言翻譯器。它還配有文字處理器、拼寫檢查器、全功能計(jì)算器以及PDA。我想它甚至還能做卡布奇諾咖啡。
杰瑞:你從哪里弄到這東西的?
喬治:從我的廣告文案???,杰瑞,這不是手表,它是一個(gè)記事本、私人助理和錄音機(jī)。你可以和它下棋。而且,你知道,如果你愿意,你可以編程讓它說外語。這是一個(gè)微處理器。
杰瑞:喬治,如果你有這樣一塊手表,你會(huì)戴它嗎?
喬治:我現(xiàn)在就戴著它。
杰瑞:我沒看到你手腕上有任何東西。
喬治:那是因?yàn)樗€是微處理器。
獨(dú)立AI研究員西蒙·威里森談到Meta新模型的影響時(shí)稱:”我現(xiàn)在認(rèn)為,一兩年內(nèi),我們就將能在自己的手機(jī)和筆記本電腦上運(yùn)行具有ChatGPT相當(dāng)多功能的語言模型?!?/p>
目前,GitHub上提供了LLaMA模型的精簡(jiǎn)版本。為了接收完整的代碼和權(quán)重,Meta提供了表單,感興趣的研究人員可以在其上請(qǐng)求訪問權(quán)限。Meta目前還沒有宣布更廣泛發(fā)布該模型和權(quán)重的計(jì)劃。與之相比,谷歌的LaMDA和OpenAI的ChatGPT底層模型都未公開。
Meta首席執(zhí)行官馬克·扎克伯格在他的帖子中表示,LLaMA技術(shù)最終可以解決數(shù)學(xué)問題或進(jìn)行科學(xué)研究。他寫道:“LLaMA在生成文本、進(jìn)行對(duì)話、總結(jié)書面材料以及解決數(shù)學(xué)定理或預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的任務(wù)方面,都表現(xiàn)出了很大潛力。”
LLaMA模型的發(fā)布表明,在科技公司相互競(jìng)爭(zhēng)用戶和廣告收入之際,AI依然是它們關(guān)注的重點(diǎn)。與此同時(shí),能夠生成論文、藝術(shù)品和其他內(nèi)容的AI工具越來越受歡迎,這也引發(fā)了人們對(duì)錯(cuò)誤信息、抄襲和偏見的倫理擔(dān)憂。Meta說,研究人員通常無法接觸到大型語言模型,這阻礙了旨在解決這些問題的努力。
Meta在貼文中表示:“我們認(rèn)為,整個(gè)AI社區(qū)(包括學(xué)術(shù)研究人員、民間人士、政策制定者和業(yè)界)必須共同努力,圍繞打造負(fù)責(zé)任的AI模型,特別是負(fù)責(zé)任的大型語言模型制定明確的指導(dǎo)方針。我們期待著看到社區(qū)可以從LLaMA身上學(xué)到什么,并最終用它構(gòu)建什么?!?/p>
盡管Meta僅限于向研究人員開放LLaMA模型訪問權(quán)限,但整體上推進(jìn)AI發(fā)展可能會(huì)讓這家社交媒體巨頭以及其他科技公司受益。今年2月,扎克伯格表示,在公司裁員和重組后,Meta始終在“部署AI來幫助工程師提高生產(chǎn)率”。Facebook還使用AI來推薦人們可能感興趣的內(nèi)容,并將AI應(yīng)用于該公司的廣告業(yè)務(wù)。
扎克伯格在與分析師的電話會(huì)議上表示:“生成性人工智能(AIGC)是一個(gè)非常令人興奮的新領(lǐng)域,擁有許多不同的用例,我對(duì)Meta的目標(biāo)之一是,在我們的研究基礎(chǔ)上,除了在推薦AI方面的領(lǐng)先工作外,還要成為AIGC領(lǐng)域的領(lǐng)導(dǎo)者?!?/p>
ChatGPT和圖像生成器Dall-E等流行的AI工具加劇了AI競(jìng)賽,但包括Meta在內(nèi)的科技公司多年來始終在努力推進(jìn)AI發(fā)展。Meta也親眼目睹了依賴自動(dòng)化技術(shù)所帶來的問題。
2022年,Meta發(fā)布了一款名為BlenderBot 3的聊天機(jī)器人,但沒過多久,該機(jī)器人就發(fā)出了陰謀論、反猶言論,甚至對(duì)Facebook大加抨擊。2022年11月,Meta還發(fā)布了名為Galactica的語言模型,該模型可以總結(jié)學(xué)術(shù)研究信息,解決數(shù)學(xué)問題,并創(chuàng)建其他科學(xué)內(nèi)容。不過,這款工具很快也產(chǎn)生了錯(cuò)誤的信息。
扎克伯格始終將AI作為公司內(nèi)部的首要任務(wù),經(jīng)常在財(cái)報(bào)電話會(huì)議和采訪中談?wù)揂I對(duì)改善Meta產(chǎn)品的重要性。雖然LLaMA現(xiàn)在還沒有在Meta產(chǎn)品中使用,但將來可能會(huì)成為核心。目前,Meta的所有功能都依賴于AI,包括內(nèi)容審核和對(duì)用戶推送中出現(xiàn)的內(nèi)容進(jìn)行排名。
對(duì)LLaMA模型開源可以讓外部人員更清楚地了解該系統(tǒng)是如何工作的,不斷改進(jìn)它以滿足各自不同的需求,并在相關(guān)項(xiàng)目上進(jìn)行協(xié)作。去年,Big Science和Hugging Face發(fā)布了開源LLM軟件BLOOM,旨在讓這種技術(shù)更容易獲得。(金鹿)