近日,百度ERNIE升級到3.0,重磅發(fā)布知識增強(qiáng)的百億參數(shù)大模型。該模型除了從海量文本數(shù)據(jù)中學(xué)習(xí)詞匯、結(jié)構(gòu)、語義等知識外,還從大規(guī)模知識圖譜中學(xué)習(xí)。
ERNIE 3.0一舉刷新54個(gè)中文 NLP任務(wù)基準(zhǔn),其英文模型在國際權(quán)威的復(fù)雜語言理解任務(wù)評測SuperGLUE上,以超越人類水平0.8個(gè)百分點(diǎn)的成績登頂全球榜首。ERNIE 3.0同時(shí)具備超強(qiáng)語言理解能力以及寫小說、歌詞、詩歌、對聯(lián)等文學(xué)創(chuàng)作能力。
目前ERNIE 3.0已在百度文心官網(wǎng)開放,用戶可體驗(yàn)ERNIE 3.0創(chuàng)作的不同形式的內(nèi)容,實(shí)現(xiàn)更多有創(chuàng)意、有價(jià)值的應(yīng)用。
論文鏈接:https://arxiv.org/pdf/2107.02137.pdf
Demo 鏈接:https://wenxin.baidu.com/wenxin/ernie
ERNIE 3.0知識增強(qiáng)大模型:百億級預(yù)訓(xùn)練中首次引入大規(guī)模知識
近一年來,以GPT-3、Switch-Transformer 為代表的大規(guī)模預(yù)訓(xùn)練模型,帶來了人工智能領(lǐng)域新的突破,由于其強(qiáng)大的通用性和卓越的遷移能力,掀起了預(yù)訓(xùn)練模型往大規(guī)模參數(shù)化發(fā)展的浪潮。然而,現(xiàn)有的大規(guī)模預(yù)訓(xùn)練模型,主要依賴純文本學(xué)習(xí),缺乏大規(guī)模知識指導(dǎo)學(xué)習(xí),模型能力存在局限。
ERNIE 3.0的研究者進(jìn)一步挖掘大規(guī)模預(yù)訓(xùn)練模型的潛力,基于深度學(xué)習(xí)平臺飛槳的分布式訓(xùn)練技術(shù)優(yōu)勢,首次在百億級預(yù)訓(xùn)練模型中引入大規(guī)模知識圖譜,提出了海量無監(jiān)督文本與大規(guī)模知識圖譜的平行預(yù)訓(xùn)練方法(Universal Knowledge-Text Prediction)。通過將大規(guī)模知識圖譜的實(shí)體關(guān)系與大規(guī)模文本數(shù)據(jù)同時(shí)輸入到預(yù)訓(xùn)練模型中進(jìn)行聯(lián)合掩碼訓(xùn)練,促進(jìn)了結(jié)構(gòu)化知識和無結(jié)構(gòu)文本之間的信息共享,大幅提升了模型對于知識的記憶和推理能力。
ERNIE 3.0 中的文本與知識平行預(yù)訓(xùn)練
ERNIE 3.0統(tǒng)一預(yù)訓(xùn)練框架:同時(shí)具備語言理解和語言生成能力
百度研究者提出了將通用語義表示與任務(wù)語義表示相結(jié)合的模型框架,該框架融合自編碼和自回歸等不同的任務(wù)語義表示網(wǎng)絡(luò),既可同時(shí)處理語言理解和語言生成任務(wù),還能做無標(biāo)注數(shù)據(jù)的零樣本學(xué)習(xí)(Zero-shot Learning)和有標(biāo)注數(shù)據(jù)的微調(diào)訓(xùn)練(Fine-tuning)。此外,ERNIE 3.0在持續(xù)學(xué)習(xí)框架的基礎(chǔ)上,增加了任務(wù)語義表示網(wǎng)絡(luò),加速模型進(jìn)化。
ERNIE 3.0框架
ERNIE 3.0效果:一舉刷新54個(gè)中文NLP任務(wù)基準(zhǔn)
百度研究者在54個(gè)中文自然語言處理公開數(shù)據(jù)集,包含情感分析、觀點(diǎn)抽取、閱讀理解、文本摘要、對話生成、數(shù)學(xué)運(yùn)算等任務(wù)上,全面驗(yàn)證評估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了當(dāng)前最好效果,其中,在20多個(gè)不同類型的自然語言處理任務(wù)上取得了3%以上的顯著提升。
ERNIE 3.0在 Fine-tuning 范式下的任務(wù)效果
在實(shí)際應(yīng)用中,往往缺乏標(biāo)注數(shù)據(jù),因此,百度研究者也測試了ERNIE 3.0在Zero-shot Learning(零樣本學(xué)習(xí))范式下的效果,ERNIE 3.0在大多數(shù)任務(wù)上相對已有的中文大模型也取得了顯著的效果提升。
ERNIE 3.0 在零樣本學(xué)習(xí)下的效果
ERNIE 3.0英文模型登頂 SuperGLUE:超越人類水平0.8個(gè)百分點(diǎn)
SuperGLUE是由谷歌DeepMind、Facebook研究院、紐約大學(xué)、華盛頓大學(xué)等多個(gè)權(quán)威機(jī)構(gòu)聯(lián)合發(fā)布的復(fù)雜語言理解任務(wù)評測,旨在提升常識推理、因果判斷、上下文消歧、指代消解等復(fù)雜任務(wù)的效果。
ERNIE 3.0 登頂 SuperGLUE 全球榜首
事實(shí)上,早在2019年12月,ERNIE就曾以9個(gè)任務(wù)平均得分首次突破90大關(guān)的成績登頂GLUE全球榜首。這次ERNIE 3.0在SuperGLUE評測上奪冠,再次證明了ERNIE的強(qiáng)大實(shí)力。
寫小說、寫歌詞、寫古文:ERNIE 3.0文學(xué)創(chuàng)作與知識掌握能力顯著提升
ERNIE 3.0在文學(xué)創(chuàng)作能力方面也有了顯著提升,可以通過對海量文本與知識的學(xué)習(xí),無需專門訓(xùn)練,即可進(jìn)行文學(xué)創(chuàng)作。
ERNIE 3.0對知識的掌握,同樣大幅提升,通過知識圖譜對模型進(jìn)行增強(qiáng),讓模型具備更強(qiáng)的知識記憶和推理能力。