速途網(wǎng)12月8日訊（報道：喬志斌）今日，鵬城實驗室與百度聯(lián)合召開發(fā)布會，正式發(fā)布雙方共同研發(fā)的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan）。該模型參數(shù)規(guī)模達到2600億，是目前全球最大中文單體模型，在60多項任務(wù)上取得最好效果。同時，百度產(chǎn)業(yè)級知識增強大模型“文心”全景圖首次亮相，從技術(shù)自主創(chuàng)新和加速產(chǎn)業(yè)應(yīng)用兩方面，推動中國AI發(fā)展更進一步。
現(xiàn)場，中國工程院院士、鵬城實驗室主任高文，百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實驗室主任王海峰共同啟動發(fā)布儀式。
高文院士在致辭中表示，“預(yù)訓(xùn)練模型對整個科學(xué)的發(fā)展、社會的發(fā)展、創(chuàng)新的發(fā)展都是非常重要的工具。運用這個工具，可以幫助做很多人工智能的賦能，不局限于某個領(lǐng)域，這對人工智能的發(fā)展都是一個福音。”
王海峰介紹，百度知識增強大模型從大規(guī)模知識和海量數(shù)據(jù)中融合學(xué)習(xí)，效率更高，效果更好，具有良好的可解釋性。從2019年3月發(fā)布文心ERNIE 1.0，到最新的產(chǎn)業(yè)級知識增強大模型文心全景圖，既包含基礎(chǔ)通用的大模型，也包含面向重點領(lǐng)域、重點任務(wù)的大模型，以及豐富的工具與平臺，有助于促進技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。
此次重磅發(fā)布的鵬城-百度·文心是“全球首個知識增強千億大模型”，在機器閱讀理解、文本分類、語義相似度計算等60多項任務(wù)取得最好效果，并在30余項小樣本和零樣本任務(wù)上刷新基準。
鵬城-百度·文心成功發(fā)布的背后，得益于鵬城實驗室的算力系統(tǒng)“鵬城云腦Ⅱ”和飛槳深度學(xué)習(xí)平臺的強強聯(lián)手，解決了超大模型訓(xùn)練的多個公認技術(shù)難題，使鵬城-百度·文心訓(xùn)練效率大幅提升，模型效果更優(yōu)。“鵬城云腦Ⅱ”是國產(chǎn)自主的首個E級AI算力平臺，曾在多個國際性能測試上獲得冠軍。飛槳是我國首個自主研發(fā)的深度學(xué)習(xí)開源開放平臺，研制了端到端自適應(yīng)分布式訓(xùn)練框架，實現(xiàn)多硬件支持，并行效率高達90%，有效支持鵬城-百度·文心千億大模型高效、穩(wěn)定地訓(xùn)練。
為解決大模型應(yīng)用落地難題，百度團隊首創(chuàng)大模型在線蒸餾技術(shù)，模型參數(shù)壓縮率可達99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當，為產(chǎn)業(yè)大規(guī)模應(yīng)用打開新窗口。
為促進產(chǎn)學(xué)研協(xié)“多輪驅(qū)動”，鵬城實驗室與百度成立了鵬城-百度自然語言處理聯(lián)合實驗室，并以此為依托，資源共享、優(yōu)勢互補，在自然語言處理前沿研究和創(chuàng)新應(yīng)用方面協(xié)同攻關(guān)，助力打造國家戰(zhàn)略科技力量。本次聯(lián)合發(fā)布的鵬城-百度·文心將進一步解決 AI 技術(shù)在產(chǎn)業(yè)應(yīng)用中缺乏領(lǐng)域和場景化數(shù)據(jù)等關(guān)鍵難題。本著“開源開放”的理念，該模型代碼近期會在OpenI啟智社區(qū)開源，依托鵬城云腦Ⅱ?qū)ν忾_放，積極聯(lián)合“產(chǎn)學(xué)研協(xié)”各方，充分挖掘AI大模型的賦能能力，助力科技創(chuàng)新，推動產(chǎn)業(yè)發(fā)展。
目前，百度文心通過百度飛槳平臺陸續(xù)對外開源開放，并已大規(guī)模應(yīng)用于百度搜索、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品，同時通過百度智能云賦能工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)。在金融領(lǐng)域，基于百度文心實現(xiàn)了合同智能解析，能夠在1分鐘內(nèi)完成對相關(guān)合同條款文本的解析識別，速度是之前的幾十倍，大大提升了工作效率。百度智能云的智能客服也基于百度文心提升了服務(wù)的精準性，目前已經(jīng)在中國聯(lián)通、浦發(fā)銀行等企業(yè)應(yīng)用，拓展到全國各地。
從AI核心技術(shù)到AI基礎(chǔ)平臺，從技術(shù)創(chuàng)新到實踐落地再到開放生態(tài)，多年來，以百度為代表的中國AI企業(yè)堅持自主創(chuàng)新、開源開放，加強產(chǎn)學(xué)研協(xié)合作，不斷降低AI技術(shù)開發(fā)和應(yīng)用的門檻，為各行各業(yè)提供高質(zhì)量發(fā)展新動能。
