“我們正在加大投資人工智能模型，為我們的產(chǎn)品賦予新的功能，并提升對(duì)內(nèi)容和廣告的精準(zhǔn)推薦能力。我們不僅致力于將領(lǐng)先的人工智能能力定位為自身業(yè)務(wù)發(fā)展的倍增器，也讓其為我們的企業(yè)客戶，乃至整個(gè)社會(huì)創(chuàng)造價(jià)值。”騰訊董事會(huì)主席兼首席執(zhí)行官馬化騰在2023年第三季度財(cái)報(bào)中表示。
據(jù)悉，騰訊本季度總收入為人民幣1546億元，同比增長(zhǎng)10%。同時(shí)財(cái)報(bào)中還表示，騰訊正在升級(jí)自研基礎(chǔ)模型騰訊混元，將其部署到內(nèi)部產(chǎn)品中，并向外部企業(yè)客戶開放使用。
隨著混元大模型的發(fā)布，騰訊也正式將全面擁抱大模型作為未來的發(fā)展方向。目前我國(guó)人工智能市場(chǎng)大模型數(shù)量已經(jīng)趨于飽和，如何通過大模型為企業(yè)開辟商業(yè)化路徑，為用戶賦能實(shí)際生產(chǎn)生活新方式已經(jīng)成行業(yè)新的競(jìng)爭(zhēng)高地。
對(duì)此，大模型之家將依照《人工智能大模型產(chǎn)業(yè)創(chuàng)新價(jià)值研究報(bào)告》提出的“AQUA”評(píng)價(jià)體系，從模型能力、任務(wù)處理能力、應(yīng)用生態(tài)等六個(gè)維度對(duì)騰訊混元大模型展開多角度全方位的評(píng)測(cè)。
模型能力
模型規(guī)模：混元大模型的參數(shù)規(guī)模超過千億，是目前國(guó)內(nèi)最大的中文語言模型之一。模型規(guī)模的提升可以持續(xù)提高模型的泛化能力和通用能力，使模型能夠處理更多的場(chǎng)景和任務(wù)。
訓(xùn)練數(shù)據(jù)量：混元大模型的預(yù)訓(xùn)練語料超過2萬億tokens，覆蓋了多個(gè)領(lǐng)域和主題的中文文本。訓(xùn)練數(shù)據(jù)量的增加可以提升模型的語言理解和生成能力，使模型能夠?qū)W習(xí)到更豐富和更深層的語言知識(shí)。訓(xùn)練數(shù)據(jù)量是大語言模型優(yōu)化的關(guān)鍵，可以為模型提供更多的語言樣本和語言規(guī)律，提高模型的質(zhì)量和效果。
訓(xùn)練算力：混元大模型采用了騰訊自研的訓(xùn)練框架和優(yōu)化策略，利用騰訊云的高性能計(jì)算集群，實(shí)現(xiàn)了低成本、高效率的大模型訓(xùn)練。訓(xùn)練算力的提升可以縮短模型的訓(xùn)練時(shí)間，提高模型的訓(xùn)練質(zhì)量，使模型能夠快速迭代和優(yōu)化。訓(xùn)練算力作為大語言模型實(shí)現(xiàn)的基礎(chǔ)，為大模型帶來更多的計(jì)算資源和計(jì)算能力，提高模型的性能和穩(wěn)定性。
任務(wù)處理能力
通過AQUA任務(wù)處理能力測(cè)試環(huán)節(jié)，大模型之家發(fā)現(xiàn)混元大模型具有非常出色的聯(lián)系上下文能力，混元大模型能夠理解并保持對(duì)整個(gè)對(duì)話歷史的把握。其上下文理解能力使得模型能夠準(zhǔn)確解讀前文的語境，從而更好地回應(yīng)用戶的提問。
再對(duì)評(píng)測(cè)問題的“追問”，混元大模型不僅可以給出正確的答案還可以在接下來的多輪對(duì)話中豐富用戶的需求，這樣的模型能夠保持一致性，確保在整個(gè)對(duì)話過程中回答的信息不產(chǎn)生矛盾。可以靈活地適應(yīng)對(duì)話中的變化，處理新引入的信息，能夠在對(duì)話的不同輪次中保持一致的語境。使得混元大模型更具智能，并且在復(fù)雜的任務(wù)中表現(xiàn)更為出色。
從混元大模型的任務(wù)處理表現(xiàn)上可以看出，模型在訓(xùn)練中使用了大規(guī)模的數(shù)據(jù)集，使其能夠涵蓋多樣的語境和主題，從而更全面地理解不同領(lǐng)域的知識(shí)。通過廣泛訓(xùn)練思路幫助模型在處理各種領(lǐng)域和主題的對(duì)話時(shí)表現(xiàn)得更為靈活和全面。大模型通常采用先進(jìn)的注意力機(jī)制，能夠在處理長(zhǎng)文本序列時(shí)更好地關(guān)注重要的部分，確保對(duì)話的一致性和準(zhǔn)確性。
值得一提的是混元大模型在一輪對(duì)話中還設(shè)置了清除上下文關(guān)聯(lián)功能，通過此功能可以讓使用者快速的校準(zhǔn)在對(duì)話出現(xiàn)問題或錯(cuò)誤的情況，對(duì)于需要精準(zhǔn)回答當(dāng)前問題而不受先前對(duì)話歷史影響的場(chǎng)景，清除上下文關(guān)聯(lián)功能有助于控制對(duì)話的方向，確保模型專注于當(dāng)前上下文而不被過去的信息干擾。
同時(shí)，該功能可以讓混元大模型更獨(dú)立于先前的語境，從而提高模型對(duì)于不同問題和場(chǎng)景的適應(yīng)性和魯棒性。
在測(cè)試中，大模型之家還發(fā)現(xiàn)混元大模型基本上在所有的回答后都會(huì)給出相應(yīng)的擴(kuò)展內(nèi)容，特別是在客觀選擇題上，都會(huì)給出正確的答案以及各個(gè)選項(xiàng)的解釋。在內(nèi)容創(chuàng)作方面，混元大模型生成的答案不會(huì)吝惜文字，在目前市場(chǎng)上的同類產(chǎn)品具有很強(qiáng)的競(jìng)爭(zhēng)力。
泛化能力
在泛化能力上，混元大模型可以通過語音、文字、圖片等多種方式與用戶交互，根據(jù)用戶的需求，提供相應(yīng)的輸出方式增加用戶的溝通效率和體驗(yàn)，適應(yīng)不同的場(chǎng)景和設(shè)備。混元大模型可以對(duì)多種模態(tài)的信息進(jìn)行理解和生成，如圖文對(duì)齊、圖像描述、圖像檢索、圖像問答、圖像摘要、圖像分類等。
除多模態(tài)能力外，在多場(chǎng)景支持領(lǐng)域，混元大模型目前支持如文檔場(chǎng)景、會(huì)議場(chǎng)景、廣告場(chǎng)景和營(yíng)銷場(chǎng)景應(yīng)用，可以提供文檔創(chuàng)作、文本潤(rùn)色、文本校閱、表格公式及圖表生成、智能問答、文本摘要、文本分類等能力，提高場(chǎng)景的適應(yīng)性和效率。
混元大模型會(huì)議場(chǎng)景
應(yīng)用應(yīng)用拓展能力
混元大模型不僅可以作為基底模型，為不同產(chǎn)業(yè)場(chǎng)景構(gòu)建專屬應(yīng)用，還可以作為基礎(chǔ)設(shè)施，支持騰訊的各種產(chǎn)品和應(yīng)用能力。目前，騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等超過50個(gè)騰訊業(yè)務(wù)和產(chǎn)品，已經(jīng)接入騰訊混元大模型測(cè)試，并取得初步效果。
其中，騰訊會(huì)議通過接入混元大模型實(shí)現(xiàn)了會(huì)前、會(huì)中、會(huì)后全流程的體驗(yàn)重塑，從而有效提升了會(huì)議的效率和質(zhì)量。這也代表混元大模型在應(yīng)用拓展方面具備卓越的能力，能夠?yàn)楦黝惍a(chǎn)品和服務(wù)提供更為智能、高效、豐富的體驗(yàn)。這表明混元大模型在騰訊多元化業(yè)務(wù)生態(tài)中發(fā)揮著關(guān)鍵的角色，并為不同業(yè)務(wù)領(lǐng)域的需求提供了有效的解決方案
開放性指標(biāo)
在開放性指標(biāo)中，騰訊云業(yè)務(wù)也為混元大模型帶來多重部署方式，面向豐富的業(yè)務(wù)場(chǎng)景，提供整套行業(yè)和技術(shù)解決方案。混元大模型作為騰訊云的核心產(chǎn)品之一，騰訊云業(yè)務(wù)提供的高性能計(jì)算資源為大模型的訓(xùn)練和推理提供了強(qiáng)有力的支持。
通過與騰訊云的其他產(chǎn)品和服務(wù)相結(jié)合，實(shí)現(xiàn)多語言、多模態(tài)、多場(chǎng)景的泛化能力，為用戶提供更智能、更便捷、更有趣的體驗(yàn)，促進(jìn)產(chǎn)品和服務(wù)的創(chuàng)新。同時(shí)，騰訊云還可以提供多層次的安全措施，包括數(shù)據(jù)加密、訪問控制等助力數(shù)據(jù)安全和隱私保護(hù)。
大模型之家認(rèn)為，騰訊的龐大用戶基礎(chǔ)為騰訊在人工智能時(shí)代提供了先天性的資源優(yōu)勢(shì)。騰訊擁有超過10億的通信和社交用戶，以及超過1億的視頻、音樂、文學(xué)等數(shù)字內(nèi)容用戶，通過匯聚來自各種業(yè)務(wù)領(lǐng)域的龐大用戶群體的數(shù)據(jù)，能夠?yàn)榛煸竽Ｐ吞峁┴S富、多樣的訓(xùn)練樣本，從而提升模型的訓(xùn)練效果和泛化能力。這樣的數(shù)據(jù)基礎(chǔ)為模型的智能化和個(gè)性化提供了有力的支持，使其能夠更準(zhǔn)確地理解用戶需求和行為。
