隨著大模型技術(shù)迎來(lái)顛覆性突破，新興AI應(yīng)用大量涌現(xiàn)，不斷重塑著人類(lèi)、機(jī)器與智能的關(guān)系。

為此，昆侖萬(wàn)維集團(tuán)重磅推出《天工一刻》系列產(chǎn)業(yè)觀察欄目。在本欄目中，我們將對(duì)大模型產(chǎn)業(yè)熱點(diǎn)、技術(shù)創(chuàng)新、應(yīng)用案例進(jìn)行深度解讀，同時(shí)邀請(qǐng)學(xué)術(shù)專(zhuān)家、行業(yè)領(lǐng)袖分享優(yōu)秀的大模型行業(yè)趨勢(shì)、技術(shù)進(jìn)展，以饗讀者。

MoE混合專(zhuān)家大模型最近究竟有多火？

舉個(gè)例子，在此前的GTC 2024上，英偉達(dá)PPT上的一行小字，吸引了整個(gè)硅谷的目光。

“GPT-MoE 1.8T”

這行小字一出來(lái)，X（推特）上直接炸鍋了。

“GPT-4采用了MoE架構(gòu)”，這條整個(gè)AI圈瘋傳已久的傳言，竟然被英偉達(dá)給“無(wú)意中”坐實(shí)了。消息一出，大量AI開(kāi)發(fā)者們?cè)谏缃黄脚_(tái)上發(fā)帖討論，有的看戲吐槽、有的認(rèn)真分析、有的開(kāi)展技術(shù)對(duì)比，一時(shí)好不熱鬧。

MoE大模型的火熱，可見(jiàn)一斑。

近半年多以來(lái)，各類(lèi)MoE大模型更是層出不窮。在海外，OpenAI推出GPT-4、谷歌推出Gemini、Mistral AI推出Mistral、連馬斯克xAI的最新大模型Grok-1用的也是MoE架構(gòu)。

而在國(guó)內(nèi)，昆侖萬(wàn)維也于今年4月17日正式推出了新版MoE大語(yǔ)言模型「天工3.0」，擁有4000億參數(shù)，超越了3140億參數(shù)的Grok-1，成為全球最大的開(kāi)源MoE大模型。

MoE究竟是什么？它有哪些技術(shù)原理？它的優(yōu)勢(shì)和缺點(diǎn)是什么？它又憑什么能成為當(dāng)前最火的大模型技術(shù)？

以上問(wèn)題，本文將逐一回答。

MoE核心邏輯：術(shù)業(yè)有專(zhuān)攻

MoE，全稱(chēng)Mixture of Experts，混合專(zhuān)家模型。

MoE是大模型架構(gòu)的一種，其核心工作設(shè)計(jì)思路是“術(shù)業(yè)有專(zhuān)攻”，即將任務(wù)分門(mén)別類(lèi)，然后分給多個(gè)“專(zhuān)家”進(jìn)行解決。

與MoE相對(duì)應(yīng)的概念是稠密（Dense）模型，可以理解為它是一個(gè)“通才”模型。

一個(gè)通才能夠處理多個(gè)不同的任務(wù)，但一群專(zhuān)家能夠更高效、更專(zhuān)業(yè)地解決多個(gè)問(wèn)題。

（圖片來(lái)源：《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》）

上圖中，左側(cè)圖為傳統(tǒng)大模型架構(gòu)，右圖為MoE大模型架構(gòu)。

兩圖對(duì)比可以看到，與傳統(tǒng)大模型架構(gòu)相比，MoE架構(gòu)在數(shù)據(jù)流轉(zhuǎn)過(guò)程中集成了一個(gè)專(zhuān)家網(wǎng)絡(luò)層（紅框部分）。

下圖為紅框內(nèi)容的放大展示：

（圖片來(lái)源：Zian (Andy) Wang）

專(zhuān)家網(wǎng)絡(luò)層的核心由門(mén)控網(wǎng)絡(luò)（Gating Network）和一組專(zhuān)家模型（Experts）構(gòu)成，其工作流程大致如下：

1、數(shù)據(jù)首先會(huì)被分割多個(gè)區(qū)塊（Token），每組數(shù)據(jù)進(jìn)入專(zhuān)家網(wǎng)絡(luò)層時(shí)，首先會(huì)進(jìn)入門(mén)控網(wǎng)絡(luò)。

2、門(mén)控網(wǎng)絡(luò)將每組數(shù)據(jù)分配給一個(gè)或多個(gè)專(zhuān)家，每個(gè)專(zhuān)家模型可以專(zhuān)注于處理該部分?jǐn)?shù)據(jù)，“讓專(zhuān)業(yè)的人做專(zhuān)業(yè)的事”。

3、最終，所有專(zhuān)家的輸出結(jié)果匯總，系統(tǒng)進(jìn)行加權(quán)融合，得到最終輸出。

當(dāng)然，以上只是一個(gè)概括性描述，關(guān)于門(mén)控網(wǎng)絡(luò)的位置、模型、專(zhuān)家數(shù)量、以及MoE與Transformer架構(gòu)的具體結(jié)合方案，各家方案都略有差別，但核心思路是一致的。

與一個(gè)“通才網(wǎng)絡(luò)”相比，一組術(shù)業(yè)有專(zhuān)攻的“專(zhuān)家網(wǎng)絡(luò)”能夠提供更好的模型性能、更好地完成復(fù)雜的多種任務(wù)，同時(shí)，也能夠在不顯著增加計(jì)算成本的情況下大幅增加模型容量，讓萬(wàn)億參數(shù)級(jí)別的大模型成為可能。

Scaling Law：讓模型更大

MoE之所以受到整個(gè)AI大模型行業(yè)的追捧，一個(gè)核心的原因是——今天的大模型，正迫切地需要變得更大。

而這一切的原因，則要追溯到Scaling Law。

Scaling Law，規(guī)模定律，也譯為縮放定律。這不是一個(gè)嚴(yán)格的數(shù)學(xué)定律，它只是用來(lái)描述物理、生物、計(jì)算機(jī)等學(xué)科中關(guān)于系統(tǒng)復(fù)雜屬性變化的規(guī)律。

而在大語(yǔ)言模型里，從Scaling Law能夠衍生出一個(gè)通俗易懂的結(jié)論：

“模型越大，性能越好。”

更準(zhǔn)確的描述是：當(dāng)AI研究人員不斷增加大語(yǔ)言模型的參數(shù)規(guī)模時(shí)，模型的性能將得到顯著提升，不僅能獲得強(qiáng)大的泛化能力，甚至出現(xiàn)智能涌現(xiàn)。

自人工智能誕生以來(lái)，人們一直試圖設(shè)計(jì)出更巧妙的算法、更精密的架構(gòu)，希望通過(guò)人類(lèi)的智慧將機(jī)器設(shè)計(jì)得更聰明，達(dá)到通用人工智能。

但以O(shè)penAI為代表的業(yè)內(nèi)另一種聲音說(shuō)：“我反對(duì)！”

2019年，機(jī)器學(xué)習(xí)先驅(qū)Rich Sutton曾經(jīng)發(fā)表過(guò)一篇經(jīng)典文章《The Bitter Lesson》，該文幾乎被全體OpenAI成員奉為圭臬。

文中認(rèn)為，也許這種傳統(tǒng)方法是一種錯(cuò)誤的思路；也許試圖用人類(lèi)智慧設(shè)計(jì)出通用人工智能的這個(gè)路徑，在過(guò)去幾十年間，讓整個(gè)行業(yè)都走了大量彎路，付出了苦澀的代價(jià)。

而真正正確的路徑是：不斷擴(kuò)大模型規(guī)模，再砸進(jìn)去天文數(shù)字的強(qiáng)大算力，讓Scaling Law創(chuàng)造出更“聰明”的人工智能，而不是靠人類(lèi)自己去設(shè)計(jì)。

在這一輪大模型火起來(lái)之前，遵循這一思路的科學(xué)家一直是業(yè)內(nèi)的少數(shù)派，但自從GPT路線(xiàn)在自然語(yǔ)言處理上大獲成功之后，越來(lái)越多研究人員加入這一陣列。

追求更大的模型，成為了人工智能性能突破的一大核心思路。

然而問(wèn)題隨之而來(lái)。

眾所周知，隨著大模型越來(lái)越大，模型訓(xùn)練的困難程度、資源投入、訓(xùn)練時(shí)間都在指數(shù)型提升，可模型效果卻無(wú)法保證等比例提升。

隨著模型越來(lái)越大，穩(wěn)定性也越來(lái)越差，種種綜合原因讓大模型參數(shù)量長(zhǎng)久以來(lái)限制在百億與千億級(jí)別，難以進(jìn)一步擴(kuò)大。

如何在有限的計(jì)算資源預(yù)算下，如何訓(xùn)練一個(gè)規(guī)模更大、效果更好的大模型，成為了困擾行業(yè)的問(wèn)題。

此時(shí)，人們將目光投向了MoE。

MoE：突破萬(wàn)億參數(shù)大關(guān)

早在1991年，兩位人工智能界的泰斗Michael Jordan與Geoffrey Hinton就聯(lián)手發(fā)布了MoE領(lǐng)域的奠基論文《Adaptive Mixtures of Local Experts》，正式開(kāi)創(chuàng)了這一技術(shù)路徑。

2020年，《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》論文又首次將MoE技術(shù)引入到Transformer架構(gòu)中，拉開(kāi)了“MoE+大模型”的大幕。

2022年，Google《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》論文中提出的MoE大模型更是一舉突破了萬(wàn)億參數(shù)大關(guān)。

Switch Transformers模型參數(shù)達(dá)到1.57萬(wàn)億，與此前的T5模型相比，在相同的計(jì)算資源下獲得高達(dá)7倍的模型預(yù)訓(xùn)練速度提升，并實(shí)現(xiàn)了4倍的模型加速。

而正如文章開(kāi)頭所言，本屆GTC上英偉達(dá)側(cè)面證實(shí)了那個(gè)公認(rèn)的傳言：OpenAI在2023年推出的GPT-4，同樣采用了MoE架構(gòu)，其模型效果與計(jì)算效率都得到了顯著提升。

總結(jié)起來(lái)，MoE在大模型領(lǐng)域的優(yōu)勢(shì)包括：

1、與傳統(tǒng)的Dense模型相比，MoE能夠在遠(yuǎn)少于前者所需的計(jì)算資源下進(jìn)行有效的預(yù)訓(xùn)練，計(jì)算效率更高、速度更快，進(jìn)而使得模型規(guī)模得到顯著擴(kuò)大，獲得更好的AI性能。

2、由于MoE在模型推理過(guò)程中能夠根據(jù)輸入數(shù)據(jù)的不同，動(dòng)態(tài)地選擇不同的專(zhuān)家網(wǎng)絡(luò)進(jìn)行計(jì)算，這種稀疏激活的特性能夠讓模型擁有更高的推理計(jì)算效率，從而讓用戶(hù)獲得更快的AI響應(yīng)速度。

3、由于MoE架構(gòu)中集成了多個(gè)專(zhuān)家模型，每個(gè)專(zhuān)家模型都能針對(duì)不同的數(shù)據(jù)分布和構(gòu)建模式進(jìn)行搭建，從而顯著提升大模型在各個(gè)細(xì)分領(lǐng)域的專(zhuān)業(yè)能力，使得MoE在處理復(fù)雜任務(wù)時(shí)性能顯著變好。

4、針對(duì)不同的專(zhuān)家模型，AI研究人員能夠針對(duì)特定任務(wù)或領(lǐng)域的優(yōu)化策略，并通過(guò)增加專(zhuān)家模型數(shù)量、調(diào)整專(zhuān)家模型的權(quán)重配比等方式，構(gòu)建更為靈活、多樣、可擴(kuò)展的大模型。

不過(guò)，天下沒(méi)有免費(fèi)的性能提升，在擁有種種優(yōu)勢(shì)之于，MoE架構(gòu)也存在著不少挑戰(zhàn)。

由于MoE需要把所有專(zhuān)家模型都加載在內(nèi)存中，這一架構(gòu)對(duì)于顯存的壓力將是巨大的，通常涉及復(fù)雜的算法和高昂的通信成本，并且在資源受限設(shè)備上部署受到很大限制。

此外，隨著模型規(guī)模的擴(kuò)大，MoE同樣面臨著訓(xùn)練不穩(wěn)定性和過(guò)擬合的問(wèn)題、以及如何確保模型的泛化性和魯棒性問(wèn)題、如何平衡模型性能和資源消耗等種種問(wèn)題，等待著大模型開(kāi)發(fā)者們不斷優(yōu)化提升。

結(jié)語(yǔ)

總結(jié)來(lái)說(shuō)，MoE架構(gòu)的核心思想是將一個(gè)復(fù)雜的問(wèn)題分解成多個(gè)更小、更易于管理的子問(wèn)題，并由不同的專(zhuān)家網(wǎng)絡(luò)分別處理。這些專(zhuān)家網(wǎng)絡(luò)專(zhuān)注于解決特定類(lèi)型的問(wèn)題，通過(guò)組合各自的輸出來(lái)提供最終的解決方案，提高模型的整體性能和效率。

當(dāng)前，MoE仍舊是一個(gè)新興的大模型研究方向，研究資料少、資源投入大、技術(shù)門(mén)檻高，其研發(fā)之初仍舊以海外巨頭為主導(dǎo)，國(guó)內(nèi)只有昆侖萬(wàn)維等少數(shù)玩家能夠推出自研MoE大模型。

不過(guò)，值得注意的是，雖然以擴(kuò)大模型參數(shù)為核心的“暴力出奇跡”路線(xiàn)主導(dǎo)了當(dāng)前的人工智能行業(yè)研究，但時(shí)至今日也沒(méi)有人能拍著胸脯保證，Scaling Law就是人類(lèi)通往通用人工智能的唯一正確答案。

從1991年正式提出至今，MoE架構(gòu)已歷經(jīng)了30年歲月；深度神經(jīng)網(wǎng)絡(luò)更是70年前就已提出的概念，直到近十多年間才取得突破，帶領(lǐng)人類(lèi)攀上人工智能的又一座高峰。

MoE不是人工智能技術(shù)前進(jìn)道路的終點(diǎn)，它甚至不會(huì)是大模型技術(shù)的最終答案。未來(lái)，還將有大量感知、認(rèn)知、計(jì)算、智能領(lǐng)域的挑戰(zhàn)擺在研究者面前，等待著人們?nèi)ブ鹨唤鉀Q。

所幸的是，怕什么真理無(wú)窮，進(jìn)一寸有一寸的歡喜。

參考資料：

1、GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding

2、Mixture of Experts: How an Ensemble of AI Models Decide As One

3、Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

4、「天工2.0」MoE大模型發(fā)布