近日，網易旗下AI研究與應用機構網易伏羲推出新一代Transformer推理引擎Easy and Efficient Transformer（簡稱：EET引擎）。該引擎具有可擴展、性能高、易使用等特點，能夠在自然語言處理和多模態(tài)領域，有效提升Transformed-based超大模型的推理效率，讓AI算法產生更大的社會價值，助力中國在超大模型生態(tài)研發(fā)領域領先全球。

目前，EET引擎已經應用在網易云音樂、Lofter，以及《逆水寒》、《天諭》等游戲中，在情境對話、語義判別、故事生成、AI作詞、AI作曲等場景中發(fā)揮效能。

近年來，國內外掀起了對Transformed-based超大模型的研發(fā)熱潮。Google、OpenAI、華為、微軟、NVIDIA等AI巨頭紛紛投身其中，在多個領域展開“軍備競賽”。然而，超大模型龐大的參數(shù)量帶來了巨大的計算壓力，處在高速發(fā)展期的超大模型生態(tài)，急需好用、高效、具有擴展性的推理引擎，來助推工程落地。

而技術應用，正是網易伏羲的重點研究方向。據(jù)悉，此次推出的EET引擎相當于在超大模型和應用場景之間搭建了一座橋梁，把超大模型的算法成果運用到實際業(yè)務中，有效降低響應時間、增強用戶體驗、提高吞吐量、緩解線上部署壓力。

在應用中，EET引擎主要解決兩個問題：首先，針對AI線上服務的延遲問題，EET引擎可以在更短的時間內響應用戶，提升用戶體驗。

舉例來說，在網易伏羲研發(fā)的AI寫歌產品中，用戶可以通過設定關鍵詞、韻腳、詞格、段落屬性等信息參數(shù)，在AI技術的幫助下，迅速創(chuàng)作一首歌詞。由于其中涉及到海量參數(shù)的計算，一首歌詞的創(chuàng)作大約需要20秒的時間。應用EET引擎的之后，同樣一首歌詞的創(chuàng)作時間被縮短到了3~4秒，用戶體驗大大提升。

第二，EET引擎還能降低硬件成本，提升線上模型的吞吐量。簡單來說，假如完成一項計算任務需要部署10臺服務器，在應用EET引擎之后，只需要2臺服務器就能完成相同的任務。

與同類推理引擎相比，EET引擎的加速效果表現(xiàn)出色。在一組與字節(jié)跳動推理引擎LightSeq的比較實驗中，EET引擎的加速效果在小規(guī)模情況下比LightSeq高0.819到1.64倍；在中等模型情況下，EET引擎的加速效果比LightSeq高1.46到2.9倍。

目前，超大模型的規(guī)模已經發(fā)展到千億級別，正在向萬億規(guī)模進發(fā)。網易伏羲也將進一步優(yōu)化EET引擎，未來將支持千億、乃至萬億規(guī)模的超大模型，為前沿技術發(fā)展和應用提供動力。

網易伏羲成立于2017年，是國內專業(yè)從事游戲和泛娛樂產業(yè)人工智能研究和應用的頂尖機構。網易伏羲的研究方向包括強化學習、圖像動畫、自然語言、虛擬人、用戶畫像、大數(shù)據(jù)平臺、云計算平臺、云游戲等領域。在為網易眾多產品提供高質量和前沿AI技術的同時，網易伏羲正在進一步把AI技術和產品開放給更多合作伙伴，全面釋放創(chuàng)作者的生產力，革新用戶體驗。