近日，2023年IEEE游戲大會（Conference on Games, CoG） 足球AI競賽正式公布了比賽結果，網易互娛AI Lab成功衛冕，分別以2182.09分和2053.84分的成績再度包攬了5v5和11v11兩個賽道的冠軍，并以高于亞軍450.87分和562.45分的絕對優勢取得了斷崖式領先。值得一提的是，在主賽道11v11的兩輪正賽共計420場比賽中，網易互娛AI Lab取得了420場全勝的碾壓式戰績，以場均凈勝超過20球的成績擊敗了來自眾多知名企業和頂尖學府的AI團隊，相較上一屆比賽中的表現也取得了大幅提升，再度彰顯了實驗室在游戲AI方面的技術硬實力。
IEEE游戲大會是游戲人工智能領域的國際頂會，匯聚了來自全球游戲AI領域內的研究和開發人員，共同探討游戲技術與設計相關的前沿話題和未來趨勢。本次IEEE游戲大會下設的足球AI競賽已連續舉辦兩屆，吸引了包括來自嗶哩嗶哩、字節跳動、清華大學、中科院等眾多工業界和學術界的頂尖隊伍，競爭非常激烈。
本屆足球AI競賽設置了5v5和11v11雙賽道。其中，5v5賽道要AI學會控制除了守門員之外的4名隊員，而11v11賽道則要AI學會控制包含守門員在內的全部11名隊員。在策略層面上，智能體需要在無法準確預知其他智能體的行動時進行決策，并與其他智能體進行良好配合，如適時進行截斷、阻擋、突破和反擊；在宏觀層面上，智能體還需要在進攻策略和防守策略之間找到平衡，其中所涉及的團隊協作和競爭對抗十分復雜，這都對AI訓練提出了挑戰。
面對以上難題，網易互娛AI Lab使用了已經在公司內部驗證多次的、從零開始的深度強化學習方案進行智能體訓練，從而極大提升了智能體的強度，并令其表現出了極為流暢的傳接配合。其中，在強化學習部分，實驗室使用了PPO（近端優化算法）在CTCE（中心化訓練中心化推理）模式下進行自博弈訓練，所用的策略網絡主體現由Transformer和LSTM兩大模塊構成。整個隊伍的決策現在可以在經過神經網絡推理后一次性全部輸出，減少了推理所需算力從而極大地加速了訓練過程。同時，得益于自研的分布式深度強化學習框架，訓練過程加入了和數百種不同風格的對手進行對戰的模擬場景。最終，網易互娛AI Lab的智能體能夠在此次比賽中面對各種未知對手的情況下穩定取勝，而且相較于其他參賽隊伍也表現出了更加多樣的策略，例如下底傳中、防守反擊、戰術犯規等真實足球比賽中的常見戰術。
網易互娛AI Lab在開局取得球權后在面對多名防守隊員的情況下連續精準傳球，光速破門
除了競賽中的競技對戰功能，游戲AI還能被應用于游戲冷啟動的友好陪玩、平衡性測試等場景，前者可幫助提升玩家的游戲體驗，而后者則能在游戲開發中幫助降低成本并提升效率。網易互娛AI Lab的游戲AI相關技術應用了前沿的模仿學習、強化學習、進化學習算法等，目前已經在多款游戲中落地，滿足各類游戲場景需求。從理論到實踐、從簡單到困難，網易互娛AI Lab將持續通過游戲AI技術帶給玩家更為精彩的體驗，賦予游戲全新的價值。
