把大模型用在長(zhǎng)鏈路、復(fù)雜協(xié)作的供應(yīng)鏈上，是提效最明顯的領(lǐng)域之一。供應(yīng)鏈場(chǎng)景的「釘子」迎來(lái)了大模型生產(chǎn)力這把「錘子」。

作為支撐順豐速運(yùn)背后的供應(yīng)鏈數(shù)智化承載，順豐科技圍繞物流場(chǎng)景的數(shù)智化需求，攜手火山引擎積極探索大模型時(shí)代的最佳實(shí)踐。

2024年，憑借火山引擎機(jī)器學(xué)習(xí)平臺(tái) AI 訓(xùn)推一體服務(wù)，順豐科技推出了針對(duì)物流行業(yè)的垂直領(lǐng)域大模型——「豐語(yǔ)」，在順豐的市場(chǎng)營(yíng)銷、客服、收派、國(guó)際關(guān)務(wù)等業(yè)務(wù)板塊的二十余個(gè)場(chǎng)景中的落地實(shí)踐應(yīng)用。「豐語(yǔ)」系列模型還利用火山引擎 AI 云原生推理套件 ServingKit，實(shí)現(xiàn)了從模型部署到推理應(yīng)用全鏈路的提效。

高效訓(xùn)推一體架構(gòu)，打造「豐語(yǔ)大模型」

順豐科技全面擁抱、深度探索 AI 在物流各環(huán)節(jié)中的增長(zhǎng)提效。自研的“豐語(yǔ)系列大模型家族”包括豐語(yǔ)語(yǔ)言大模型、豐語(yǔ)語(yǔ)音大模型、豐語(yǔ)多模態(tài)大模型，在順豐科技的市場(chǎng)營(yíng)銷、客服、收派、國(guó)際關(guān)務(wù)等20+業(yè)務(wù)板塊場(chǎng)景中實(shí)踐應(yīng)用。

在訓(xùn)練豐語(yǔ)大模型的過(guò)程中，順豐科技通過(guò)火山引擎機(jī)器學(xué)習(xí)平臺(tái)，實(shí)現(xiàn)從訓(xùn)練到推理的全鏈路加速。

模型訓(xùn)練過(guò)程中，火山引擎訓(xùn)練框架 veTuner 幫助「豐語(yǔ)大模型」實(shí)現(xiàn)了高性能 Dataloader 的全面適配與集群自動(dòng)并行，相較開(kāi)源框架性能提升超30%；

同時(shí)，火山引擎強(qiáng)化學(xué)習(xí)庫(kù) veRL 支持 PPO、GRPO、DAPO 等多種算法，最高實(shí)現(xiàn)64.9% MFU（內(nèi)存頻率利用率），大大降低了「豐語(yǔ)大模型」的訓(xùn)練成本；

xLLM 推理框架通過(guò) PD 分離部署與動(dòng)態(tài)流量調(diào)度，將「豐語(yǔ)」大模型的吞吐能力提升最高達(dá)5倍，穩(wěn)定應(yīng)對(duì)高并發(fā)業(yè)務(wù)高峰。