速途網(wǎng)5月22日訊（報道：喬志斌）今日，潞晨科技宣布成功完成了一輪數(shù)億元的A輪融資。據(jù)該公司透露，這是潞晨科技成立18個月以來的第三輪融資，募集到的資金將主要用于團隊擴充和業(yè)務拓展。

潞晨科技成立于2021年，主要致力于建立分布式人工智能（AI）開發(fā)和部署平臺，旨在幫助企業(yè)降低大規(guī)模模型的實施成本，并提高訓練和推理效率。該公司的創(chuàng)始人尤洋表示，他之前在伯克利和新加坡國立大學從事分布式計算、機器學習和高性能計算等相關研究，并曾創(chuàng)造過ImageNet和BERT訓練速度的世界紀錄。在2021年左右，他更加堅信大模型的發(fā)展趨勢，因此創(chuàng)立了潞晨科技，旨在降低大模型的實施門檻。

潞晨科技目前的產(chǎn)品包括開源高效深度學習系統(tǒng)Colossal-AI和企業(yè)版PaaS平臺。該平臺主要由異構內(nèi)存管理系統(tǒng)、高效N維并行系統(tǒng)和低延遲推理系統(tǒng)組成，旨在實現(xiàn)最小化模型部署成本和最大化計算效率的目標。

在異構內(nèi)存管理方面，尤洋指出，隨著模型參數(shù)和層數(shù)的增加，計算量也相應增加。例如，GPT3的1750億參數(shù)可能需要占用800G的內(nèi)存。此外，在訓練神經(jīng)網(wǎng)絡時，還需要存儲梯度和優(yōu)化器狀態(tài)等數(shù)據(jù)。尤洋舉例說：“即使在GPT3什么都沒做的情況下，它的內(nèi)存消耗也會達到3200G。”因此，在訓練大模型的場景中，合理管理內(nèi)存資源變得非常重要。當GPU內(nèi)存無法容納這些數(shù)據(jù)時，還需要將部分數(shù)據(jù)遷移到CPU或NVMe硬盤上。

尤洋表示，管理GPU、CPU和NVMe硬盤被稱為異構管理。過去，異構管理主要采用靜態(tài)方法，一開始就預估所需的參數(shù)、梯度、優(yōu)化器等資源。然而，尤洋認為這種方法過于固定，無法根據(jù)實際訓練過程進行調(diào)配，可能導致資源浪費。而潞晨采用的動態(tài)管理方式可以更加靈活地平衡資源。尤洋解釋道：“我們希望數(shù)據(jù)都能放到GPU中。