速途網(wǎng)3月23日消息（報(bào)道：李楠）今日，2024全球開(kāi)發(fā)者先鋒大會(huì)上，阿里云魔搭社區(qū)公布“ModelScope-Sora開(kāi)源計(jì)劃”，將以開(kāi)源力量助力中國(guó)類Sora模型的探索和創(chuàng)新。該計(jì)劃將為類Sora模型開(kāi)發(fā)提供一站式工具鏈，涵蓋數(shù)據(jù)處理工具、多模態(tài)數(shù)據(jù)集、類Sora基礎(chǔ)模型、訓(xùn)練推理工具等。現(xiàn)階段，魔搭發(fā)布了業(yè)界首個(gè)開(kāi)源的多模態(tài)數(shù)據(jù)處理系統(tǒng)Data-Juicer，包含100多種高效算子，可大幅提升視頻數(shù)據(jù)處理效率和質(zhì)量。
Sora引發(fā)整個(gè)技術(shù)圈對(duì)多模態(tài)大模型的關(guān)注。除采用DiT模型架構(gòu)外，學(xué)習(xí)了大量高質(zhì)量數(shù)據(jù)，無(wú)疑也是Sora效果驚人的秘訣。阿里通義實(shí)驗(yàn)室資深算法專家李雅亮表示，“數(shù)據(jù)決定了機(jī)器學(xué)習(xí)任務(wù)的天花板，只有‘投喂’的數(shù)據(jù)質(zhì)量高、顆粒度細(xì)、數(shù)量多，模型訓(xùn)練才能走出‘垃圾進(jìn)，垃圾出’的困境。”
不過(guò)，類Sora模型的數(shù)據(jù)處理挑戰(zhàn)極大。主流大數(shù)據(jù)框架并非為多模態(tài)數(shù)據(jù)設(shè)計(jì)，而視頻處理難度較圖文又大幅攀升，現(xiàn)有工具難以應(yīng)對(duì)。因此，“ModelScope-Sora開(kāi)源計(jì)劃”首先上架了由阿里通義實(shí)驗(yàn)室研發(fā)的多模態(tài)數(shù)據(jù)處理系統(tǒng)Data-Juicer，它可對(duì)龐雜的多模態(tài)數(shù)據(jù)去粗取精，“榨出”更高質(zhì)量、更豐富、更易“消化”的數(shù)據(jù)。
Data-Juicer支持文本、圖片、音頻、視頻，內(nèi)置篩選、映射、去重、格式化輸出、美學(xué)打分等上百種高效算子，開(kāi)發(fā)者可以像玩樂(lè)高一樣自由組合。就像精于剪輯的導(dǎo)演，Data-Juicer能根據(jù)指定動(dòng)作自動(dòng)剪出視頻片段，還能增強(qiáng)分辨率、調(diào)整寬高比、去除文本段，或通過(guò)計(jì)算光流判斷視頻動(dòng)靜，只保留精彩瞬間。此外，它還可自動(dòng)打標(biāo)，對(duì)光線變化、環(huán)境氛圍都能精細(xì)捕捉并生成文字描述。
魔搭開(kāi)源的Data-Juicer流程示意圖
李雅亮介紹，魔搭社區(qū)還推出了基于Data-Juicer的沙盒實(shí)驗(yàn)室。研發(fā)人員可以先在迷你數(shù)據(jù)集和模型上快速迭代，找到最合適的配方。
然后，在Data-Juicer的數(shù)據(jù)加工流水線上，開(kāi)發(fā)者可以使用阿里云PAI來(lái)調(diào)用集群和GPU進(jìn)行大規(guī)模數(shù)據(jù)處理，后續(xù)還可在PAI上一站式完成模型的訓(xùn)練、推理。
魔搭“ModelScope-Sora計(jì)劃”同步開(kāi)源了基礎(chǔ)類Sora模型。華東師范大學(xué)段忠杰博士聯(lián)合魔搭社區(qū)，實(shí)現(xiàn)了DiT架構(gòu)的視頻生成擴(kuò)散模型lite-Sora，并在小規(guī)模數(shù)據(jù)集上初步訓(xùn)練，得到能生成大幅度運(yùn)動(dòng)視頻的實(shí)驗(yàn)?zāi)Ｐ汀Ｔ撃Ｐ驼M(jìn)一步深度訓(xùn)練，最終目標(biāo)是完成對(duì)Sora的復(fù)現(xiàn)。
魔搭開(kāi)源的lite-Sora模型架構(gòu)圖
接下來(lái)，魔搭社區(qū)還將舉辦“ModelScope-Sora挑戰(zhàn)賽”, 鼓勵(lì)更多開(kāi)發(fā)者打造并開(kāi)源自己的類Sora模型，共同加速中國(guó)多模態(tài)大模型的發(fā)展。同時(shí)，魔搭將助力構(gòu)建開(kāi)放的中文高質(zhì)量多模態(tài)數(shù)據(jù)集。作為國(guó)內(nèi)規(guī)模最大、最活躍的AI開(kāi)源模型社區(qū)，阿里云魔搭目前已匯聚3000多款優(yōu)質(zhì)模型及上千數(shù)據(jù)集，為超過(guò)400萬(wàn)開(kāi)發(fā)者提供模型及免費(fèi)算力服務(wù)。
