本報(bào)訊 (記者李喬宇)4月21日,昆侖萬(wàn)維科技股份有限公司(以下簡(jiǎn)稱(chēng)“昆侖萬(wàn)維”)SkyReels團(tuán)隊(duì)正式發(fā)布并開(kāi)源SkyReels-V2——全球首個(gè)使用擴(kuò)散強(qiáng)迫(Diffusion-forcing)框架的無(wú)限時(shí)長(zhǎng)電影生成模型,其通過(guò)結(jié)合多模態(tài)大語(yǔ)言模型(MLLM)、多階段預(yù)訓(xùn)練(Multi-stage Pretraining)、強(qiáng)化學(xué)習(xí)(ReinforcementLearning)和擴(kuò)散強(qiáng)迫(Diffusion-forcing)框架實(shí)現(xiàn)協(xié)同優(yōu)化。
SkyReels-V2不僅在技術(shù)上實(shí)現(xiàn)了突破,還提供了多種有用的應(yīng)用場(chǎng)景,包括故事生成、圖生視頻、運(yùn)鏡專(zhuān)家和多主體一致性視頻生成(SkyReels-A2)。
SkyReels-V2現(xiàn)已支持生成30秒、40秒的視頻,且具備生成高運(yùn)動(dòng)質(zhì)量、高一致性、高保真視頻的能力。
SkyReels-V2不僅在技術(shù)上實(shí)現(xiàn)了突破,還為多個(gè)實(shí)際應(yīng)用場(chǎng)景提供了強(qiáng)大的支持。第一,SkyReels-V2能夠生成理論上無(wú)限時(shí)長(zhǎng)的視頻,通過(guò)滑動(dòng)窗口方法,模型在生成新幀時(shí)會(huì)參考之前生成的幀和文本提示。這種方法不僅支持時(shí)間上的擴(kuò)展,還能生成具有連貫敘事的長(zhǎng)鏡頭視頻;第二,SkyReels-V2提供了兩種圖像到視頻(I2V)的生成方法;第三,SkyReels-V2在標(biāo)注攝像機(jī)運(yùn)動(dòng)方面表現(xiàn)出色;第四,基于SkyReels-V2基座模型,昆侖萬(wàn)維研發(fā)了SkyReels-A2方案,并提出了一種新的多元素到視頻(E2V)任務(wù),能夠?qū)⑷我庖曈X(jué)元素(如人物、物體和背景)組合成由文本提示引導(dǎo)的連貫視頻,同時(shí)確保對(duì)每個(gè)元素的參考圖像的高保真度。這一功能適合短劇、音樂(lè)視頻和虛擬電商內(nèi)容創(chuàng)作等應(yīng)用。
作為首個(gè)商業(yè)級(jí)E2V開(kāi)源模型,SkyReels-A2在E2V評(píng)估Benchmark A2-Bench中的結(jié)果表明,其一致性和質(zhì)量維度上評(píng)估與閉源模型相當(dāng)。未來(lái),昆侖萬(wàn)維計(jì)劃擴(kuò)展框架以支持更多輸入模態(tài),如音頻和動(dòng)作,旨在構(gòu)建一個(gè)統(tǒng)一的視頻生成系統(tǒng),以支持更廣泛的應(yīng)用。
(編輯 張明富)
衛(wèi)星通信萬(wàn)億賽道起飛,手機(jī)直連時(shí)代開(kāi)啟
衛(wèi)星通信管理制度及政策法規(guī)進(jìn)一步完善……[詳情]
版權(quán)所有《證券日?qǐng)?bào)》社有限責(zé)任公司
互聯(lián)網(wǎng)新聞信息服務(wù)許可證 10120240020增值電信業(yè)務(wù)經(jīng)營(yíng)許可證 京B2-20250455
京公網(wǎng)安備 11010602201377號(hào)京ICP備19002521號(hào)
證券日?qǐng)?bào)網(wǎng)所載文章、數(shù)據(jù)僅供參考,使用前務(wù)請(qǐng)仔細(xì)閱讀法律申明,風(fēng)險(xiǎn)自負(fù)。
證券日?qǐng)?bào)社電話:010-83251700網(wǎng)站電話:010-83251800 網(wǎng)站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關(guān)注
掃一掃,加關(guān)注