快手可靈大模型發(fā)布圖生視頻及視頻續(xù)寫功能
快手視頻生成大模型“可靈”自面世以來引發(fā)國內(nèi)外廣泛關(guān)注。6月21日，可靈再度進(jìn)化，正式推出圖生視頻功能，支持用任意靜態(tài)圖像生成5s視頻，并且可搭配不同的文本內(nèi)容，實(shí)現(xiàn)豐富的視覺敘事。同時，可靈還發(fā)布了視頻續(xù)寫功能，可為已生成的視頻(含文生視頻及圖生視頻)提供便捷的一鍵續(xù)寫和連續(xù)多次續(xù)寫，將視頻最長延伸至約3分鐘，極大拓展了視頻大模型的創(chuàng)作邊界。
按需定制視覺敘事
此前，可靈在文生視頻方面已經(jīng)展現(xiàn)出了創(chuàng)造逼真運(yùn)動場景、精確模擬物理特性以及將復(fù)雜概念巧妙融合的能力，輸出畫質(zhì)高，并允許用戶自由調(diào)節(jié)視頻的縱橫比。這些特性如今都被融入到圖生視頻模型。用戶只需上傳一張圖片，可靈即能基于對圖像的深度解析，變靜為動。
比如用戶如上傳經(jīng)典的蒙娜麗莎照片，可靈能夠讓蒙娜麗莎戴上墨鏡，并賦予她靈動的眼神交流。
得益于其基礎(chǔ)模型架構(gòu)中的3D時空聯(lián)合注意力機(jī)制，可靈在轉(zhuǎn)換靜態(tài)圖像為動態(tài)視頻時，能夠細(xì)膩準(zhǔn)確地實(shí)現(xiàn)大幅度運(yùn)動場景。例如，只需上傳一張牧羊犬追球的靜止照片，模型就能生成一段牧羊犬奔跑追逐網(wǎng)球的視頻，牧羊犬耳朵晃動、毛發(fā)飄揚(yáng)，而網(wǎng)球則在空中彈跳，視頻整體自然而流暢。
可靈圖生視頻模型還融入了提示詞融合技術(shù)，深化對圖像語義與用戶指令的理解整合。這意味著，模型能夠根據(jù)用戶提供的不同文本指令變換視頻中的動態(tài)表現(xiàn)，實(shí)現(xiàn)“按需定制”。
再比如用巨龍圖片生成視頻，輸入“正在捕食的巨龍，飛揚(yáng)的沙子，奇幻風(fēng)格的電影”，視頻便呈現(xiàn)巨龍掀起漫天黃沙，嘴部仿佛在咆哮的效果。此外，可靈圖生視頻模型支持不同風(fēng)格的圖像輸入，同時兼容各種長寬比的圖像輸入。
視頻續(xù)寫可生成最長約3分鐘視頻
可靈大模型推出視頻續(xù)寫功能，用戶只需一鍵操作，即可在已生成視頻的基礎(chǔ)上延續(xù)生成約5秒內(nèi)容，該功能同時適用于文生視頻和圖生視頻。同時，通過連續(xù)多次續(xù)寫，能夠最長生產(chǎn)約3分鐘的連貫視頻。基于對物理運(yùn)動的深入理解，視頻續(xù)寫不僅確保新生成部分與原視頻間的運(yùn)動連貫性及物理合理性，還能融入大幅度的動作變化。
此次升級的一大亮點(diǎn)是集成文本控制機(jī)制于視頻續(xù)寫中，這意味著用戶能夠通過自定義提示詞，為每段視頻續(xù)寫注入個性化創(chuàng)意。比如一個關(guān)于古堡的視頻片段，用戶既可以選擇讓它先“太陽落下去，天空變暗”，繼而“太陽升起來，天空變亮”，也可以探索另一路徑：“太陽落下去，天空變暗，燈光漸亮”，隨后“燈光亮起，霧氣氤氳”，以此創(chuàng)造出各具特色的連續(xù)視覺敘事。
6月6日，可靈文生視頻大模型正式亮相，并即時在快影App上啟動邀測體驗(yàn)，截至目前，已有累計超過14萬人排隊申請。此次進(jìn)化，可靈文生視頻基礎(chǔ)大模型的能力被整合到圖生視頻和視頻續(xù)寫功能中，將為用戶帶來更豐富、靈活的視頻創(chuàng)作體驗(yàn)。
據(jù)悉，快手還將在下月召開的2024世界人工智能大會(WAIC)上舉辦以“新AI·新應(yīng)用·新生態(tài)”為主題的大模型技術(shù)生態(tài)論壇，屆時將發(fā)布最新的大模型技術(shù)與應(yīng)用戰(zhàn)略，包括大模型技術(shù)矩陣全景、基座模型技術(shù)創(chuàng)新、應(yīng)用和落地情況等。
(受訪者供圖)
本文鏈接：http://knowith.com/news-1-812.html快手可靈大模型發(fā)布圖生視頻及視頻續(xù)寫功能
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
