只需要一段文字指令就能生成一段60秒精致細(xì)膩的視頻——今年2月起，文生視頻大模型Sora曾在全球人工智能業(yè)內(nèi)外引發(fā)震動(dòng)。4月27日上午，在2024中關(guān)村論壇年會(huì)未來(lái)人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學(xué)發(fā)布中國(guó)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性、高動(dòng)態(tài)性視頻大模型——Vidu。Vidu不僅能夠模擬真實(shí)物理世界，還擁有豐富想象力，具備多鏡頭生成、時(shí)空一致性高等特點(diǎn)，這也是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對(duì)標(biāo)國(guó)際頂尖水平，并在加速迭代提升中。

據(jù)了解，該模型采用團(tuán)隊(duì)原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長(zhǎng)達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。

根據(jù)現(xiàn)場(chǎng)演示的效果，Vidu能夠模擬真實(shí)的物理世界，能夠生成細(xì)節(jié)復(fù)雜、并且符合真實(shí)物理規(guī)律的場(chǎng)景，例如合理的光影效果、細(xì)膩的人物表情等。它還具有豐富的想象力，能夠生成真實(shí)世界不存在的虛構(gòu)畫(huà)面，創(chuàng)造出具有深度和復(fù)雜性的超現(xiàn)實(shí)主義內(nèi)容，例如“畫(huà)室里的一艘船正在海浪中駛向鏡頭”這樣的場(chǎng)景。

此外，Vidu能夠生成復(fù)雜的動(dòng)態(tài)鏡頭，不再局限于簡(jiǎn)單的推、拉、移等固定鏡頭，而是能夠圍繞統(tǒng)一主體在一段畫(huà)面里就實(shí)現(xiàn)遠(yuǎn)景、近景、中景、特寫(xiě)等不同 鏡頭的切換，包括能直接生成長(zhǎng)鏡頭、追焦、轉(zhuǎn)場(chǎng)等效果，給視頻注入鏡頭語(yǔ)言。

作為中國(guó)自研視頻大模型，Vidu還能理解中國(guó)元素，能夠在視頻中生成例如熊貓、龍等特有的中國(guó)元素。

值得一提的是，短片中的片段都是從頭到尾連續(xù)生成，沒(méi)有明顯的插幀現(xiàn)象，從這種“一鏡到底”的表現(xiàn)能夠推測(cè)出，Vidu采用的是“一步到位”的生成方式，與 Sora一樣，從文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

據(jù)了解，Vidu的快速突破源自于團(tuán)隊(duì)在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型的長(zhǎng)期積累和多項(xiàng)原創(chuàng)性成果。其核心技術(shù) U-ViT 架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個(gè)Diffusion與Transformer融合的架構(gòu)，完全由團(tuán)隊(duì)自主研發(fā)。

“在Sora發(fā)布后，我們發(fā)現(xiàn)剛好和我們的技術(shù)路線是高度一致的，這也讓我們堅(jiān)定地進(jìn)一步推進(jìn)了自己的研究�！鼻迦A大學(xué)人工智能研究院副院長(zhǎng)、生數(shù)科技首席科學(xué)家朱軍說(shuō)。自今年2月Sora發(fā)布推出后，團(tuán)隊(duì)基于對(duì)U-ViT 架構(gòu)的深入理解以及長(zhǎng)期積累的工程與數(shù)據(jù)經(jīng)驗(yàn)，在短短兩個(gè)月進(jìn)一步突破長(zhǎng)視頻表示與處理關(guān)鍵技術(shù)，研發(fā)推出Vidu視頻大模型，顯著提升視頻的連貫性與動(dòng)態(tài)性。