華為云盤(pán)古媒體大模型：三大技術(shù)創(chuàng)新重塑數(shù)字內(nèi)容生產(chǎn)與應(yīng)用

供稿 / 2024-06-21 22:576160

在6月21日舉行的華為開(kāi)發(fā)者大會(huì)（HDC 2024）上，華為云推出了盤(pán)古媒體大模型，通過(guò)在語(yǔ)音生成、視頻生成和AI翻譯三方面的技術(shù)創(chuàng)新，重塑了內(nèi)容生產(chǎn)和應(yīng)用的新模式。

盤(pán)古媒體大模型在視頻生成方面取得了顯著成果。通過(guò)盤(pán)古，可以將實(shí)拍視頻轉(zhuǎn)換為不同風(fēng)格的高清動(dòng)漫。在現(xiàn)場(chǎng)演示的生成視頻中，演員的舞蹈、武打等大運(yùn)動(dòng)軌跡能保持一致視覺(jué)效果，角色的面貌特征也保持前后一致。這一技術(shù)的突破，為視頻制作領(lǐng)域帶來(lái)了全新的可能性，也大大提升視頻制作效率，作品一次拍攝多元化制作，實(shí)現(xiàn)價(jià)值最大化。

在語(yǔ)音生成方面，盤(pán)古大模型通過(guò)AI原聲譯制與視頻生成能力，實(shí)現(xiàn)了將原片譯制成不同語(yǔ)言的視頻，并保留原始角色的音色、情感和語(yǔ)氣。更為重要的是，盤(pán)古還能同步生成新的口型，確保不同語(yǔ)言對(duì)應(yīng)的口型一致，使得跨語(yǔ)言溝通更加自然流暢。

此外，在AI翻譯方面，華為云盤(pán)古大模型也對(duì)云會(huì)議系統(tǒng)進(jìn)行了升級(jí)。通過(guò)基于大模型的語(yǔ)音復(fù)刻、AI文字翻譯以及TTS技術(shù)，實(shí)現(xiàn)了語(yǔ)音的同聲傳譯。這使得不同國(guó)家的人在云視頻會(huì)議中可以暢快地使用母語(yǔ)交流。結(jié)合數(shù)字人技術(shù)，在不方便開(kāi)攝像頭時(shí)，用戶(hù)還可以通過(guò)數(shù)字人參會(huì)，并通過(guò)口型驅(qū)動(dòng)實(shí)現(xiàn)數(shù)字人以各種語(yǔ)言說(shuō)話(huà)都能精準(zhǔn)匹配口型，如同本人說(shuō)話(huà)一般。這一技術(shù)的應(yīng)用，將為全球用戶(hù)提供更加便捷、高效的跨語(yǔ)言溝通體驗(yàn)。華為黃超在現(xiàn)場(chǎng)演示了新的云會(huì)議系統(tǒng)。

圖片3.png