閱讀提示：突破了手語(yǔ)生成技術(shù)難題，為聽(tīng)障群體了解冬奧資訊帶來(lái)便利，同時(shí)有效解決了專(zhuān)業(yè)場(chǎng)景中手語(yǔ)服務(wù)資源相對(duì)匱乏的問(wèn)題，促進(jìn)了社會(huì)無(wú)障礙設(shè)施建設(shè)。

身穿白襯衫、紅西裝的“年輕女性”，將主播的口語(yǔ)播報(bào)內(nèi)容，實(shí)時(shí)翻譯成手語(yǔ)，傳達(dá)給聽(tīng)障群體……近日，北京廣播電視臺(tái)《北京您早》節(jié)目“上線”了手語(yǔ)播報(bào)數(shù)字人，與真人主播同步播報(bào)冬奧資訊。

相關(guān)數(shù)據(jù)顯示，我國(guó)聽(tīng)力殘疾人約2780萬(wàn)人，占全國(guó)殘疾人的30%以上。手語(yǔ)播報(bào)數(shù)字人的出現(xiàn)，讓“無(wú)聲世界”里開(kāi)始充滿(mǎn)了溫暖的冬奧聲音。

記者了解到，北京冬殘奧會(huì)開(kāi)幕在即，各項(xiàng)服務(wù)轉(zhuǎn)換工作接近尾聲。如何幫助盲聾殘疾人順利“收看”殘奧會(huì)比賽的配套工作也在有條不紊地進(jìn)行。

此外，針對(duì)北京2022年冬奧會(huì)和冬殘奧會(huì)研發(fā)的手語(yǔ)播報(bào)數(shù)字人，未來(lái)有望被推廣至更多應(yīng)用場(chǎng)景。

讓聽(tīng)障人士感受冬奧魅力

杜銀玲是一位聾人，同時(shí)也是一位手語(yǔ)教師、網(wǎng)絡(luò)博主。

“以前，我們觀看體育比賽時(shí)，需要同時(shí)打開(kāi)電視和手機(jī)，一邊看比賽畫(huà)面，一邊看手機(jī)中的文字解說(shuō)。”她告訴記者，這樣雖然也能獲取到比賽信息，但過(guò)程較為復(fù)雜，體育賽事的觀賞性也大打折扣。

從AI合成主播到虛擬美妝博主，語(yǔ)音播報(bào)數(shù)字人在傳媒、醫(yī)療、教育等領(lǐng)域越來(lái)越常見(jiàn)，但手語(yǔ)播報(bào)數(shù)字人卻不常見(jiàn)。尤其在體育新聞專(zhuān)業(yè)領(lǐng)域，聽(tīng)障群體往往無(wú)法直接通過(guò)手語(yǔ)播報(bào)獲取信息。

冬奧會(huì)期間正式上崗的手語(yǔ)播報(bào)數(shù)字人，由北京智譜華章科技有限公司、凌云光技術(shù)股份有限公司、清華大學(xué)計(jì)算機(jī)系賈珈教授團(tuán)隊(duì)、中科院計(jì)算所陳益強(qiáng)研究團(tuán)隊(duì)聯(lián)合打造。

研發(fā)團(tuán)隊(duì)在前期調(diào)研中了解到，人工手語(yǔ)翻譯工作量大，電視節(jié)目主持人和手語(yǔ)主持人配合難度高，且手語(yǔ)翻譯專(zhuān)業(yè)人員稀缺。因此，團(tuán)隊(duì)希望通過(guò)AI技術(shù)將口語(yǔ)播報(bào)內(nèi)容翻譯合成為手語(yǔ)，并通過(guò)手語(yǔ)播報(bào)數(shù)字人進(jìn)行播報(bào)。

“這套手語(yǔ)播報(bào)系統(tǒng)在表意的準(zhǔn)確性和表達(dá)的可懂度方面具有突出優(yōu)勢(shì)。”研發(fā)人員告訴記者，由于不需要過(guò)多人工干預(yù)，這套系統(tǒng)還能節(jié)省大量人力，在手語(yǔ)播報(bào)時(shí)更快、更精準(zhǔn)地傳達(dá)相應(yīng)信息。

“智能手語(yǔ)播報(bào)拓展了我們觀看比賽、理解比賽的渠道，讓我們更深入地沉浸在比賽的氛圍里。”杜銀玲說(shuō)。

數(shù)字人如何學(xué)習(xí)手語(yǔ)

為了讓學(xué)員準(zhǔn)確快速地進(jìn)行手語(yǔ)翻譯，杜銀玲在日常教學(xué)中，會(huì)讓學(xué)員反復(fù)訓(xùn)練，提高手語(yǔ)運(yùn)用的熟練度。同樣，手語(yǔ)播報(bào)數(shù)字人在學(xué)習(xí)手語(yǔ)的過(guò)程中，也經(jīng)歷了一番“系統(tǒng)而刻苦”的訓(xùn)練。

手語(yǔ)播報(bào)數(shù)字人生成技術(shù)涉及多個(gè)領(lǐng)域，包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、跨媒體計(jì)算、人機(jī)交互等。

在語(yǔ)料庫(kù)建設(shè)階段，手語(yǔ)播報(bào)數(shù)字人系統(tǒng)完成了《國(guó)家通用手語(yǔ)詞典》8214條通用手語(yǔ)，以及2000多條冬奧賽事相關(guān)詞匯手語(yǔ)的采集和錄制。為確保手語(yǔ)播報(bào)的準(zhǔn)確性和專(zhuān)業(yè)度，研發(fā)團(tuán)隊(duì)還收錄了10萬(wàn)多條常用語(yǔ)句。

研發(fā)人員指著屏幕告訴記者，在龐大的數(shù)據(jù)源基礎(chǔ)上，團(tuán)隊(duì)通過(guò)自主搭建的多模態(tài)肢體動(dòng)作、表情、手勢(shì)同步采集系統(tǒng)，完成多模態(tài)動(dòng)作捕捉數(shù)據(jù)采集，進(jìn)而再通過(guò)建立高精度語(yǔ)義蒸餾模型、跨模態(tài)擬人生成算法等，實(shí)現(xiàn)對(duì)文本內(nèi)容的手語(yǔ)播報(bào)。

“手語(yǔ)不同于自然語(yǔ)言表達(dá)，常規(guī)語(yǔ)速下正常人每分鐘能說(shuō)出200多字，而在語(yǔ)音轉(zhuǎn)化到文字的過(guò)程中，需要提取核心語(yǔ)義。為此，團(tuán)隊(duì)研發(fā)了高精度語(yǔ)義蒸餾模型，目的是從不同的文本中提取出有效的核心語(yǔ)義內(nèi)容。”北京智譜華章科技有限公司首席技術(shù)官?gòu)堸i說(shuō)。

此外，在清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系賈珈教授團(tuán)隊(duì)的技術(shù)支持下，手語(yǔ)播報(bào)數(shù)字人在動(dòng)作擬合技術(shù)上實(shí)現(xiàn)突破，即通過(guò)采用多模態(tài)手語(yǔ)采集方案，實(shí)現(xiàn)動(dòng)作、手勢(shì)、表情同步采集，手語(yǔ)播報(bào)數(shù)字人的手語(yǔ)表現(xiàn)力趨近于真人手語(yǔ)老師，手語(yǔ)動(dòng)作更加流暢、優(yōu)美、協(xié)調(diào)。

推動(dòng)無(wú)障礙溝通產(chǎn)品建設(shè)

深入體驗(yàn)了手語(yǔ)播報(bào)數(shù)字人的專(zhuān)業(yè)服務(wù)后，杜銀玲對(duì)該項(xiàng)技術(shù)的未來(lái)充滿(mǎn)了期待。

“手語(yǔ)播報(bào)數(shù)字人將有利于推動(dòng)國(guó)家通用手語(yǔ)標(biāo)準(zhǔn)普及，為殘疾人創(chuàng)造更多平等參與社會(huì)生活的機(jī)會(huì)。”杜銀玲說(shuō)。

該系統(tǒng)上線前經(jīng)過(guò)4輪測(cè)評(píng)，200多位聽(tīng)障人士和手語(yǔ)老師參與驗(yàn)證測(cè)評(píng)，結(jié)果顯示，手語(yǔ)播報(bào)數(shù)字人的手語(yǔ)可懂度接近90%。

凌云光技術(shù)股份有限公司副總裁楊藝表示，在進(jìn)行大范圍聽(tīng)障群體評(píng)測(cè)基礎(chǔ)上，手語(yǔ)播報(bào)數(shù)字人通過(guò)在關(guān)鍵技術(shù)上取得突破，實(shí)現(xiàn)了從以前只是“比畫(huà)”一下動(dòng)作，到展示面部表情和復(fù)雜手語(yǔ)動(dòng)作體系的跨越。

“每個(gè)地方方言不同，手語(yǔ)表達(dá)特點(diǎn)不同，手語(yǔ)播報(bào)數(shù)字人為聽(tīng)障人士提供冬奧資訊的同時(shí)，也能提供手語(yǔ)標(biāo)準(zhǔn)示范，在教學(xué)層面為聽(tīng)障人士提供獲取知識(shí)和信息的機(jī)會(huì)。”北京電視臺(tái)新聞?lì)l道中心副主任王毅說(shuō)。

談到手語(yǔ)播報(bào)數(shù)字人的未來(lái)發(fā)展前景時(shí)，多位業(yè)內(nèi)人士均認(rèn)為，“后冬奧時(shí)代”，這一系統(tǒng)有望被推廣至更多電視臺(tái)、網(wǎng)絡(luò)媒體，實(shí)現(xiàn)手語(yǔ)與語(yǔ)音之間的雙向轉(zhuǎn)換，讓“無(wú)聲世界”實(shí)現(xiàn)無(wú)障礙互動(dòng)交流。