在元宇宙里怎么交朋友？Meta發布跨語種交流語音模型 支持128種語言無障礙對話_元宇宙

改名Meta之后，Facebook的元宇宙愿景正在一點點實現。這一次，Facebook把目光投在了元宇宙社交上。

Meta發布語音處理模型XLS-R

近日，Meta正式發布XLS-R——一套用于各類語音任務的新型自監督模型。據悉，XLS-R由海量公共數據訓練而成(數據量是過去的十倍)，能夠將傳統多語言模型的語言支持量增加兩倍以上。目前，XLS-R共支持128種語言。

Meta認為，語音交流是人們最自然的一種交互形式。“隨著語音技術的發展，我們已經能夠通過對話同自己的設備及未來的虛擬世界直接互動，由此將虛擬體驗與現實世界融為一體。”

香港科技大學擬在元宇宙建延展實境校園，建成后可以NFT形式發放文憑:金色財經消息，香港科技大學日前宣布，將在元宇宙中建立延展實境校園MetaHKUST，涵蓋科大清水灣校園及9月開幕的科大廣州校園，提供沉浸式學習體驗。首階段將建立主要基礎設施，包括興建延展實境教室，并邀請所有大學成員為兩個實體校園進行眾包掃描，為虛擬雙子校園提供所需要的影像。

系統建成后，兩所大學往后可以NFT形式，頒發加密文憑及成績單，畢業禮和開放日亦可同時以虛擬及實體形式進行。（中新網）[2022/7/28 2:43:35]

這與扎克伯格此前宣稱的“公司業務將以元宇宙優先”不謀而合。此前，扎克伯格曾概述了他建立“元世界”的計劃：一個建立在我們自己的數字世界之上的數字世界，包括虛擬現實和增強現實。“我們相信元宇宙將會接替移動互聯網”。

Chainalysis報告：房地產和游戲在元宇宙中有著大量的需求:7月2日消息，根據Chainalysis的最新報告顯示，元宇宙中基于區塊鏈的虛擬房地產需求增長強勁，價格在30個月內增長了879%，增長速度超過了實體房地產的532%”。此外，VR游戲行業也在過去四年中以28.5%的復合年增長率增長，并且VR游戲和NFT技術與元宇宙的結合也可以為消費者帶來全新的沉浸式體驗。[2022/7/2 1:46:27]

而XLS-R作為元宇宙社交中必不可少的一環，可以幫助母語不同的人在元宇宙無障礙對話。

值得一提的是，為了通過單一模型實現對多種語言的廣泛語音理解能力，Meta對XLS-R進行了微調，使其獲得語音識別、語音翻譯及語言識別等功能。據介紹，XLS-R在BABEL、CommonVoice以及VoxPopuli語音識別基準測試，CoVoST-2的外語到英文翻譯基準測試，以及VoxLingua107語言識別基準測試中都取得了不錯的成績。

報告：到2026年，世界上25%的人口將每天至少花一個小時在元宇宙上:金色財經報道，美國市場研究公司 Gartner 發布的一份報告稱，到2026年，全球25%的人口將使用元宇宙進行工作、購物、教育，社交和娛樂。并將每天花費至少一個小時。報告補充說：“到2026年，預計全球30%的公司將在元宇宙提供產品和服務。一些品牌已經在數字世界中留下了自己的印記。”由于沒有單一供應商會擁有元宇宙，Gartner 預計它將擁有一個由數字貨幣和不可替代代幣 (NFT) 支持的虛擬經濟。（cointelegraphcn）[2022/2/8 9:37:22]

為了盡可能降低功能訪問門檻，目前，Meta與HuggingFace聯手發布了模型本體，并通過fairseqGitHubrepo全面開放。

恒華科技：公司現有技術將來可在元宇宙中進行設計:1月7日消息，據恒華科技在互動平臺表示，公司已經驗證可在VR虛擬環境下組裝或設計電力相關三維場景，現有技術將來可在元宇宙中進行設計。公司也將持續推進自主軟件產品與“大云物移智鏈”等新一代信息技術相融合，加大研發力度，推動公司持續科技創新，滿足電力、交通、水利等行業客戶數字化的需求。[2022/1/7 8:31:06]

試用地址：https://huggingface.co/spaces/facebook/XLS-R-2B-22-16

XLS-R工作原理

據介紹，XLS-R在wav2vec2.0訓練集上接受了超過43萬6千小時的公開語音錄音訓練，從而實現了對語音表達的自監督學習方法。這樣的訓練量已經達到去年發布的當時最強的模型XLSR-53的10倍。利用從會議記錄到有聲讀物的多種語音數據來源，XLS-R的語言支持范圍擴展到128種，涵蓋的語種量達到前代模型的近2.5倍。

作為Meta打造的有史以來最大模型，XLS-R中包含超過20億個參數，性能遠高于其他同類模型。Meta表示，事實證明，更多參數能夠更充分地體現、數據集中的各類語種。此外，Meta還發現，規模更大的模型在單一語言預訓練方面的性能也同樣優于其他較小模型。

Meta在四種主要多語言語音識別測試中對XLS-R做出評估，發現它在37種語言上獲得了超越以往模型的效能。具體測試場景為：BABEL中選取5種語言，CommonVoice中選取10種語言，MLS中選取8種語言，以及VoxPopuli上選取14種語言。

BABEL上的單詞錯誤率基準測試結果。XLS-R較前代模型實現了顯著改進。

此外，Meta還評估了語音翻譯模型，即將錄音資料直接翻譯成另一種語言。為了打造一套能夠執行多種任務的模型，Meta同時在CoVoST-2基準測試的數個不同翻譯方向上對XLS-R進行了微調，使其能夠在英語與多達21種語言之間實現內容互譯。

在使用XLS-R對英語以外的其他語言進行編碼時，獲得了顯著的效能提升，這也是多語言語音表達領域的一次重大突破。據Meta介紹，XLS-R在低資源語言學習中實現了顯著改進，例如印尼語到英語的翻譯，其中BLEU準確率平均翻了一番。BLEU指標的提升是指模型給出的自動翻譯結果與處理同一內容的人工翻譯結果間重合度更高，代表著模型在改進口語翻譯能力方面邁出了一大步。

以BLEU指標衡量的自動語音翻譯準確率，其中較高值表示XLS-R從高資源語言(例如法語、德語)、中資源語言(例如俄語、葡萄牙語)或低資源語言(例如泰米爾語、土耳其語)語音記錄翻譯至英語時的準確率。

Meta認為，XLS-R證明擴大跨語言預訓練規模可以進一步提高低資源語言的理解性能。它不僅提高了語音識別率，同時也將由外語到英語的語音翻譯準確率提高了一倍以上。

“XLS-R是我們朝著以單一模型理解多種不同語言(語音)目標邁出的重要一步，也代表著我們在利用公共數據推進多語言預訓練方面做出的最大努力。我們堅信這是一條正確的探索方向，將讓機器學習應用更好地理解所有人類語音、并促進后續研究，大大降低語音技術在全球范圍內、特別是服務匱乏社群中的使用門檻。我們將不斷開發新方法，通過低監督學習拓展模型的語言理解能力、逐步使其覆蓋全球7000多種語言，實現算法的持續更新。”Meta提到。

https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/

Tags：XLS元宇宙METAETAXLSHIBA元宇宙幣在哪個交易所METAXPETAL

TRX