阿里AI專家交流實錄_OAS

問：阿里大模型的發布節奏，以及大致水平？

答：阿里巴巴達摩院主要來牽頭去做大模型的相關的研究和進展，大概是在22年的時候，我們其實就已經發布了我們自己的這種自然語言理解的大模型，一個叫m6，一個叫plug。M6的話基本是能夠支持多模態的這種AI模型，比如說文字生成圖片，文字生成語音，文字生成視頻這種模型，但是我們大模型相比來講，GPT3.5這種水平在參數量和整體規模上其實還是要小一點。所以在大模型目前我們這種模型可能也就叫做中模型。

達摩院頂層的領導下達了命令，整個團隊約有100個人去開始去做相關大模型的迭代和升級，一方面是自己在復現GPT的水平，一方面是要迭代把我們的m6和plug迭代到能夠對標到GPT的水平。目前來看根據我們得到的一些反饋，我們自己的這種m6的一些自然語言理解的能力，目前還不能對標到GPT3.5與GPT3.5大約還得有個一年半左右差距。

所以在我們預計今年在下半年云棲大會上的時候，應該會有m6的一些最新的模型的發布或者是進展，可能大概在GPT2.5左右的水平。

語料積累不足。現有的大型語言模型在文本清洗和篩選方面存在一些限制，因此需要對現有模型進行升級和迭代，以適應不同領域的數據需求。例如，要將模型應用于軍事、旅游文化、等領域，需要進行更多的數據收集和人工標注，以達到更高的準確性和效率。同時，大型語言模型的成熟也將帶來更多的商業機會，例如在天貓淘寶、高德地圖等應用中的搜索和客服機器人等領域。此外，如果大型語言模型足夠成熟，可能會釋放出API，由合作伙伴接入，從而實現生態層面的壟斷。

OPNX：平臺30日日均交易量首次超過5000萬美元:7月21日消息，加密索賠和交易平臺Open Exchange（OPNX）通過官方社交平臺表示，其30日日均交易量首次超過5000萬美元。其過去一個月總交易量達15.1億美元。[2023/7/21 11:08:04]

問：預計阿里大模型與文心一言對比？同時您認為制約我們大模型發展的是最主要是這個語料，還是模型一開始的這種路徑偏離，您認為哪一個是制約我們發展的一個最重要的原因？?

答：我們認為百度做得雖然不是那么智能，但還是相當不錯的。在國內，它可能算是第一名。我們認為它還有很大的提升空間。文心一言雖然有一定的實用性，但離達到GPT-3水平還有一定差距。不過，我們覺得它至少可以達到GPT-2.5水平,如果未來能夠持續迭代和優化，可能會達到GPT-3.5的水平。數據積累對于百度來說是一個優勢，尤其是在搜索領域。百度在知識庫方面有很多年的積累，包括百度知道等。與文心一言不同，其模型架構基于Transformer，而文心一言則基于Bert。如何在文心一言的基礎上實現更智能的迭代，可能是一個挑戰，需要達摩院的同學來解決。

問：阿里如何后發追上？會采取怎樣的打法？

答：我們可以提供的方案主要有兩種，一種是我們推出的模型效果相對較好，可以與集團內部的產品結合，例如天貓、淘寶和高德地圖的搜索業務。這將為搜索引擎帶來更新的商業模式，并取代以前的商業模式。此外，我們還可以輸出我們自己的API，并向合作伙伴或渠道商收費。這些合作伙伴將使用我們的API，并體現出他們的客戶，這些客戶是從ToC端產生的。大多數客戶都有自己的APP和網站，這些客戶可以通過他們的APP和網站獲取流量。不同的客戶可以使用不同的API，這意味著廠商可以在生態系統中形成壟斷。目前，已有一些廠商嘗試將我們的API集成到他們的產品中，但進展不如預期快。對于我們的API，它們可能會在特定領域上有所幫助，例如電商、搜索和推薦，并帶來更好的商業模式。

萬向區塊鏈：從未在Twitter等社交軟件上開設聲稱提供加密貨幣分析等服務的官方社群:5月24日消息，萬向區塊鏈（Wanxiang Blockchain）官方發推提醒稱，萬向區塊鏈及公司高管從未在Telegram、Twitter、Whatsapp、微信等社交軟件上開設聲稱提供加密貨幣分析、交易咨詢、培訓等服務的官方社群。請勿輕信以萬向區塊鏈或公司高管名義發出的相關社群邀請及消息，注意進行信息甄別。[2023/5/24 22:14:58]

問：阿里目前AI算力儲備情況？

答：阿里國內AI算力儲備最多，然后以次為：字節、百度、騰訊。

阿里云現在云上至少應該有上萬片的A100了，整體至少能夠達到10萬片，集團的話應該會是阿里云5倍的這樣的一個量級。

達摩院、天貓、淘寶的算力資源都是集團內資源使用。

阿里云這塊今年增速會有30-50%。有個別8-9個客戶會有復現GPT的需求，提出了大規模AI算力需求，我們以云的方式給。

百度年初緊急下單3000臺8卡的A800服務器，2.4萬張卡，我預計全年百度會有A-H800共5萬張的需求。

阿里云需求不會這么多，去年采購2萬多，今年可能采購量會下降。預計云上就1萬張左右，其中6000張是H800。此外阿里云也會用到平頭哥這種自研的，每年大概3000張去采購。

Alameda Research和FTX Venture網站已無法被公共訪問:金色財經報道，Alameda 和 FTX 網站上的內容已經從 11 月 9 日開始逐步下線，現在 Alameda Research 和 FTX Ventures 的官方網站公共訪問似乎已被禁用，其中 FTX Ventures 的官方網站已無法打開，而 Alameda Research 的官方網站進入后顯示為“私人網站”，并提示該網站目前被設置為私人性，只有所有者或貢獻者，才可以登錄訪問。（cryptotvplus）[2022/11/11 12:52:27]

從除此之外，阿里云也會選擇國產芯片的一家，看是否在云上商業化。

問：阿里云采購的哪家國產芯片，為何選擇？

答：選擇的是寒武紀MLU370，主要是性能基本過關(A100的60-70%)，檢測合格，態度積極，愿意對接，服務貼身。今年會采購大概2000張的水平，主要用在一些CV等小模型的訓練或推理上。寒武紀MLU370沒有供貨的風險，后續的MLU590也許就會有了。

對于壁仞等，宣傳上不錯，但拿不到實測的卡，流片大約都是今年4-6月，量產半年后。而且壁仞4月要流片的卡，不能支持FP64，互通帶寬不支持8卡，支持最多4卡，采用NVbridge方式，達到180GB水平。8卡用PCIe方式只能做到32GB，弱點顯著。

微軟香港在《我的世界》推出Discover2se – Metaverse in Education元宇宙教育計劃:7月23日消息，據微軟官方網站，Microsoft 微軟香港、香港海洋公園及現代教育研究社聯合推出「Discover2se – Metaverse in Education」計劃，運用《我的世界》Minecraft for Education 虛擬空間塑造混合教育和共享學習體驗，據悉首個 Discover2se 混合學習課程將于 2022/23 新學年推行。[2022/7/23 2:33:01]

針對海光，我們技術人員也有看好的，參數也足夠支撐訓練，但可能由于海光因產能等因素，可能更側重滿足國有算力那邊的需求。同時，集團層面是否對接，不清楚。

問：海光為何會不給樣片測試？出于什么考慮？海光DCU的量應該是夠的。

答：海光的話，我們確實沒有拿到他的樣卡，就是不知道為什么，我們也得知很多國產化的訂單他們都中標且供貨，但我們跟他對接的時候，好像反正是各種各樣的問題，就是沒有測起來。

我們內部其實也有一些同學是支持海光深算1號的，但是一方面當時寒武紀還沒被拉入黑名單，而海光被拉入了黑名單，然后我們其實也有一定的擔心，就是在阿里云上了之后，可能會給自己引火燒身，所以這方面也是我們考量的一個因素。最后反正就沒采海光后期的供貨，可能也會成問題，這也是我們考量的原因之一。

Oasis：ValleySwap與EvoDeFi bridge是未獲官方支持的第三方項目，已多次提示風險:金色財經消息，Oasis針對ValleySwap中的USDT脫錨情況發布聲明，稱ValleySwap與EvoDeFi bridge都是第三方的項目，沒有獲得Oasis的支持。同時出現脫錨的穩定幣并非Oasis的原生資產，幾個月來Oasis多次對社區警告風險，Oasis官方推薦使用Wormhole、cBridge或Multichain。???此前報道，Oasis Network上Valley Swap中的USDT已嚴重脫錨。[2022/6/8 4:11:06]

不知道他們是手頭是不是比較重要的這種國產化的項目，或者訂單的交付還是沒有人力來支持。我們也不是特別知道，可能他們團隊也就幾百個人吧，就是沒有這個時間周期。

總體上，在其他國產AI芯片競爭上，海光好像不是很在意這個云上的這個市場。

問：騰訊大模型的進展？

答：有聽到是混元這個模型繼續迭代，有大概100人左右做GPT復現以及自我模型迭代。應該會比我們的早，猜測大概8月份會出。但應該只是支持文生文的場景。

問：目前降低算力成本的方式？

答：除了大模型，即使stablediffusion這種文生圖模型，也消耗較小。stablediffusion模型一直在優化，以前一個推理任務一張A100、現在降級到一個推理任務一張V100。對于阿里這種巨頭而言，V100的存貨還是很多的。

同時，還會有一些針對模型的優化，或者加速軟件，加快模型訓練與推理。

最后，也可以對模型進行降級，降低精準度要求，比如從FP16降級為FP8,。

問：阿里目前對于AI大模型是不計成本的大力投入，還是考慮商業落地穩扎穩打？

答：大概率是穩扎穩打，現在拆分后，都要自負盈虧，壓力蠻大的。

ChatGPT的一個推理的任務，大概所需要消耗的這個能力是5張A100在2秒鐘之內做一次推理，大規模應用起來成本很高，沖擊也很大。

問：華為盤古與昇騰如何看？

答：盤古大模型效果有待考證，并沒有明確對標GPT，而是往B端去做。

同時因為受限制，只能用自己的昇騰，雖然昇騰910大概也有A100的70%水平，但算力的限制可能會制約大模型發展。

問：從CUDA兼容性角度，海光與寒武紀如何對比？

答：海光的CUDA兼容性更好，除了海光，其實阿里云產的PPU其實也在一定程度上能夠做到CUDA兼容，與NV做綁定。

問：360的大模型如何看?

答：我們了解到，最近360向NV下了上千塊A800的貨。360語料可能比我們強，但最后能做出什么效果，需要時間驗證。

問：目前跑在大模型上面的光模塊架構會向英偉達推薦的方向去迭代嗎？

答：我們不太會去走英偉達的架構，我們有自己的路線，其他大廠可能會走英偉達路線。

阿里云的公有云的層級上面，目前都是采用了阿里云自研的產品叫做DPU。我們自研的DPU其實現在已經迭代了幾乎3.0或4.0的狀態，支持雙口100GB的水平。

那DPU的功能是用于在云上開發彈性裸金屬，因為我們要把服務器做成云上的云服務器中間是有一層虛擬化的開發，那虛擬化之后這個物理機上的資源其實是有一定的損耗，CPU的核心數、內存的容量以及網絡的帶寬、硬盤的這個存儲容量都會有所影響。那之所以搞DPU，是為了把這些虛擬化的資源都ofload到DPU上去，使得我們云上的這種云服務器的資源和線下的這種物理機的資源是整體的資源數量是一模一樣的，是沒有任何變化的。

那DPU的主要功能是在這里，那我們現在研發的第四代的這個DPU，它里面主要集成了ERDMA的這個能力，這個RDMA就是遠程內存直接訪問的意思，然后其實是主要應用在HPC的這個場景，然后這個E代表的是elastic，我們叫做彈性RDMA這個東西，那它其實是在以太網的架構下去跑ERDMA。也就是說我們希望在以太網的這個網卡、渲染交換機以及這種集群架構上去跑，類似于高性能計算的這種協議，能夠把一些高性能計算的場景支持起來。所以我們大概率在公有云的這個場景，不太會去考量像Nvidia提供的這種集群架構，這是公有云的這個方式，從云上講不支持，光模塊數量沒有明顯增長，阿里網絡架構不會改，光模塊的規格也不太會改。

但百度云字節火山云可能會采納英偉達的架構，取決于數量，目前只采納300臺H800，對應每臺服務器9張網卡，每個卡一個線，一個線兩個光模塊，9張網卡一臺服務器是18個光模塊，300臺是5400個光模塊，如果集成架構往上擴，擴1000個節點的話，大概是3倍的增長。

問：看好BAT、字節等哪一個大模型？

答：第一還是百度文心，先發優勢，其次可能是字節，因為有數據、有算力、有場景。

Tags：GPTOASISOASSISPEPEGPToasis幣可靠么OASIS幣BasisX Bond

加密貨幣