3月下旬,英偉達在美國加州總部舉辦了面向軟件開發者的年度技術峰會GTC。會上,創始人黃仁勛發布了專用于大語言模型部署的GPU推理平臺——H100NVL,其或將在推理階段實現比現有最先進的A100快10倍的速度。
但如此先進的GPU卻無法運往國內,去年8月,美國監管機構以國家安全為由,對NVIDIAA100、H100兩款GPU實施禁令,不得銷售給國內企業,意在通過“卡脖子”的方法來降低國內AI模型的傳輸速度,拖延中國人工智能發展。
而目前也確實對國內AI企業產生了較大的影響,在算力的大需求之下,呈現出了“一卡難求”的情況,就連閹割版的A800也一直處于缺貨的狀態。
但與GPU硬件窘迫的境況不同的是,在繼3月16日百度發布文心一言大模型后,國內眾多科技、AI巨頭都相繼公布了各家大模型的發布會時間:4月8日華為盤古大模型發布、4月10日商湯大模型發布、4月11日阿里大模型發布、4月14日同花順舉辦AI產品發布會,國內大模型的“百家爭鳴”與GPU被禁運后的“慘淡”狀況,也形成了鮮明的對比。
這個4月,成為國產大模型混戰期。
那么,在GPU受限的情況下,國內AI行業發展境況如何,能否交出屬于他們自己的答卷?未來的發展是否會與國外越差越大?
本文,奇偶派以已經發布或近期即將發布的大模型與相關AI應用的企業為例,通過專家訪談等方式,研究和分析各企業AI大模型的發展狀況。
華為盤古大模型避開GPT,劍走偏鋒?
華為盤古大模型,最近的發布多少有點高開低走,突破性進展不多,尤其是在C端幾乎沒有新應用側產品,主要還是展示了華為在B端智能化方向上的技術實力,為華為云服務和可見的銷售市場做技術支撐。
4月8日,在人工智能大模型技術高峰論壇上,華為云人工智能領域首席科學家田奇介紹了盤古大模型的進展及其應用狀況,包括NLP大模型、CV大模型、科學計算大模型、多模態大模型、語音大模型等的研發與應用的相關情況。
以太坊網絡Gas費已降至4 gwei:8月6日消息,據Etherscan數據顯示,當前以太坊網絡Gas費已降至4 gwei。[2022/8/6 12:06:32]
在會前,最引人關注的莫過于盤古的NLP大型模型,據介紹,該模型利用了深度學習與自然語言處理技術,并且采用海量中文語料庫對其進行培訓。
而在參數和數據的堆量方面,百度文心一言參數為100億,數據為4TB。而GPT-4則達到了1750億,數據45TB。華為盤古大模型的參數高達1000億,數據高達40TB。如果單從參數上看,盤古大模型已接近GPT-3.5。
但在這次發布會中,田奇卻并沒有提到盤古NLP大模型的相關應用。只是將過去已經發布的功能,進行了較為簡單的集合介紹。相對而言,另外兩個大模型則著墨更多,以較多篇幅介紹了CV大模型和科學計算大模型的應用范例。這也讓眾多翹首期盼華為能發布一款趕上ChatGPT應用的“粉絲”們,多少有一些失望。
但實際上,早在發布會之前的相關交流中,內部專家就已經就該話題做出了相關回答:
“首先,在華為發展歷史上,很少是在新的趨勢出現后立馬就追上來的。公司發展的30多年間,基本沒有做到過先發,而是一直采用后發制人的打法,在手機、在云、在汽車上是如此,在這個領域中也會如此。”
“想要做出一個比較完美的NLP大模型,是一個集團級的項目,通常做出決定會比較緩慢,在一兩年內也不太會出現。而當前公司在盡力地完成AI工程化、AI產品化,公司認為這是商業化不得不走的路線,如果采用高度項目制,成本很高,并且也會出現項目不可復制的情況,因此華為的重點最后才放在了面向行業的CV大模型上。”
正如相關專家所說的,盤古大模型中最為領先的,正是CV大模型。
本周波卡解除質押的DOT總量為 255.44 萬枚:據 KingData 數據監控,本周(03月07日-03月13日)波卡解除質押的DOT總量為 255.44 萬枚,解鎖峰值在03月13日,解鎖 157.03 萬枚DOT。[2022/3/7 13:42:00]
會上,田奇還談到,在過去的2022年,華為盤古大模型主要是AIforIndustry,為煤礦、水泥、電力、金融、農業等行業創造了更多產業價值,其中CV大模型早就有了許多用武之地。
比如在與能源公司合作的盤古礦山大模型中案例中,礦井現場是一個40米長的采掘機,寬度僅2米左右,傳統相機很難一下子捕捉到全部畫面,只能用圖中的九宮格視頻畫面。而通過5G+AI全景視頻拼接綜采畫面卷,傳輸到地面,地面工作人員將來可以實現地面控制機器進行采礦,實現礦下無人少人安全作業。
盤古礦山大模型還用在了煤礦的主運輸皮帶作業監控。煤礦被采集下來以后,它會通過一個主運輸皮帶,從地下傳輸到地上。按傳統方法是通過工人配合作業,華為提出通過視頻對作業的安全規范進行巡檢,主運場景的異物識別精度達98%,煤礦作業場景動作識別準確率達95%,助井下安全事故減少90%以上。這些都是CV大模型的落地應用。
此外,大模型還能進行軌道機車缺陷檢測,比如掉鏈、脫落、裂痕等潛在不安全因素,人工檢測成本較高,盤古大模型提供圖像質量的自動評估、小樣本的故障定位與識別等。
可以說,華為選擇了一條與其他AI企業不一樣的道路——暫時放棄以ChatGPT為代表的C端需求,專注B端工業需求的開發。
不可否認,華為作為國內受美國制裁最嚴厲的公司,無論從算力資源、或是從公司發展理念、又或者是從商業化角度來看,選擇專精于B端的打法是正確的。一來可以避免超大數據量的訓練,二來又可以為處于“寒冬”中的集團早日“造血”。
或許,在算力無法獲取之時,不去糾結內耗于ChatGPT,才是華為真正的AI之路。
Coinhouse完成1700萬美元B輪融資,TGV4 Plus Fund領投:1月18日消息,法國合規數字資產平臺Coinhouse完成1700萬美元B輪融資,True Global Ventures 4 Plus(TGV4 Plus)Fund以570萬美元領投。據悉,Coinhouse已于2020年成為第一家在法國金融監管機構金融市場管理局(AMF)注冊的加密貨幣公司。(Business Wire)[2022/1/18 8:56:54]
手握巨大算力的商湯大模型,未來有隱憂
緊接著華為盤古大模型發布后,商湯科技的大模型也即將登場。
不過,由于上市公司相關信披原因,目前公司正處于發布大模型之前的靜默期,所以沒有辦法披露過多的大模型相關內容。但是,作為最早把人工智能大模型寫入招股說明書的公司,商湯確實是有著足夠的實力,來推出獨屬的大模型。
而在近期的相關交流中,商湯相關人士還是回答了一些與算力相關的問題。
首先是大眾最關注的算力資源方面,商湯擁有極為充足的GPU儲備,對方表示,在去年停售之前就有1萬張A100芯片了,完全可以覆蓋訓練一個千億參數量的語言模型的消耗。
而除了英偉達專用顯卡外,商湯也有采購國內的GPU,專家表示:“比如說寒武紀與海光,最近這兩家公司可能很多投資人都很關注,想了解他們的產品是否進入了大規模試用階段。但是,如果大家在去年有去參觀我們商湯的大裝置的話,就應該看得到我們在大裝置里面已經適配了很多寒武紀和海光的GPU卡,我們也是寒武紀最大的客戶之一”。
而在談及國產替代方面時,專家也坦言,“我們很早就開始與國產GPU廠商合作,去適配國產GPU卡,但坦白來說,當前的大模型訓練,確實是只有A100與A800能夠勝任,國內GPU卡的易用性與性價比都無法去比較,但在推理階段,寒武紀最新款的GPU在大模型領域也有了不錯的表現,期待未來會更好。”
以太坊市值排名升至第34 超越耐克拼多多等公司:Asset Dash數據顯示,以太坊市值排名升至全球資產第34位,目前約為2303.54億美元,已超越耐克、拼多多及Adobe等全球知名公司。[2021/2/20 17:33:22]
而在被問及H100出現是否會對國內AI企業產生影響時,專家表示,H100加速芯片的出現,確實在性價比上有十分顯著的提高。但如果不考慮性價比的話,當前已有的芯片是完全可以勝任的。
而在算力的使用技術方面,商湯較眾多AI企業來說有著極為明顯的優勢。
在A100存量優先的情況下,如何利用僅有的資源去做更多的事情,成為了商湯需要解決的一大問題。
專家表示,商湯科技在過去五年中,有著豐富的千卡并行的訓練經驗,最大的單任務訓練可以同時調動4000張A100的GPU卡,等效算力為1萬張A100,已經達到了訓練GPT3甚至GPT4的門檻。
而在國產GPU的優化適配上,商湯也同樣有豐富的經驗,“目前有10%左右的算力,是由國產GPU卡提供了,商湯也一直在進行適配,無論是規模比較大的寒武紀、海光,或是當前規模比較小的昇騰,都有著相應的適配支持”。
也正是因為多年的訓練經驗,讓商湯獲得了較為明顯的優勢,“我們目前的算力規模可以支持20個千億參數量超大模型共同計算,同時訓練,對客戶的技術迭代有十分明顯的幫助。”
但被問及當下的挑戰之時,專家再次重點提到了國產GPU的適配問題。即當前國產GPU不太能夠支持超大模型的訓練,還需要投入更多去進行優化。此外,雖然國產GPU已經展現了一定的能力,但依然任重道遠。
總的來說,商湯科技作為最早一批的AI企業,有著極為深厚的訓練經驗,也在禁運之前拿到了上萬張A100顯卡,這讓其在當前的AI大戰中擁有了極強的競爭力。
但從另外一個角度來看,短期內高端GPU禁運的影響還可以通過豐富的訓練經驗、更大的成本投入來進行掩蓋,但從長期來看,如何能持續獲得高端GPU,才是商湯需要考慮的問題。如果禁運依舊存在,并且國產GPU無法適配超大模型的訓練,那么與國際尖端AI企業、與最先進的大模型之間的距離,將會被持續拉開。
動態 | Cosmos Hub 測試網 Gaia-13004 上線運行 為 Cosmos SDK v0.36.0 新版本升級做準備:Tendermint 產品經理 Jack Zampolin 在推特上表示,Cosmos Hub 測試網 Gaia-13003 已經成功升級為 Gaia-13004,目前已經上線并穩定出塊,為 Cosmos SDK v0.36.0 新版本升級做準備。升級提案邀請 Cosmos 所有驗證人、開發者提出建議和反饋。根據驗證人 FigmentNetwork 發布的 Gaia-13004 測試網區塊瀏覽器,目前已經有包含 FigmentNetwork、IRISnet-Bianjie 等 31 個驗證人參與測試運行。Gaia 軟件是 Cosmos 測試網系列名稱,出自于古希臘神話的生命之母「 Gaia 大地女神」之名,旨在讓驗證人及用戶「提前熟悉網絡升級的變化」,并允許 Cosmos Hub 在不影響用戶轉賬等功能的情況下無縫銜接至新的升級版本。[2019/7/26]
阿里大模型突上線全面發育還是落后?
4月4日,B站一則阿里版ChatGPT全網首測視頻流出,引爆全網,同日下午,阿里正式宣布將于4月11日的阿里云峰會上推出大模型。
從視頻中看,阿里大模型超出大家預期的主要有兩點:
一是“音色”“文風”“情緒”都可改變,定制化屬性顯現,受眾面大幅增加,視頻中UP主先是運用了脫口秀演員“鳥鳥”的聲音作為模型交流,然后并要求ChatGPT接下來用“貓娘”的身份進行后續對話,整體定制化特征明確,不再局限于固定形式,代表著后續每個人可根據自己的需求定制屬于自己的“性格”不同的ChatGPT,幾乎可滿足所有受眾群體。
二是阿里GPT的成熟程度超出預期,15個問題中有10個問題的回答都明顯好于國內已經公布的競品,并且突破了雙工對話,整體帶入性更強。
而就在發布前的一周,也有相關內部專家接受了采訪,回答了“國內語言大模型與ChatGPT有多大差距”的相關問題。
專家表示,起碼在未來的一年到一年半之間,國內是絕不可能出現對標GPT4的產品的,只有先把ChatGPT追上,才有資格去談GPT4。目前,國內大多仍然都是以文本、圖像、視頻等單模態的方式發布的,并且文本大模型已經進入商用階段,百度走出了第一步,其他的眾多AI企業和科技企業也都會在年中或者下半年進行發布。
而在追趕GPT-3.5的過程中,也有著三個核心瓶頸:
一是數據量的不足,只有擁有了足夠多的數據,才能繼續訓練,而公有的數據大家都可以買到,所以核心競爭點是如何獲得足夠多的私有數據,權重占比達到了三成左右。
二是模型結構的創新性,國內的語言大模型目前做不成高層級的架構,也就沒辦法做海量的數據訓練,也是最大的瓶頸,權重達到了四成左右。
第三便是工程化的能力,在工程落地的時候,大家都知道需要預訓練、調優訓練與推理訓練,但在真正部署的時候,是完全要靠自身去摸索的,包括數據的處理,模型的訓練,模型優化,模型的部署和運用,都需要投入大量的時間、精力與財力,這方面的權重與數據量類似,也是達到了三成的權重。
但這一切的前提是算力充足,阿里是當前國內擁有A100GPU最多的企業,在當下階段算力并沒有多大阻礙,但未來伴隨著禁運的持續與算力需求的增加,也將面臨高端運算卡不足的情況。
而在追趕ChatGPT之外,電商作為阿里起家的領域,也讓人好奇阿里大模型將會為電商領域帶來多大的改變。
專家表示,在電商場景中,比較主要的還是推薦算法與營銷圖案、文本的生成。未來,阿里大模型將會包攬營銷圖案、產品介紹、產品描述等工作。
“實際上,去年我們就已經讓一些商家使用這個技術了,我們挑選了上百個商家,預計要花數百萬去請廣告公司去做的營銷圖案,阿里大模型的AI都可以勝任,cover40%的工作量。”
“而在營銷之外,還有虛擬直播等許多場景可以被替代,包括倉儲預測、物流信息的挖掘,都需要一步步找場景滲透,慢慢將老一代的技術進行替代,幫助中小企業,最終達到雙贏”。
總的來說,阿里大模型作為一個龐大集團下的一條項目線,看起來并不像其他AI科技企業那么出彩。但目前,阿里的文本大模型進度在國內也已經位屬前列,并且其他模型也在有序推進之中。
不過,這一切的前提是算力的充足,伴隨著技術的推進與數據量的增加,在未來,算力可能仍是邁不過的那道坎。
股價暴漲,同花順AI是翻新產品嗎?
而在AI巨頭與科技公司之外,各行各業的企業其實早已經將AI應用于實際業務中,而同花順就是其中一員,4月14日,同花順也將舉辦AI產品發布會。
實際上,同花順的AI產品,早就已經應用,主要包括i問財、基于AI技術的增值服務產品與B端AI產品。
其中,同花順主打的便是i問財這款AI產品。i問財是目前財經領域落地較為成功的自然語言交互問答系統,而公司也在2022年進一步加大對其研發投入,采用全新的語義解析方案,結合AI大模型、小樣本學習等技術的應用,有效提升i問財服務效率,可將服務場景從財經領域擴展到通用領域,從中文場景擴展到多語言場景。
通過i問財機器人,我們可以獲得相關資訊、數據以及AI的點評;還可以準確地提供A股公司的基本面及板塊情況,并通過多類圖表的形式顯現出來;還可通過向問財機器人提問,實現條件選股,是市面上成功的一款財經AI。
而在AI之風的推動之下,同花順的股價也節節走高。自3月17日以來,在短短12個交易日中,股價便從115.57元上漲至最高的239.22元,完成快速翻倍。
在股價飆漲的背后,同花順能否發布更有含金量的AI應用,我們還無從得知。但如果僅僅以目前的AI應用水平,是絕無可能撐起如此高的市值的。
而同花順的AI含金量究竟如何,或許只有當其產品發布之時,我們才能知曉吧。
寫在最后
縱觀國內已經發布的文本大模型或者AI應用,亦或是與各企業相關專家進行交流,我們都能發現一個問題,那就是國內的大模型水平,實際上才剛剛起步。
在硬件方面,英偉達高端GPU遭受禁運,國內只能拿著為數不多的A100與閹割版的A800進行訓練和推理。當前尚可通過豐富的訓練經驗,更高的資本投入來短暫掩蓋國內算力嚴重不足的事實。但若是站在更高處,GPU發展嚴重落后,終將成為殺死中國AI的一把利刃。
而在算法層面,國內AI企業也面臨著極為尷尬的局面,讓一群善于應用創新的企業直接去做底層創新,無異于趕鴨子上架。在國外AI企業不再開源
算法后,如何找到模型開發的創新點,才是最困難的。對于一直停留在64層的眾多國內GPT模型來說,想要對標ChatGPT甚至GPT-4,無異于癡人說夢。
不可否認,應用層面的“軟實力”,可以讓一家AI企業快速找到盈利的目標,但在真正的國產AI戰爭打響之后,硬件和算法層面的“硬科技”,才是我們當前最缺乏的能力。
若只重視應用層面而忽略硬件與算法層面造出來的商業輝煌,就像井中月、水中花一般,雖然美麗,但一經波瀾便稍縱即逝。也只有真正擁有算力、算法層面的能力,才是中國AI發展歷程中真正的進步。
我們的算力之戰和算法之戰剛剛拉開序幕。
此刻,中國AI的翻身之戰,需要一些真正的“硬核武器”,才能正式打響。
原文:《構建加密部落文化:模因、信仰、符號體系、圖騰及加密精神》 作者:0xShadow Web3的產品具有部落文化,meme是圖騰,理念是文化,資金和流動性是護城河,歸屬感和認同是信仰的來源.
1900/1/1 0:00:00頭條 ▌美SEC已正式向JustinSun發出電子傳票4月14日消息,據美國法庭文件顯示,美國證券交易委員會已正式向波場創始人、Huobi全球顧問委員會成員JustinSun發出電子傳票.
1900/1/1 0:00:00撰文:TypusFinance 前言 當我們建立Typus時,我們經常被問到「為什么使用Move語言?」或「為什么選擇Sui?」.
1900/1/1 0:00:0021:00-7:00關鍵詞:Coinbase、OpenAI、Djed、ARB鯨魚1.CoinbaseCEO:銀行禁止向加密公司支付法幣的做法不可行;2.
1900/1/1 0:00:00加密社區期待已久的以太坊Shapella升級終于完成。 比推終端數據顯示,截至北京時間4月13日6:30AM,以太坊的交易價格為1,917美元,過去24小時波動率1.25%,在1,863.37美.
1900/1/1 0:00:00出處:香港Web3嘉年華演講嘉賓:蔡鐘輝,香港證券及期貨事務檢查委員會中介機構部臨時主管(金融科技咨詢小組主席)編譯:Ehan吳說區塊鏈早上好。很榮幸受邀在這個精彩的節日上發言.
1900/1/1 0:00:00