兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_AMA

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

聲音 | Genesis首席執行官：機構資金涌入加密領域尚有兩大障礙需要消除:Genesis首席執行官Michael Moro近期接受采訪時表示，雖然他相信機構資金將大量涌入加密領域，但仍有一些障礙需要消除。這些障礙包括監管缺乏明確性，以及與傳統資產爭奪同一投資者資金池的挑戰。此外，他還表示，加密交易仍然需要更加規范。金融機構“在思想上很難理解這個想法”。但隨著Square、富達（Fidelity）和Facebook等公司開始推出產品，加密交易將變得更易被接受，而不再像以前那樣神秘和陌生。”Moro還提出，雖然數字貨幣是一種新的資產類別，但和傳統資產一樣，“都在追逐同樣的投資者資金池。”他解釋稱：“加密領域試圖吸引的資金池其實就是來自那些投資投資股票、債券和黃金等傳統資產的捐贈基金、對沖基金和家族辦公室，正因為如此，我總覺得加密技術的投資者想要的是與其他市場相同的產品和服務。所以這里還有一個巨大的空白需要填補。”（Seeking Alpha）[2019/10/17]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

動態 | Golem Factory兩大高管離職創立新的非盈利基金會:據CoinDesk報道，以太坊項目Golem Factory的CEO和COO將離開公司，并推出一項名為Golem Foundation的新非盈利計劃。Golem Foundation的目標是追求新的、也許是開創性和實驗性的，同時也是更高風險的方式，以實現Golem和其代幣GNT的價值定位。[2019/6/29]

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

動態 | 歐洲打擊兩大暗網市場繳獲大量比特幣及門羅幣:據cointelegraph報道，歐洲刑警組織5月3日宣布，德國與歐洲刑警組織一起關閉了暗網市場Wall Street Market的服務器，并從被捕的嫌疑人手中查貨550,000歐元（613,600美元）的現金、總額六位數的比特幣和門羅幣、幾輛汽車、電腦和硬盤等。在同一份聲明中，歐洲刑警組織還正式宣布，芬蘭海關已搗毀黑網市場Valhalla（也稱為Silkkitie）并扣押了大量的比特幣。[2019/5/4]

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

在各類性能評估中，與原版LLaMA不相上下。

點亮資本合伙人勞維信：人工智能和區塊鏈是邁向數字商業社會的兩大舉措:點亮資本合伙人勞維信日前在第十屆深圳IT領袖峰會上表示：“我們正在邁進數字商業社會，這有兩大舉措，一個是人工智能，一個是區塊鏈。比特幣作為數字貨幣，相當于40年前第一代互聯網里面第一個應用比較廣泛的電子郵件。這個發展還需要很長時間。”[2018/3/26]

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMALAMALlamaMPTAMA幣ELAMABABYLLAMAXMPT幣

聚幣