来源：量子位
从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
两大Ripple客户分别与Visa和PayDo达成合作:金色财经报道，在线银行应用程序PayDo已与德国顶级银行之一Fidor银行达成合作伙伴关系，后者是Ripple Labs的客户。Fidor与PayDo将一起计划建立更好的支付基础设施，并尽最大努力吸引欧洲和世界各地的客户开始使用在线支付。与此同时，Ripple客户Nium已与支付巨头Visa和FuiouPay合作，以在中国香港创建并推出B2B全球支付工具。[2021/7/20 1:03:31]
对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
MPT，与LLaMA五五开
MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。
Real Vision创始人：目前正处于牛市的中期，两大突破性进展是Defi和NFT:前高盛高管、Real Vision创始人Raoul Pal今日早些时候发推表示，很明显目前正处于牛市的中期。这次的两大突破性进展是Defi和NFT。当我们进入下一个下降周期时，这一领域将得到清理，赢家将为他们的大规模采用阶段做好准备。他表示，完全不知道BTC和ETH之外的哪些协议将会得到真正有意义的采用。Raoul Pal猜测，到2025年或更早时，加密用户将达到10亿。Diem将是所有这些的巨大催化剂。就用户而言，加密空间每年以113％的速度增长。即使减慢到互联网在同一阶段看到的网络采用率的63％增长，到2030年或更早时，它仍将导致40亿用户。[2021/5/14 22:01:50]
MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
霍比特交易所将于今日16:00上线MXP?并开启两大交易大赛:据霍比特HBTC官方公告，霍比特HBTC将于9月7日16:00（UTC+8）上线MXP（MinerX Protocol），并开通MXP/USDT交易对。
同时，霍比特HBTC还将于9月7日16:00—10日16:00（UTC+8）举行“交易瓜分300,000个MXP”和“净买入排名瓜分200,000个MXP”的大赛，活动总金额达500,000个MXP。
MinerX Protocol网络协议简称MXP，基于区块链技术去中心化的优势，建立起一套包括低廉的传输成本、非常安全、不关停等优点在内的分布式数据存储生态体系。MXP能对区块链分布式存储项目IPFS和Filecoin进行有效兼容运用。
霍比特HBTC是100%持币者共享的交易平台，采用全新的10倍PE定价回购模型及霍比特队长激励模型，并推出平台资产透明和交易数据可信机制。霍比特HBTC由火币、OKEx等56家资本共同投资，主营币币、合约、杠杆、期权等业务，平台上主流币及合约交易拥有优秀流动性和深度。[2020/9/7]
在各类性能评估中，与原版LLaMA不相上下。
声音 | OKcoin副总裁徐坤：溯源成本、技术研发速度是决定落地速度的两大问题:OKcoin副总裁徐坤在微博针对“中共中央、国务院发布关于深化改革加强食品安全工作的意见”表示：区块链技术去中心化、可追溯、不可篡改等特性可有效解决食品安全溯源问题，保障食品从生产、出厂、运输到销售等一系列流程都有据可查、真实可信，有利于建立更为完善的食品安全体系。目前溯源成本、技术研发速度是决定落地速度的两大问题，大规模发展有赖于国家从战略层面推动。这个文件就是信号。[2019/5/21]
除了MPT-7BBase基础模型外还有三个变体。
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
RedPajama，2070就能跑
RedPajama系列模型，在5TB的同名开源数据上训练而来。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1Ttokens的训练后还能继续改进。
背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
OneMoreThing
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：
https://www.mosaicml.com/blog/mpt-7b
https://www.together.xyz/blog/redpajama-models-v1
https://twitter.com/karpathy/status/1654892810590650376?s=20
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。