自强不息    厚德载物

Meta 新语言模型支持运行在单张显卡上 :ChatLLaMA 开源实现

  2023/3/6 18:00:00   【次浏览】 本站

稿源:站长之家

站长之家(ChinaZ.com) 3月1日消息:Meta最近宣布推出了一款新的大型语言模型LLaMA-13B,该模型的参数规模虽然比OpenAI的GPT- 3 模型小,但表现更为出色,而且只需要单张显卡即可运行,这使得采用普通用户的硬件也有可能提供与ChatGPT相似的AI聊天机器人性能。

Meta,元宇宙,Facebook

LLaMA语言模型的规模从 70 亿到 650 亿个参数,而OpenAI GPT- 3 模型有 1750 亿个参数。Meta使用了Common Crawl、Wikipedia和C4 等公共数据集来训练该模型,并有可能公开其源代码和权重。Meta表示LLaMA是其基础模型,将是该公司未来更先进模型的基础。

LLaMA-13B模型在BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC和OpenBookQA等标准测试中的表现超过了GPT-3。而GPT- 3 等后续模型需要数据中心规模的计算能力进行处理,而LLaMA-13B只需要单张显卡即可运行,为在消费者硬件上实现类似ChatGPT的性能打开了大门。

这一消息引起了广泛关注。现在,Nebuly AI就推出了基于人类反馈强化学习的LLaMA AI聊天机器人的首个开源实现ChatLLaMA


手机扫码查看当前文章:

Meta 新语言模型支持运行在单张显卡上 :ChatLLaMA 开源实现

如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与我们联系, 详见版权声明

  上一篇:微软发布Aure OpenAI服务:全球版Azure服务中已正式上线

 下一篇:不写代码就能开发应用,微软借助 ChatGPT,正在打造一个全新的商业软件帝国!