admin管理员组

文章数量:1594618

论文地址：https://arxiv/pdf/2307.09288.pdfd

代码地址：GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

问答

用了多少个gpu？

这篇文档中使用了3.3M GPU小时的计算，使用的硬件类型是A100-80GB，可以扩展到2000个GPU，但这些计算的功耗估计并不包括互连或非GPU服务器功耗，也不包括数据中心冷却系统的功耗。在预训练Llama 2模型的过程中，估计总排放量为539 tCO2eq，但Meta的可持续性计划直接抵消了100%的排放量。因此，这些预训练成本不需要由其他公司承担，节省了更多的全球资源。

摘要

    在这项工作中，我们开发并发布了Llama 2，这是一

本文标签： 模型基础论文羊驼LLaMA

版权声明：本文标题：羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1726784089a1084545.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。