https://crfm.stanford.edu/alpaca/
斯坦福发布了一个由LLaMA 7B微调的模型Alpaca,训练3小时,性能比肩GPT-3.5。
Alpaca: A Strong Open-Source Instruction-Following Model
作者:Rohan Taori and Ishaan Gulrajaniand Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto
Alpaca是由Meta的LLaMA 7B微调而来的全新模型,仅用了52k数据,性能约等于GPT-3.5。关键是训练成本奇低,不到600美元。在8个80GB A100上训练了3个小时,不到100美元;生成数据使用OpenAI的API,500美元。
OpenAI最大的创新之一就是将指令调优用在了GPT-3上。斯坦福使用了现有的大语言模型,来自动生成遵循指令演示。
官网地址:https://crfm.stanford.edu/2023/03/13/alpaca.html
模型入口:https://crfm.stanford.edu/alpaca
github地址:https://github.com/tatsu-lab/stanford_alpaca
更多内容可参考:
https://simonwillison.net/2023/Mar/13/alpaca
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...