Stability AI火速发布Llama 2微调模型FreeWilly，性能媲美ChatGPT！网友惊呼游戏规则已改变
来源：新智元
Llama 2刚发布没两天，独角兽Stability AI就已经火速微调出了FreeWilly模型，据称性能已经可与ChatGPT媲美。
Meta的Llama 2一发布，就引爆了整个开源社区。
正如OpenAI科学家Karpathy所说，对于整个大语言模型领域来说，这是极其重要的一天。在开放权重的所有模型中，Llama 2是最强大的一个。
从此，开源大模型与闭源大模型的差距将进一步缩小，构建大模型的机会，从此对所有开发者都是平等的。
就在刚刚，Stability AI和CarperAI实验室联合发布了基于LLaMA 2 70B模型的微调模型——FreeWilly2。
以及，基于LLaMA 65B原始模型微调的——FreeWilly1。
值得注意的是，模型采用了基于标准Alpaca格式，并经过监督微调（SFT）的全新合成数据集来进行训练。
在各项基准测试中，FreeWilly2都展现出了卓越的推理能力，甚至有部分任务还超过了GPT-3.5。
模型地址：https://huggingface.co/stabilityai/FreeWilly2
模型地址：https://huggingface.co/stabilityai/FreeWilly1-Delta-SafeTensor
这两款模型都是研究实验，并在非商业许可下发布。
数据生成与收集
Stability AI表示，FreeWilly模型的训练是受到了微软论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接启发。
不过，虽然数据生成过程类似，但来源却有所不同。
论文链接：https://arxiv.org/pdf/2306.02707.pdf
FreeWilly的数据集变体包含有60万个数据点（大约是原始Orca论文使用的数据集大小的10%），并通过使用Enrico Shippole创建的高质量指令数据集，对模型进行了引导：
- COT Submix Original
- NIV2 Submix Original
- FLAN 2021 Submix Original
- T0 Submix Original
通过这种方法，Stability AI使用了一个较简单的LLM模型生成了50万个示例，再使用一个更复杂的LLM模型生成了额外的10万个示例。
为了进行公平比较，Stability AI精心筛选了这些数据集，并删除了来源于评估基准的示例。
尽管训练样本量仅为原始Orca论文的十分之一，但由此生成的FreeWilly模型，不仅在各种基准测试中都表现出色，而且也验证了合成生成数据集方法的可行性。
模型性能的评估
在性能评估方面，Stability AI的研究人员采用了EleutherAI的lm-eval-harness，并加入了AGIEval。
从结果来看，FreeWilly在很多方面都表现出色，包括复杂的推理、理解语言的微妙之处，以及回答与专业领域相关的复杂问题（如法律和数学问题解决）。
基本上，FreeWilly 2已经实现了与ChatGPT相当的水平，甚至在有些评测上更胜一筹。
GPT4ALL基准（0-shot）：
AGI评估（0-shot）：
除此之外，来自Hugging Face的团队也在7月21日对实验进行了独立复现。
可以看到，在Open LLM排行榜上，FreeWilly 2以绝对领先的优势排在第一，平均得分比原始版的Llama 2高了4个百分点。
为了开放的未来
可以说，FreeWilly1和FreeWilly2为开源大语言模型树立了新的标准。
这两个模型的推出，不仅极大地推进了相关领域的研究，增强了自然语言理解能力，而且还支持复杂任务的完成。
Stability AI表示，团队为这些模型能AI社区带来的无限可能感到非常兴奋，并期待着那些因它们而激发出全新应用。
此外，也衷心感谢充满激情的研究人员、工程师和合作伙伴团队，是他们的卓越努力和奉献，使Stability AI能够达到这一重要里程碑。
激动人心的时刻
模型一经发布，网友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架，在不到一分钟时间就完成了FreeWilly 2的实现。
经过275GB的权重加载后，模型的运行速度在开箱即用的情况下达到了23 token/s。
另外，还有网友惊呼：Stability AI和CarperAI联合推出的模型，堪称是对游戏规则的改变！
FreeWilly1和FreeWilly2在开源和性能方面具有极大的创新意义，AI圈正在迎来令人激动的时刻。
参考资料：
https://stability.ai/blog/freewilly-large-instruction-fine-tuned-models