Meta 开发新的大模型，比 Llama2 强大数倍，对标 GPT-4
图片来源：由无界 AI 生成
据《华尔街日报》9月 11 日报道，美国科技巨头 Meta 正在开发一种更加强大的大语言模型，比当前的 Llama2 强大数倍，甚至比肩 OpenAI 最强大的 GPT-4。
2 个月前，Meta 推出了免费可商用且开源的大模型 Llama2。Llama2 在某些基准测试中表现优异，甚至领先于其他主流大模型，一时间在社区中被广泛关注和采用，出现了大量基于 Llama2 进行调教的新版本。然而，2 个月后，大模型的发展速度已经让 Llama2 几乎跌出了第一梯队。近日，来自阿联酋的由3.5万亿token训练而成的Falcon 180B，迅速了登顶Hugging Face排行榜，其性能直逼 GPT-4。
Llama2 的光环已经消退，Meta 需要新的更先进的大模型来获取聚光灯。
Meta 的目标是其新的 AI 模型比两个月前发布的 Llama 2 模型强大数倍，希望明年推出。
这个计划中的 AI 系统（其细节仍可能发生变化）将帮助其他公司构建可生成复杂文本、分析和其他输出的服务。 这是 Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 今年年初成立的一个小组的工作成果，旨在加速所谓的生成式人工智能工具的开发，这些工具可以产生类似人类的表情。 一些知情人士表示，Meta 预计于 2024 年初开始训练这个新模型。
这个新模型的计划此前从未被报道过，这是扎克伯格在 Meta 落后于竞争对手后将其确立为人工智能领域主要力量的努力的一部分。 今年该领域的竞争急剧加剧，从最佳商业模式到如何监管技术等各个方面都产生了不同的看法。
该公司目前正在建设该工作所需的数据中心，并购买更多 H100，这是最先进的 Nvidia 芯片用于此类 AI 训练。 一些知情人士表示，虽然 Meta 与微软合作，在微软的云计算平台 Azure 上提供 Llama 2，但它计划在自己的基础设施上训练新模型。
扎克伯格正在推动新模型像 Meta 早期的人工智能产品一样开源，因此可以免费供公司构建 AI 驱动的工具。
扎克伯格将与一群顶尖科技高管一起参加周三由参议院多数党领袖查克·舒默（纽约州民主党人）组织的峰会，讨论如何处理人工智能。 OpenAI 首席执行官 Sam Altman 和谷歌首席执行官 Sundar Pichai 也将出席。
Meta 新模型能够缩小与 OpenAI 的差距？未必
Meta 希望它的功能与 OpenAI 在 3 月份推出的 GPT-4 大致相同，但 GPT-4 已经推出了数月。 此外，据最近的报道，DeepMind 联合创始人和 Inflection AI CEO Mustafa Suleyman 在采访时透露，OpenAI 正秘密训练 GPT-5。一旦 GPT-5 率先推出，那么 Meta 与竞争对手的差距甚至可能扩大。
与 Meta 执行的免费开源不同，OpenAI 正在努力实现更多营收，最近推出了 ChatGPT 企业版，意图未来一年营收超 10 亿美元，而且 Meta 还在疯狂砸钱。
Meta 的新模型甚至还面临谷歌的大模型 Gemini 的竞争。Gemini 是谷歌正在构建的一种先进的大型语言模型。《华尔街日报》表示，Meta新模型可能会晚于 Gemini。
生成式 AI 领域竞争激烈，其中两个因素至关重要：人才和芯片。Meta 在今年面临着大量 AI 人才流失问题，很多 AI 人才被抢走或独立创业。
OpenAI 也在暗度陈仓，虽然在 4 月份表示，它不会训练 GPT-5，并且“一段时间内不会”，但最近却被曝出正在秘密训练。苹果公司每天向自己的“Ajax”人工智能模型投入数百万美元，它显然认为该模型比 GPT-4 更强大，甚至比肩 GPT-5。 谷歌和微软都在各自的生产力工具中扩大 AI 的使用，谷歌希望在谷歌助手中使用生成式 AI。 亚马逊还在其整个组织内开展生成式 AI 计划，该计划可能会产生由聊天机器人驱动的 Alexa。
总之，生成式 AI 领域的强大对手实在太多，每一步领先优势都会无比艰难。
Meta 的免费开源策略能行得通吗？
开源方式有一定的优势，尤其在竞争对手都闭源且收费的时候。 扎克伯格一直倡导开源 AI模型，其模型因其较低的成本和适应性而广受欢迎。
一些法律专家表示，Meta 所追求的开源模式也存在潜在的缺点。 其中包括使用可能受版权保护的信息的风险增加，以及更广泛地访问工具，该工具的增强功能可用于生成和传播虚假信息或其他不良行为。
Meta 的律师在审查公司计划时提出了其中一些担忧。
当对更多数据进行训练时，大型语言模型通常会变得更强大。 Meta 在 7 月份宣布的 Llama 2 模型的最强大版本接受了 700 亿个参数的训练。 OpenAI 尚未透露 GPT-4 的大小，但估计大约是该大小的 20 倍，参数为 1.5 万亿个。 一些人工智能专家表示，可能还有其他方法可以实现 GPT-4 的功能，而不必达到其规模。
参考资料：