继之前宣布埃隆·马斯克(ElonMusk)的人工智能公司xAI将发布其GrokAI模型的开源版本之后。今天，该公司宣布发布其开源Grok-1人工智能模型，可供全球开发人员和研究人员免费使用。这一消息于3月17日发布，此前人们对马斯克开源该模型的承诺抱有诸多期待和猜测。Grok-1的发布标志着人工智能领域的一个重要里程碑，因为它为创新和实验提供了强大的工具。

Grok-1(314B)人工智能模型

Grok-1是一个大型语言模型，拥有3140亿个参数，并采用由八位专家组成的专家混合(MoE)架构。xAI使用基于JAX和Rust构建的自定义训练堆栈从头开始训练该模型。需要注意的是，发布的版本是基础模型，这意味着它没有针对任何特定任务进行微调。因此，用户在与模型交互时应谨慎行事，因为它可能会生成并不适合所有受众的内容。

这是Grok-1预训练阶段的原始基础模型检查点，该阶段于2023年10月结束。这意味着该模型没有针对任何特定应用(例如对话)进行微调。我们正在Apache2.0许可证下发布权重和架构。”–xAI

基础模型基于大量文本数据进行训练，未针对任何特定任务进行微调。

314B参数混合专家模型，其中25%的权重在给定代币上处于活动状态。

xAI于2023年10月使用基于JAX和Rust的自定义训练堆栈从头开始训练。

Grok-1的权重和架构已在Apache2.0许可证下发布，允许商业和个人使用。要访问该模型，用户可以通过Grok个人资料页面上提供的torrent链接下载它。xAI还在其GitHub存储库上提供了代码以及模型入门说明。WesRoth探讨了新的大型语言模型的构建和架构。

Grok-1的3140亿个参数使其成为一个强大的模型，尽管与其他一些人工智能模型相比它并不是最大的。例如，GPT-4在混合专家配置中估计有1.76万亿个参数。然而，Grok-1的性能仍然优于许多其他开源模型，例如Llama2(70亿个参数)和Mistral模型(460亿个参数)。

Grok-1的一些显着功能包括：

具有八位专家的专家混合架构，可实现高效处理并将任务路由到专用组件

对于任何给定的输入标记，25%的模型权重都是活跃的，从而优化了计算资源

分词器词汇量与GPT-4类似

64个嵌入大小和Transformer层数

根据用例，每个代币会选择八分之二的专家

开源开发

Grok-1作为开源模型的发布对AI社区和AI发展的未来具有重大影响。通过使该模型可供免费使用，ElonMusk和xAI实现了对强大AI工具的民主化访问，使研究人员、开发人员和爱好者能够进行实验、创新并为该领域的进步做出贡献。

Grok-1的开源可以平衡人工智能力量的集中化，确保更广泛的社区能够共享和利用这些技术的优势。随着埃隆·马斯克继续开发和完善该模型，预计未来的版本也将作为开源提供，进一步促进该领域的发展和进步。

ElonMusk的xAI将Grok-1作为开源AI模型发布，是AI社区向前迈出的重要一步。通过免费提供强大的工具，xAI为人工智能领域加强创新、实验和协作打开了大门。随着围绕人工智能监管的争论仍在继续，像Grok-1这样的开源模型在确保人工智能发展的未来更加公平和容易方面的重要性怎么强调也不为过。跳转到官方GitHub存储库。

由于模型规模较大(314B参数)，需要有足够GPU内存的机器才能使用示例代码测试模型。该存储库中MoE层的实现效率不高。选择该实现是为了避免需要自定义内核来验证模型的正确性。–此版本中的代码和相关Grok-1权重已根据Apache2.0许可证获得许可。该许可证仅适用于该存储库中的源文件和Grok-1的模型权重。

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：