爱奇飞网

网站首页互联网 >正文

什么是StableLM StabilityAI的开源语言模型

开心的月饼 2023-08-11 09:04:22 互联网

StabilityAI推出了StableLM,这是一种开创性的举措,这是一种开源语言模型,它将彻底改变人工智能领域。这种创新模型目前具有30亿和70亿参数的Alpha版本,这仅仅是一个开始。StabilityAI计划在不久的将来推出具有150亿至650亿个参数的模型。

什么是StableLM StabilityAI的开源语言模型

StableLM不仅仅是另一种语言模型。这证明了StabilityAI致力于让所有人都能使用基础人工智能技术。该模型可以在CCBY-SA-4.0许可下自由使用和改编用于商业或研究目的,使其成为适用于广泛应用的有价值的工具。

此次发布是继2022年发布开放且可扩展的图像模型StableDiffusion之后,也是StabilityAI实现AI技术民主化使命的延续。StableLM旨在生成文本和代码,为各种下游应用程序提供支持,并证明小型、经过高效训练的模型确实可以提供高性能。

“StableLM的发布建立在我们与非营利研究中心EleutherAI开源早期语言模型的经验之上。这些语言模型包括GPT-J、GPT-NeoX和Pythia套件,它们是在ThePile开源数据集上训练的。许多最近的开源语言模型继续以这些努力为基础,包括Cerebras-GPT和Dolly-2。”

稳定性AIStableLM

StabilityAI在与EleutherAI合作的开源语言模型(包括GPT-J、GPT-NeoX和Pythia套件)方面的经验对于StableLM的开发发挥了重要作用。该模型在新的实验数据集上进行训练,该数据集比ThePile开源数据集大三倍,包含1.5万亿个内容令牌。有关该数据集的更多详细信息将在适当的时候发布。

在YouTube上观看此视频。

尽管其尺寸相对较小,但StableLM功能强大,可在对话和编码任务中提供高性能。除了StableLM之外,StabilityAI还发布了经过微调的指令的研究模型,结合了五个最新的对话代理开源数据集。然而,这些模型仅供研究使用,并根据非商业CCBY-NC-SA4.0许可证发布。

开源我们的模型

作为透明度的倡导者,StabilityAI仍然坚定地致力于开源我们的模型。为什么这样?因为他们相信理解应该无障碍,并且信任应该通过我们清晰的工作流程来培养。通过开源我们的模型,我们有效地拉开了帷幕,并允许研究人员和人工智能爱好者进行调查探索。

透明度

这种透明度的主要好处之一是它为研究人员提供了“深入了解”模型的机会。这仅仅意味着解开复杂性、仔细检查性能并深入了解StableLM模型。这不仅使他们能够验证我们对其性能的说法,而且还加快了解释技术的开发过程,这对于理解这些模型如何得出结论至关重要。

此外,这个过程充当某种早期预警系统,帮助识别人工智能模型固有的潜在风险。它推动了保障措施的积极发展,即采取先发制人的措施,以遏制和限制因不可预见的事件而可能出现的任何反弹。这建立了一个优先考虑安全和责任的强大系统。

公共和私营部门

StabilityAI的开源模型将范围扩大到研究界之外,对公共和私营部门的组织都有好处。它们为这些实体提供了针对各自应用程序调整或“微调”我们的公开可用模型的机会。这样,他们就不必分享敏感信息或放弃对其人工智能功能的控制。他们可以定制模型以满足自己的独特需求,而不会损害数据安全并维护人工智能运营的主权。

StableLM社区

简而言之,StabilityAI的开源方法不仅可以提高透明度,还可以增强社区之间的信任,帮助研究人员进行探索,并允许组织利用现有模型,同时维护数据隐私和主权。这强化了我们对有意义的创新的承诺,最终旨在培育协作和包容的人工智能生态系统。

除了这些发展之外,StabilityAI还将启动众包RLHF计划,并与OpenAssistant等社区合作,为AI助手创建开源数据集。这清楚地表明了StabilityAI致力于培育协作和包容的人工智能生态系统。有关StableLM语言模型的更多信息,请访问StabilityAI官方网站了解更多详细信息。语言模型可以从官方GitHub存储库下载。

StabilityAI的开发团队表示,该存储库包含StabilityAI正在开发的StableLM系列语言模型,并将不断更新新的检查点。2023年8月5日发布了针对具有3B和7B参数的StableLM-Alphav2模型的补丁。一旦有更多信息可用并发布更新,我们将一如既往地让您了解最新情况


版权说明:本站所有作品图文均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系我们


标签:

站长推荐
栏目推荐
阅读排行