爱奇飞网

网站首页数码科技 >正文

谷歌Gemma开源AI经优化可在NVIDIAGPU上运行

开心的月饼 2024-02-27 15:21:42 数码科技

谷歌与人工智能硬件领域巨头NVIDIA联手,提升了Gemma语言模型的能力,这是一项重大举措。此次合作旨在提高人工智能应用人员的效率和速度,使其成为科技界值得关注的发展。

谷歌Gemma开源AI经优化可在NVIDIAGPU上运行

谷歌GemmaAI模型已经升级,现在有两个版本,一个有20亿个参数,另一个有70亿个参数。这些模型经过专门设计,旨在充分利用NVIDIA的尖端AI平台。此次升级对广泛的用户有利,从运行大型数据中心的用户到使用个人计算机的个人,因为Gemma型号现已经过优化,可提供一流的性能。

这一增强功能的核心在于NVIDIA的TensorRT-LLM,这是一个开源库,有助于优化NVIDIAGPU上的大型语言模型推理。该工具对于确保Gemma以最佳性能运行、为用户提供更快、更精确的AI交互至关重要。

谷歌杰玛

其中一项关键改进是Gemma与多种NVIDIA硬件的兼容性。现在,全球超过1亿个NVIDIARTXGPU可以支持Gemma,这大大扩大了其覆盖范围。这包括数据中心中强大的GPU、云中的A3实例以及个人计算机中的NVIDIARTXGPU。

在云计算领域,谷歌云计划采用NVIDIA的H200TensorCoreGPU,该GPU拥有先进的内存功能。这种集成预计将增强Gemma模型的性能,特别是在基于云的应用程序中,从而提供更快、更可靠的人工智能服务。NVIDIA的贡献不仅限于硬件;该公司还为企业开发人员提供一套全面的工具。这些工具旨在帮助在各种生产环境中对Gemma进行微调和部署,从而简化AI服务的开发过程,无论它们是复杂的还是简单的。

对于那些希望进一步定制AI项目的人来说,NVIDIA提供了模型检查点和Gemma的量化版本,所有这些均通过TensorRT-LLM进行了优化。这使得人工智能项目能够更加细致地细化和提高效率。NVIDIAAIPlayground是一个用户友好的平台,可直接与Gemma模型交互。该平台的设计易于访问,无需复杂的设置过程,对于那些想要快速深入探索Gemma所提供的功能的人来说,这是一个极好的资源。

这种集成的一个有趣的元素是Gemma与NVIDIA的ChatwithRTX技术演示的结合。该演示利用Gemma在RTX支持的PC上的生成AI功能来提供个性化的聊天机器人体验。它速度快,并通过本地操作维护数据隐私,这意味着它不依赖云连接。

总体而言,Google的Gemma模型在针对NVIDIAGPU的优化方面取得了重大进步。这一进步为开发人员带来了更高的性能、广泛的硬件支持和强大的工具,使Gemma成为人工智能驱动应用程序的有力竞争者。Google和NVIDIA之间的合作承诺为开发人员和最终用户提供强大且易于访问的AI体验,标志着AI技术发展的重要一步。


版权说明:本站所有作品图文均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系我们


标签:

站长推荐
栏目推荐
阅读排行