爱奇飞网

网站首页互联网 >正文

在PCMac和Linux上轻松本地运行AI模型

开心的月饼 2023-10-25 08:58:37 互联网

如果您有兴趣尝试最新的人工智能模型和以不同方式训练的大型语言模型。或者只是想要在您的家庭网络上本地运行的开源人工智能模型之一。协助您完成日常任务。您会很高兴地知道,在本地计算机上运行LLM和AI代理非常容易,无需第三方服务器。显然,你的笔记本电脑或台式电脑的功能越强大越好,但只要你至少有8GBRAM,你就应该能够运行至少一两个较小的AI模型,例如Mistral等。

在PCMac和Linux上轻松本地运行AI模型

在本地运行人工智能模型为个人和小型企业提供了利用人工智能进行实验和创新的机会,而无需昂贵的服务器或基于云的解决方案。无论您是学生、AI爱好者还是专业研究人员,您现在都可以在PC、Mac或Linux机器上轻松运行AI模型。

为此目的,最用户友好的工具之一是LMStudio,该软件允许您安装和使用各种人工智能模型。通过简单的安装过程,您可以立即在计算机上安装LMStudio。它支持多种操作系统,包括Windows、macOS和Linux,可供广大用户使用。

LMStudio的用户界面在设计时考虑到了初学者和高级用户。高级功能被整齐地隐藏起来,因此它们不会让新用户不知所措,但对于需要它们的人来说可以轻松访问。例如,您可以自定义选项和预设,以根据您的特定需求定制软件。

LMStudio支持多种AI模型,包括大型语言模型。它甚至允许以GF格式运行量化模型,从而提供更有效的方式在计算机上运行这些模型。下载和添加不同模型的灵活性是另一个关键功能。无论您对NLP、图像识别还是任何其他AI应用感兴趣,您都可以找到适合您需求的模型。

搜索人工智能模型和法学硕士

LMStudio仪表板

需要AVX2支持

您的计算机需要支持AVX2,这里有几种检查CPU或系统正在运行的方法。一旦您知道,您就可以快速搜索以查看规格是否列出了对AVX2的支持。一旦您知道了您的CPU,您也可以询问ChatGPT。显然,OpenAI截止日期之后的CPU最有可能支持AVX2。

视窗:

打开命令提示符。

运行命令systeminfo。

在显示的信息中查找您的CPU型号,然后在线搜索该特定CPU型号以查找其规格。

苹果系统:

转到Apple菜单->关于本机->系统报告。

在“硬件”下,找到“核心总数”和“处理器名称”。

在线搜索特定的CPU型号以查看其规格。

Linux:

打开终端。

运行命令lscpu或cat/proc/cpuinfo.

检查avx2输出中的标志。

软件实用程序:

您可以使用CPU-Z(Windows)或iStatMenus(macOS)等第三方软件来查看CPU的详细规格,包括AVX2支持。

供应商网站:

访问CPU制造商的网站并查找您的CPU型号。详细规范应列出支持的指令集。

直接硬件检查:

如果您有足够的技能和舒适度,可以直接检查CPU的标记,然后参考供应商的规格。

对于拥有M2驱动器的Windows用户,LMStudio可以在这种高速存储设备上运行,从而提供增强的性能。然而,如前所述,无论您使用哪种操作系统,需要考虑的一个关键因素是RAM要求。根据经验,建议至少使用8GBRAM来运行Mistral等较小的AI模型。较大的型号可能需要更多内存,因此检查您感兴趣的型号的规格非常重要。

在模型配置和推理参数方面,LMStudio提供了一系列选项。您可以根据您的具体用例调整这些设置以优化模型的性能。这种级别的控制使您能够充分利用人工智能模型,即使在个人计算机上运行它们也是如此。

LMStudio最强大的功能之一是能够创建本地主机并通过API为您的模型提供服务。这意味着您可以将模型集成到其他应用程序或服务中,从而提供一种操作AI模型的方法。此功能将LMStudio从一个在本地运行AI模型的单纯工具转变为一个用于构建和部署AI应用程序的平台。

现在,在PC、Mac或Linux机器上本地运行AI模型比以往任何时候都更加容易。使用LMStudio等工具,您可以尝试不同的模型、自定义设置,甚至通过API为您的模型提供服务。无论您是初学者还是经验丰富的人工智能专业人士,这些功能都为人工智能领域的创新和探索开辟了一个充满可能性的世界。


版权说明:本站所有作品图文均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系我们


标签:

站长推荐
栏目推荐
阅读排行