爱奇飞网

网站首页互联网 >正文

微软的顶级新安全工具希望帮助您保持闪亮的新型生成人工智能系统的永久安全

开心的月饼 2024-02-26 14:46:18 互联网

微软推出了一款新的安全工具,旨在确保生成式人工智能工具的安全和使用安全。PyRIT是用于生成人工智能的Python风险识别工具包的缩写,将帮助开发人员应对各种规模的企业面临的日益增长的威胁,这些威胁来自寻求利用新策略的犯罪分子。

微软的顶级新安全工具希望帮助您保持闪亮的新型生成人工智能系统的永久安全

正如你们大多数人现在已经知道的那样,网络犯罪分子正在使用ChatGPT等生成式AI工具来快速创建恶意软件代码、生成(和校对)网络钓鱼电子邮件等。

开发人员的反应是改变该工具对不同提示的响应方式,并在一定程度上限制其功能,微软现在决定更进一步。

在过去的一年里,该公司在“几个高价值的生成式人工智能系统”投放市场之前对其进行了红队合作,并在此期间开始构建一次性脚本。微软解释说:“当我们对不同种类的生成人工智能系统进行红队并探索不同的风险时,我们添加了我们认为有用的功能。”“如今,PyRIT已成为MicrosoftAI红队武器库中的可靠工具。”

这家雷德蒙德软件巨头还强调,PyRIT绝不是生成人工智能系统的手动红队的替代品。相反,该公司希望其他红队团队可以使用该工具来消除繁琐的任务并加快速度。

“PyRIT揭示了可能存在风险的热点,安全专业人员可以深入探索这些热点,”微软进一步解释道。“安全专业人员始终控制着AI红队操作的策略和执行,PyRIT提供自动化代码来获取安全专业人员提供的有害提示的初始数据集,然后使用LLM端点生成更多有害提示”。

微软强调,该工具还具有适应性,因为它能够根据生成人工智能系统对先前查询的响应来改变其策略。然后它生成下一个输入,并继续循环,直到红队成员对结果感到满意。


版权说明:本站所有作品图文均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系我们


标签:

站长推荐
栏目推荐
阅读排行