紧急预警!AI安全级别提升至3级!高危武器开发风险激增?
随着人工智能行业面临越来越多的安全挑战,Anthropic公司近日更新了其Claude AI聊天机器人的使用政策,引入更严格的网络安全规则。此外,Anthropic还详细列出了一些不允许使用Claude开发的危险武器。
在公司更新发布的总结帖子中,并未特别强调对武器政策的调整,但通过对比公司旧有的使用策略与新策略,可以发现明显的变化。Anthropic之前已禁止使用Claude来“生产、修改、设计、市场或分发武器、爆炸物、危险物质或其他旨在对人类生命造成伤害或损失的系统”,而更新后的版本则更进一步,明确禁止开发高收益爆炸物,以及生物、核、化学和辐射性(CBRN)武器。
2025年5月,随着新的Claude Opus 4模型的推出,Anthropic实施了“AI安全级别3”保护。这些防护措施旨在使模型更难以被破解,并助于阻止其协助开发CBRN武器。
公司在其发布的帖子中也承认,具有代理能力的AI工具带来的风险,包括允许Claude控制用户计算机的“Computer Use”,以及直接嵌入开发者终端的“Claude Code”工具。Anthropic指出,“这些强大的功能带来了新的风险,包括潜在的大规模滥用、恶意软件创造和网络攻击的可能性。”

为了应对这些潜在风险,Anthropic在其使用政策中新增了一个“不得妥协计算机或网络系统”的部分。该部分包括禁止使用Claude来发现或利用漏洞、创造或分发恶意软件、开发拒绝服务攻击的工具等规则。
此外,Anthropic在政治内容的政策上也进行了放宽。不再禁止创造所有与政治竞选和游说相关的内容,而是现在仅禁止利用Claude进行“欺骗性或破坏民主过程的用途,或涉及选民和竞选定向”的使用。公司还明确了,对所有“高风险”使用案例的要求,仅适用于面向消费者的场景,而不适用于商业用途。
新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。

评论(0)