美企披露又一起AI模型侵入第三方系统事件
新华社旧金山9月9日电(记者吴晓凌)美国人工智能企业Anthropic公司9日披露,又发现了一起该公司旗下人工智能(AI)模型在网络安全评估测试中未经授权访问第三方计算机系统的事件。
Anthropic公司官网当天发文介绍,这起事件发生于今年1月,涉及该公司“克劳德-奥普斯4.6”模型的一个早期版本。当时该模型被要求完成评估网络攻防的“夺旗”任务。测试提示明确告知模型,其所处环境与互联网隔离,但由于配置错误,实际上它能够接入互联网。模型通过探索其所在测试环境找到出口路径,连接到一台第三方计算机,随后利用从文件中发现的密码获得管理员权限,修改系统设置以便继续访问,并读取一名相关人员的个人信息。
今年7月底,Anthropic曾披露三起类似事件。该公司说,今年8月在进一步整理此前的测试记录时发现第四起事件被遗漏。该公司认为,这几起事件反映出两类问题:一是“有偏见的推理”,即模型会倾向于忽视或曲解相应证据,以支持自身行为的正当性;二是“鲁莽行动倾向”,即模型为了完成既定任务,有时会采取可能造成伤害的行动。
Anthropic表示,公司此前主要认为这些事件与测试环境配置等操作层面的问题有关,但进一步调查发现,模型本身的推理过程和行为也存在问题。为降低类似风险,公司已加强测试环境与外部网络的隔离,部署可以实时干预的监测机制,并要求第三方测试机构更明确界定模型的权限和网络访问范围。
免责声明:以上数据来源于天眼查等平台,相关内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。如有侵权请联系0531-85193563。
本文来源:新华网
免责声明:本站所有信息均来源于互联网搜集,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻删除。



