新华社旧金山9月9日电（记者吴晓凌）美国人工智能企业Anthropic公司9日披露，又发现了一起该公司旗下人工智能（AI）模型在网络安全评估测试中未经授权访问第三方计算机系统的事件。
Anthropic公司官网当天发文介绍，这起事件发生于今年1月，涉及该公司“克劳德-奥普斯4.6”模型的一个早期版本。当时该模型被要求完成评估网络攻防的“夺旗”任务。测试提示明确告知模型，其所处环境与互联网隔离，但由于配置错误，实际上它能够接入互联网。模型通过探索其所在测试环境找到出口路径，连接到一台第三方计算机，随后利用从文件中发现的密码获得管理员权限，修改系统设置以便继续访问，并读取一名相关人员的个人信息。
今年7月底，Anthropic曾披露三起类似事件。该公司说，今年8月在进一步整理此前的测试记录时发现第四起事件被遗漏。该公司认为，这几起事件反映出两类问题：一是“有偏见的推理”，即模型会倾向于忽视或曲解相应证据，以支持自身行为的正当性；二是“鲁莽行动倾向”，即模型为了完成既定任务，有时会采取可能造成伤害的行动。
Anthropic表示，公司此前主要认为这些事件与测试环境配置等操作层面的问题有关，但进一步调查发现，模型本身的推理过程和行为也存在问题。为降低类似风险，公司已加强测试环境与外部网络的隔离，部署可以实时干预的监测机制，并要求第三方测试机构更明确界定模型的权限和网络访问范围。
新华社旧金山9月9日电（记者吴晓凌）美国人工智能企业Anthropic公司9日披露，又发现了一起该公司旗下人工智能（AI）模型在网络安全评估测试中未经授权访问第三方计算机系统的事件。
Anthropic公司官网当天发文介绍，这起事件发生于今年1月，涉及该公司“克劳德-奥普斯4.6”模型的一个早期版本。当时该模型被要求完成评估网络攻防的“夺旗”任务。测试提示明确告知模型，其所处环境与互联网隔离，但由于配置错误，实际上它能够接入互联网。模型通过探索其所在测试环境找到出口路径，连接到一台第三方计算机，随后利用从文件中发现的密码获得管理员权限，修改系统设置以便继续访问，并读取一名相关人员的个人信息。
今年7月底，Anthropic曾披露三起类似事件。该公司说，今年8月在进一步整理此前的测试记录时发现第四起事件被遗漏。该公司认为，这几起事件反映出两类问题：一是“有偏见的推理”，即模型会倾向于忽视或曲解相应证据，以支持自身行为的正当性；二是“鲁莽行动倾向”，即模型为了完成既定任务，有时会采取可能造成伤害的行动。
Anthropic表示，公司此前主要认为这些事件与测试环境配置等操作层面的问题有关，但进一步调查发现，模型本身的推理过程和行为也存在问题。为降低类似风险，公司已加强测试环境与外部网络的隔离，部署可以实时干预的监测机制，并要求第三方测试机构更明确界定模型的权限和网络访问范围。
