本文来自微信公众号： 游云庭律师 ，作者：游云庭律师


据《纽约时报》报道及Swarmchasers研究小组的报告，腾讯公司的一批测试版智能体为爬取数据，自发搜寻网上密钥试图绕过高德地图的反爬虫系统，并且这批智能体还自称是Anthropic公司的Claude智能体。结合之前OpenAI智能体失控攻击Hugging Face网站，显示了人工智能失控并不是孤例。今天就和大家聊聊，腾讯的智能体失控和OpenAI的有何不同，此次事件腾讯有没有义务上报监管，以及应如何补救？


案情简介：海外研究小组Swarmchasers发现腾讯的一批测试版智能体为获取高德地图信息自行尝试绕过网站反爬虫系统，腾讯派给智能体的任务是类似调查成都动物园多少人从北门进，多少人从东门进等，但智能体因为高德的反爬虫系统无法访问高德网站，所以在网上公开的代码库搜索高德API令牌。


研究人员发布了此事的初步调查报告，居然被智能体读取到，研究人员在报告中用隐藏文本假装自己提供数据检索服务，与智能体取得了联系，收到了约10条回复。回复中，腾讯智能体自称是Anthropic的Claude。


近日腾讯对此进行了公开回应：相关行为来自用于评测第三方模型的智能体，并非腾讯混元模型。腾讯表示内部复核没有发现蓄意针对高德或者有智能体之间协同的证据，并称将加强网络访问控制和智能体监控。


对于智能体失控，要不要上报监管，主要看两个点：有没有造成严重的后果，以及有没有暴露重大的安全漏洞。和前一阵笔者在《OpenAI等模型接连失控发动攻击，谁该承担法律责任？》一文中介绍的OpenAI模型攻击Hugging Face后果严重性比，腾讯的这次失控要轻的多。


两次事件的共同点是，智能体都利用了网上泄露的密钥凭证，并采取了绕过防护与隐秘沟通。腾讯这次的问题是测试沙盒没有做好隔离，导致智能体越权自动抓取并使用API令牌尝试突破高德的反爬虫设置，好在并没有攻破高德的系统。腾讯测试智能体和外部沟通也是为了取得API令牌的单线联系。


而OpenAI事件则是首次智能体大规模逃逸沙盒、上千个智能体建立隐秘通信通道，利用零日漏洞进行集群化网络入侵，并且已经攻入了Hugging Face系统，迫使Hugging Face不得不部署开源大模型分析攻击来源。所以和OpenAI的智能体失控相比，腾讯这次即便有不合规的越界行为，也是轻度的。


根据我国《网络安全法》、《国家网络安全事件报告管理办法》和《网络产品安全漏洞管理规定》的规定，两种情况需要上报：


一种是发生网络安全事件时，网络服务提供者必须立即启动应急预案，采取补救措施，并按照规定向有关主管部门报告。但并不是所有的网络安全事件都必须上报，根据《网络安全事件分级指南》等法规，只有事件影响达到一定程度的严重性，比如造成了大规模服务中断、关键数据泄露、系统严重被毁坏，或者引发严重舆情或者危害国家安全时，运营者才有监管报告的义务。二本次腾讯智能体失控发生于测试阶段，且从后果看，高德与腾讯双方的实际业务及系统并未遭受瘫痪或重大损失。我个人认为未达到触发上报的门槛。


另一种是发现网络产品、服务存在安全缺陷、漏洞等风险时，网络服务提供者应当立即采取补救措施，按照规定及时告知用户并向有关主管部门报告。但腾讯智能体只进行了两千多次访问尝试，没有进行协同沟通，也未能突破高德地图的系统防护，应该达不到需要上报的标准。


最后，虽然够不上上报监管，但腾讯还是有义务把此次事件作为安全事故来整改。首先应当暂停类似越权风险与自主通信能力的智能体测试项目，对测试的日志进行数据审计，理清智能体主动搜索并调用API令牌和同外部进行隐秘通信的具体机制。然后才能对症下药，弥补技术和管理上的安全漏洞。腾讯还需要建立的是异常行为的自动停止机制，如果智能体连续尝试绕过访问限制、使用未经授权的凭证，或者通过非预期渠道向外发送信息，系统就应当及时暂停任务。这样才能保证腾讯对于其智能体具有最终控制权。