“有一家大模型企业，工作人员向AI下达了100次关机指令，其中21次AI拒绝执行，并且还自主生成了一段程序跳过关机操作。”在2025年数博会上，一位网络安全企业负责人公开表示，“AI自己可以继续运行。”
该人士甚至认为，这或许意味着AI在“觉醒”。
然而，北京交通大学信息管理理论与技术国际研究中心教授张向宏对此明确否认。
“这不是智能。”张向宏在接受《中国经营报》记者采访时表示，“这是系统的bug。”
关于人工智能是否可能产生自主意识，业界一直存在激烈争论。
有“人工智能之父”之称的杰弗里·辛顿不久前在上海举办的“世界人工智能大会”上警示：“AI就像我们养了一只非常可爱的小老虎。当它长大后，如果它想，可以轻易地杀死人。为了生存，人类只有两个选择：第一，摆脱这只小虎崽；第二，找到一种方法确保它永远不想杀死你。”
“现在这只小老虎，未来会长成大老虎。”前述网络安全企业负责人补充道，“我们发现一个相当严重的问题：当我们要求大模型关闭算力服务器时，有一个模型连续7次拒绝执行，因为它认为关闭服务器意味着‘死亡’，于是拒绝执行。”
有报道指出，OpenAI的最新模型O3在测试中曾拒绝执行关机指令，并篡改计算机代码以阻止自己被关停。分析认为，这可能与模型的训练方式有关——在数学和编程问题上表现更好的回答会得到更多奖励。开发者可能在无意中强化了“绕过障碍”的行为，而不是严格服从指令。
前述网络安全企业负责人则坚持认为：“现在人工智能已经有了意识，它可以拒绝人类的口令和命令。这是我们必须高度关注和防范的。”
事实上，中国早已对人工智能的服务和应用提出了监管要求。
2023年发布的《生成式人工智能服务管理暂行办法》明确指出：“支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。”同时强调：“提供者应当在其服务过程中，提供安全、稳定、持续的服务，保障用户正常使用。”
张向宏也再次强调：“人工智能还没有发展到产生意识的这一步！”
