2024年政府工作报告首次提出开展“人工智能+”行动，明确加快形成以人工智能为引擎的新质生产力。过去十年，我国人工智能技术发展迅猛，已成功应用于制造业、能源、交通运输、金融、教育和医疗等领域，为“人工智能+”行动顺利实施奠定了坚实基础。“人工智能+”行动的实施，不仅体现出我国对人工智能等新一代信息技术的高度重视，更是对未来经济社会发展的深远布局，人工智能未来将在推动我国产业升级、促进发展新质生产力等方面发挥出更加重要的作用。
人工智能技术在推动核科学、核技术发展及应用方面具有巨大潜能。我国高度重视和支持核能智能化技术研发，科技部“新一代人工智能”重大项目通过支持建设新一代人工智能示范应用场景，构建全链条、全过程的人工智能行业应用生态。这些示范场景的应用不仅提升了各行业的智能化水平，也为核能领域人工智能技术的开发应用提供了技术支持和示范效应。《“十四五”现代能源体系规划》等明确提出推动人工智能在核电等领域的应用，积极建设智慧能源系统。当前，积极推进核能领域人工智能的开发应用，落实“人工智能+”行动，走融合发展的路径进一步明晰。以人工智能赋能核能发展，必将成为促进核能转型升级的新动能、新业态。
一、核能领域人工智能的开发应用呈现出积极的发展态势
人工智能技术在核能领域的应用日益广泛，特别是针对核电厂（NPP），人工智能应用已被广泛引入，核能与人工智能技术的协同发展带来显著的降本增效效果。国际上人工智能应用主要集中在核电厂的运行和维护、核燃料循环管理、核设施安全监测及智能巡检与机器人应用等方面。通过实时数据分析、异常模式识别、数据可视化等技术，人工智能能够显著提高核电建设运行效率、降低成本，提高运行安全性。为促进核能发展及开发应用人工智能等新技术，美国核管制委员会（NRC）发布《人工智能战略计划：2023—2027财年》(NUREG-2261)，涉及使用人工智能技术的许可申请的审查和批准等，以进一步促进核能领域人工智能的开发应用。
当前，国内核电企业积极通过引入AI等先进技术，赋能核能安全发展。例如，目前已应用于核电厂、铀矿山运维等的智能化人机接口系统、大数据寿命预测诊断和运维支持系统等，主要是以人工智能、大数据、物联网、云技术等为基础，强调技术与人的深度融合，由机器替代或辅助人进行分析、判断、决策。此外，国内正在开展的“核电厂智能化的自主监控系统的开发应用”等，也是基于数据分析、理论建模和实验设计，以及反应堆的监测、维护和优化，帮助预测和解决潜在的核能建设运行问题。这类研发项目，主要是通过确立基于AI的安全评估方法、支持操作员做出正常运行和事故条件的决策、考虑人与AI应用界面的人因工程，开发应用适配的智能技术与软件、自主运行控制系统等，以提高安全性和运行效率，降低运营成本。
中核集团开发的智能化核动力仿真平台（RINSIM2.0）及核能建模与仿真平台（NIMOS）等，可应用于设计验证、操纵员培训、应急演练、V&V验证等应用需求，具有良好的推广前景。中广核福建宁德核电有限公司与浙江大学合作，共同研发“云中锦书”核工业大语言模型平台，已具备知识库管理、专家系统、人因预测等功能，计划2025年投入生产领域应用。中核集团八所与上海人工智能实验室联合研发“龙吟·万界”大模型，是国内首个核领域数字生产力平台，集大模型智能体的开发、使用、管理于一体，提供算力、核领域大模型、智能体、AI原生应用的整体解决方案。此外，小型模块化反应堆（SMR）等新技术产品的开发和应用，也受益于AI在数据分析、模拟和优化等方面的应用，并推动AI和核科学工程仿真等融合发展。
为积极推进核能综合利用，“国和一号+”智慧核能综合利用示范项目、“和气一号”核能供汽项目等，在国家“建设智慧能源系统”的指引及统筹协调下，加强与我国“新一代人工智能”等重大项目多个方面的借鉴和互动，积极打造集核能供热、海水淡化、核风光储综合智慧能源系统、智慧多能管控平台等于一体的“核能+”创新发展模式，进一步推动了核能的多领域应用。
总体看，人工智能在核工程建设降本增效、提升设备运行维护质量和效率、降低核电全寿期管理成本、提升核能开发利用的功能性等方面，发挥着越来越重要的作用。但是，人工智能在核能领域的应用也面临一些风险和挑战，不仅包括数据安全、系统故障、人为错误和监管挑战等数字技术应用方面风险，而且包括人工智能应用的特有问题，涉及与核科学工程技术的开发应用的融合、人工智能模型资源的优化利用，以及安全监管和政策法规不完善等问题。在核能领域，人工智能技术的应用需要特别谨慎，必须确保信息安全、决策可靠及合规性，避免人为因素、监管障碍等带来的风险。
二、核能领域人工智能开发应用的风险不容忽视
2023年首届人工智能安全全球峰会签署的《布莱切利宣言》，强调了理解和解决人工智能安全问题的紧迫性。2024年欧盟发布《人工智能法案》，基于风险框架，提出全面的人工智能分级监管机制。美国也已通过行政命令，要求评估人工智能的安全风险。美国核管会（NRC）与西南研究所合作，分析了相关单位利用人工智能相关规章制度中的漏洞，认为人工智能系统极有可能产生异常输出等情况，有必要进一步探索其安全风险的防护措施。
（一）数据传输和处理带来的影响可能增加
数据是人工智能的基础，数据生成是确保人工智能系统持续获取新信息的关键环节。然而，人工智能系统的决策可能会受到数据偏见的影响，出现模型偏见和不公平性问题，甚至在某些情况下，可能会因数据原因出现错误或无法解释其决策过程，这可能导致不可预测的结果。这种无法解释和失控的风险可能对决策的可靠性和可信度产生负面影响。而“数据投毒”风险不容忽视，若“投毒”传导到核能传统系统，可能导致核安全事故；传导至舆论，一些负面信息可以更加隐蔽地影响社会公众的正确认知。
随着人工智能在核能领域的应用，首先，智能设备如智能监测系统、数据分析平台等会收集大量的敏感数据，包括核设施的运行状态、维护记录等。这些数据如果被未经授权的人员获取，可能会导致核设施的安全隐患和运营风险。其次，在核能领域，人工智能系统需要处理和分析大量的实时数据，任何数据的异常或错误都可能导致错误的决策，进而影响核设施的安全运行。第三，人工智能模型和算法容易被攻击和窃取，这可能导致核能相关系统的建设运营数据和安全策略被泄露，从而影响核能的安全性和稳定性。第四，在核能领域使用人工智能技术时，同样可能会涉及到单位及个人信息等敏感数据。如果这些信息处理不当，可能会导致隐私泄露，带来信息安全问题。
（二）人工智能系统的安全性评估有待加强
核能领域人工智能系统的构建，可能涉及智能运维与故障预测、智能设备管理、核反应堆智能辅助决策及智能安全管理等，助力核能传统系统的升级，并通过对实时数据监测、场景模拟及整合物联网和大数据技术等，应用人工智能技术和算法，优化核技术开发应用的各个环节，提高核设施建设运行安全、能源生产效率和废物管理能力等，并助力合规性问题解决。但是核能领域人工智能系统通常比传统系统更复杂，这可能导致故障模式等更加难以预测和理解。而在人工智能系统参与及辅助决策的情况下，一旦发生事故，出现确定责任方可能变得复杂等情况，控制好核能领域人工智能系统的安全问题，值得高度重视。
同时，鉴于人工智能应用基于数学模型而非物理模型，这使得核能领域人工智能系统的可靠性评估更加困难，因此使用人工智能应用进行核电厂设计优化、自主运行和控制以及安全分析需要仔细证实，如核电厂智能化的自主监控系统的开发应用，需要在硬件和系统架构、数据处理、安全性和效率提升等方面，不断探索满足核电建设安全运行要求的智能化软、硬件技术，逐步建立技术验证方法与标准体系, 并在应用实践中不断迭代发展, 实现智能系统的高可靠性。特别是，目前由于人工智能应用使用的算法复杂，分析涉及大量数据，仅通过传统的软件验证和确认方法无法评估人工智能应用程序的可靠性，证明基于人工智能的应用程序的故障不会干扰安全功能是具有挑战性的。
此外，由于目前在人工智能系统应用的安全性评估方面积累的经验不多，美国等西方国家在设计、计算等的评估方面，没有专门针对人工智能应用的指南，我国法规也并未明确执行计划必须由人类或人工智能执行等情况。
（三）大模型开发利用的监管规范需加强
目前人工智能大模型层出不穷，已经成为全球人工智能领域的重要力量。多模态大模型不仅在文本生成方面表现出色，还在音频、图像等多种模态的处理和生成上取得重要进展。这些技术革新为人工智能大模型在更多领域的应用奠定坚实基础。近年来，以生成式预训练大模型为代表的生成式人工智能大模型（简称“大模型”）迅猛发展，并积极投入到大模型赋能的新型应用中，但也带来前所未有的安全风险。
大模型的算法可能存在缺陷，在处理核能行业数据时，可能会因为数据不完整或存在偏差而导致生成结果不可控，而一些算法的可解释性较差，难以追溯和解释模型的决策过程，特别是智能体具有自主决策的能力，一旦失控，可能会对核能设施造成不可预测的后果。此外，恶意行为者可能利用人工智能的算法模型发起先进的、有针对性的攻击，更隐蔽地破坏人工智能系统及其算法模型，而算法模型遭受攻击风险主要包括模型中毒、数据投毒、后门植入、对抗攻击等。
总体看，当前全球人工智能监管框架尚处初期，缺乏统一有效的协调机制。不同国家和地区的监管政策差异大，难以对人工智能在核能领域的应用进行全面及时规范。此外，数字化技术及人工智能的应用需要专业的技术支持和维护团队。操作人员可能过于信任人工智能系统，甚至在系统给出错误建议时也不知人工干预。过度依赖人工智能可能导致操作人员的技能退化，影响其在紧急情况下的反应能力。
三、安全有序推进核能领域人工智能开发应用的思考与建议
国务院发布的《新一代人工智能发展规划》明确提出，在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能的安全、可靠、可控发展。国务院安委会办公室发布的《能源电力系统安全生产治本攻坚三年行动方案（2024—2026年）》明确要求，要结合人工智能、大数据、物联网等技术，持续加大安全风险监测预警系统建设应用和升级改造力度，2026 年底安全生产风险智能化管控能力显著增强。
为此，核能行业要按照《全球人工智能治理倡议》及相关政策文件要求，结合核能行业人工智能应用的实际情况，统筹人工智能发展与安全，保持战略定力，增强战略信心，稳妥应对各种风险挑战，在积极稳健推进核能领域人工智能的开发应用的同时，重点做好核能数据安全带来的风险影响、人工智能系统的安全性风险，以及算法模型遭受攻击的风险等的应对工作。
（一）强化数据安全带来的风险防范
核能领域人工智能的开发应用，要充分利用数据资源和先进技术，采取数据驱动的技术创新和主动的数据生成策略等方式方法，强化数据推动技术迭代升级，促进核能创新发展。同时，高度重视数据质量和安全性等问题。为应对数据安全带来的风险影响，要积极做好核能行业人工智能数据的收集与开发应用。
一要需确保内容不涉及违法、不良信息。建立内容审查机制，防止生成虚假信息、侵权内容等，在数据交易协议中，要求提供方对数据的合法来源和处理行为进行保证，并避免因内容生成引发法律纠纷；
二要开展数据标注及清洗，保证模型训练阶段的数据的透明性、可解释性及公平性。这包括制定标注准则、开展核能行业人工智能数据标注质量评估、抽样核验等，处理好仿真数据与实际数据等关系；
三要建立严格的数据管理机制，明确数据可用性限制，并加强“数据投毒”检测与防御方法的研究与创新，采用联邦学习等可信的人工智能技术，通过模块化设计，加强多样化、冗余和隔离系统的优化、软件输入和输出的控制及监控等措施，避免不利影响；
四要建立用户个人信息保护制度，提高员工对数据安全重要性的认识，严格遵守相关规定，并确保用户知情权、选择权等；
五要完善核安全监管和应急机制，加强核能领域人工智能开发应用的安全监管，建立健全数据安全事件应急响应机制，强化数据泄露、设备故障、网络攻击等安全防范，并注意消除负面因素的影响。
（二）加强人工智能系统的安全风险主动防御
随着人工智能技术的广泛应用，技术进步推动了核能与人工智能系统的结合，而人工智能系统的优化也促进了核能技术进步。人工智能安全涉及数据安全、算法安全、系统安全、网络安全等多个方面，旨在确保人工智能系统的安全、可靠和可控。核能行业人工智能技术应用系统，要加强包括被动防御和主动防御两大类的安全防护措施。原则上要将人工智能系统与核能其他系统隔离，以降低安全风险，并更加注重预测和识别潜在的安全威胁，通过持续监控和分析系统行为来及时发现并响应异常活动。
在核能行业人工智能系统的安全研究发展中，建议以自适应和智能化的安全防护系统、隐私保护技术的创新、人工智能对抗性攻防技术的提升、人工智能安全评估与认证体系的完善，以及跨领域合作与技术创新为重点。为提升人工智能系统的安全性，核能行业可加强核能行业外专业化企业合作，合作研究实施核能行业人工智能技术应用的安全整体应对方案，包括核能行业人工智能安全框架，以及基于安全框架下的人工智能安全解决方案、人工智能评估服务和安全检测工具等，帮助核能企业提前洞察风险并采取应对措施。
要加强核能行业人工智能技术应用安全运行的经验反馈。注意在经验反馈的基础上，依据相关法规要求，在核能行业人工智能系统的设计、计算、建设运行等的评估方面，逐步建立健全专门针对核能行业人工智能系统应用的指南，注重集成化工作流程与嵌入式系统的开发研究，以应对复杂多变的工作环境，并同步制定相关法规标准，明确系统的操作执行计划是由人类或人工智能执行等。
为了确保人工智能系统的安全，需要重点限制由传统系统控制的软件输入和输出。一是确保核能领域人工智能系统的训练、测试和正式部署阶段在隔离环境中运行；二是对人工智能实施技术限制，并加强监控，确保监控系统的有效性；三是对人工智能系统的代码和参数进行加密和保护，防止被黑客盗走或滥用等；四是在模块化层面上应用人工智能技术，或将系统划分为具有“明确功能”的“较小、独立的模块”，尽量将任何问题或错误局限在问题模块之内，避免对整个系统运行的总体功能造成不利影响；五是加对人工智能系统等的持续监控，防止核能设备故障和维护系统完整性，同时检测和应对潜在的异常情况。
人工智能技术应用安全需要全社会共同努力。建议国家安全部门继续发挥能力优势，确保核能行业人工智能系统本身的安全性，实施“多样化、冗余和隔离的系统”，以最大限度地减少意外行动，并积极利用人工智能用于安全防护；相关监管机构需要对核能行业人工智能系统的潜在风险与影响保持持续关注，在制度和法规上及时提供支持；核能行业相关企业、机构要加强合作，及时研究部署人工智能安全框架和统一解决方案，以及人工智能安全评估服务和检测工具等，并可依托人工智能推动安全升级；核能行业的网络用户在尝试最新人工智能应用的同时，同样需要更新安全知识，形成良好的安全习惯。
（三）协同优化人工智能大模型选择与安全高效的开发利用
目前，大模型正迅速成为智能化时代的基础底座，已经被广泛应用于无人机、机器人等领域的自动控制等，成为包括工控设备在内的各类物理系统的“神经中枢”。而如今随着大模型项目需求不断增长，各类开源框架也层出不穷。这些框架极大提升了开发效率，降低了构建人工智能应用的门槛，同时也打开了新的攻击面，导致系统或应用安全风险增加。在大模型基础设施属性日益凸显的智能时代，没有大模型的安全，就无法保障大模型技术和赋能相关产业的健康快速发展。
当前，大模型安全已成为全球共识，并成为大国科技竞争的重要制高点。我国发布《生成式人工智能服务管理暂行办法》，提出促进创新和依法治理相结合的监管原则，以支持生成式人工智能大模型等的安全发展。在核能领域，首先，在智能审查、知识库管理、智能设备管理、智慧运维支持、数字孪生、虚拟现实、智能安全管理等应用领域，选用人工智能大模型，必须选择安全性、经济性好的大模型，如DeepSeek大模型，能通过动态稀疏计算、层级化MoE架构和量子纠缠启发的参数共享等技术，并与自主可控的算力芯片等硬件相适配，在处理复杂的核能研发、生产、经营管理等相关任务过程中，降低算力需求。这些大模型，不仅要与业务场景匹配，具备数据质量好、可解释性强等特点，以实现高参数、高性能等技术优势和安全要求，还必须能节约算力资源，通过优化软硬件的使用，并基于自主可控芯片的智算中心，在保证安全高效性能的同时降低总体成本。
建议核能领域人工智能大模型满足以下要求：一是可通过大量的数据训练、深度学习，具备强大的学习能力和表征能力，并能确保大模型的使用过程中的数据安全和系统安全。二是可通过模型优化、参数共享、并行策略、网络结构优化、有效训练率提升、动态资源分配等手段提升集群综合利用率，推动大模型行业“降本”趋势的加速推进。三是可不断丰富和发展相关大模型标准化专业语料库等，以提高模型的性能和泛化能力，促进适应各种应用场景的技术创新，解决核能发展面临的知识管理不足、低脑力劳动过多、安全分析能力有待增强等挑战。四是可应用于智能审查、安全性评估、故障诊断与预测、优化运行与管理、辅助设计与模拟等多个方面，其研发和应用要可验证、安全可控，能接受监管部门的监督，确保其决策过程和结果可靠，能持续提升核能领域的整体效率和安全性，推动核能守正创新发展。
其次，要重点加强相关人工智能大模型受攻击风险的应对措施。通过基于鲁棒训练等的防御方法和基于数据增强的防御方法，提高模型的抗干扰能力，并定期更新和重新训练模型以有效应对对抗攻击。此外，要通过建立完善安全检测、监督机制，加强对大模型开发及其使用过程的监管，及时发现和处理潜在的恶意代码和攻击行为等。
人工智能与大模型本身伴随着安全风险，目前对潜在影响的研究与重视程度仍远远不足，需要制定相关的法律法规和伦理规范，明确大模型的使用范围和责任主体，加大投入，抢占人工智能安全科技制高点，突破大模型安全关键技术，并合理规划大模型等的资源分配及未来必要时选择性关闭自主开发大模型的部分技术。同时，加快大规模集群技术的研发，并强化其灵活性和扩展性，助力人工智能安全有序、集群化发展。此外，鉴于大模型所面对的安全威胁，可从模型层、框架层、应用层三个层面持续深入探索。以大模型为重要支撑的人工智能生态拥有巨大发展潜力，在赋予人工智能更多能力的同时，也应将更多精力投入在人工智能的安全之上，确保整个系统可信、可靠、可控。
当今世界正处于人工智能发展的新时代，核能要为我国人工智能技术的普及和应用领域不断扩展作出应有的贡献。为此，建议“新一代人工智能”专项加强对“智能核能系统”研究开发的支持，同时实施产教融合策略，并鼓励核能行业成立跨行业共同体，积极参与国际、国内相关规则的研究制定，完善核能安全治理体系,优化核能领域人工智能开发应用的操作规范标准及相关人员的专业培训，不断壮大“AI+核能安全”领域的实战型、复合型人才队伍，促进国家智慧能源系统建设，积极发挥核能发展在保障能源安全转型、实现“双碳”目标、引领工业科技变革和推动新质生产力发展等方面的重要作用。
【责任编辑：王少晨 】
