【广东】人工智能医学软件网络安全技术审评指导原则发布

日期:2022-12-19

各有关单位：

根据国家重点研发计划专项课题《人工智能医学信息系统软件审评指导体系构建》的要求，由我中心负责起草的《超声影像人工智能诊断软件技术审评指导原则》等11项人工智能医学信息系统软件指导原则（见附件）已经完成制定流程，并通过专家组审定，现予以发布，供参考。

附件：

1.人工智能医学软件网络安全技术审评指导原则

广东省药品监督管理局审评认证中心

2022年12月13日

本文为附件1：

人工智能医学软件网络安全技术审评指导原则

本指导原则是人工智能医学信息系统软件审评指导体系构建的组成部分，基于人工智能医疗器械审评指导原则和医疗器械网络安全注册审查指导原则的通用要求，细化了人工智能医学软件网络安全的一般要求。

本指导原则旨在指导注册人规范人工智能医学软件网络安全生存周期过程和为技术审评提供参考。不涉及相关行政审批事项，亦不作为法规强制执行，应在遵循相关法规的前提下使用本指导原则。

本指导原则是在现行法规和标准体系以及当前认知水平下制定的，随着法规和标准的不断完善，以及科学技术的不断发展，在使用过程中应对相关内容适时进行调整。

一．适用范围

本指导原则适用于人工智能医学软件的网络安全的产品注册，人工智能医学软件指采用人工智能技术（AI）实现其预期用途的医学软件，包括人工智能医学独立软件和人工智能医学软件组件。如采用机器学习、模式识别、规则推理等技术实现医疗用途的独立软件和软件组件。

二. 主要概念

（一）人工智能医学软件网络安全

通过采取必要措施、防范对数据、模型等攻击、侵入、干扰、破坏和非法使用以及意外事故，使软件设备处于稳定可靠运行的状态，以及保障数据、模型等的完整性、保密性、可得性的能力。此外，人工智能医学软件是基于海量医学数据和高算力算法的软件，医疗数据包含个人标识、健康状况以及医疗情况等相关信息，尽管信息安全、网络安全、数据安全的定义和范围各有侧重，即有联系又有区别，但本指导原则对三者不做严格区分，统一采用网络安全进行表述，综合考虑软件的信息安全和数据安全。

（二）网络安全特性

1.保密性

数据不被未授权实体（含产品、服务、个人、组织）获得或知悉的特性，即人工智能医学软件相关数据仅可由授权用户在授权时间以授权方式进行访问和使用。

2.完整性

数据的创建、传输、存储、显示未以非授权方式进行更改（含删除、添加）的特性，即人工智能医学软件相关数据是准确和完整的，且未被篡改。

3.可得性

数据可根据授权实体要求进行访问和使用的特性，即人工智能医学软件自身和相关数据能以预期方式适时进行访问和使用。

除保密性、完整性、可得性三个基本特性外，人工智能医学软件产品网络安全还需考虑真实性、抗抵赖性、可核查性、可靠性等特性。注册人应结合人工智能医学软件产品的预期用途、使用场景、核心功能进行综合考量，从而确定人工智能医学软件产品网络安全特性的具体要求。

(三) 网络安全的风险级别

人工智能医学软件网络安全风险与软件风险存在差异，但是网络安全风险作为软件风险的重要组成部分，其风险级别亦可参照软件采用安全性级别进行表述。在通常情形下，人工智能医学软件网络安全的安全性级别与所属人工智能医学软件的安全性级别相同；在特殊情形下，网络安全的安全性级别可低于软件的安全性级别，如软件运行于不通公网的环境或软件运行于完全受控的环境，此时需详述理由并按网络安全的安全性级别提交相应注册申报资料。

人工智能医学软件产品网络安全风险同样结合软件的预期用途、使用场景、核心功能进行综合判定，特别是使用场景。不同使用场景的网络环境不同，甚至存在巨大差异，对于人工智能医学软件产品网络安全的影响亦不同，如门诊、手术、住院、急救、家庭、转运、公共场所等使用场景的网络环境均有所不同，因此对于适用于多个使用场景的人工智能医学软件，注册申请人需保证软件在每个使用场景的网络安全。

三. 网络安全风险管理

（一）概述

随着人工智能技术的发展，越来越多医学软件产品使用人工智能技术实现辅助诊断、辅助分析等功能，大部分软件具备网络连接功能以实现电子数据交换或远程控制，在提升医疗服务质量与效率的同时面临着网络攻击的威胁。人工智能医学软件是基于海量医学数据和高算力算法的软件，医疗数据包含个人标识、健康状况以及医疗情况等相关信息，鉴于医疗数据的特殊性，这些信息如被泄露、篡改或滥用，会影响健康护理、医学治疗以及科学研究效果，在更严重的情况下会导致医疗事故发生。另一方面，医疗数据大量涉及个人信息，数据的泄露、滥用和不正当披露会对个人信息安全造成侵害，甚至可能影响个人正常生活。因此，对于人工智能医学软件将带来更多的网络安全方面的考量，为保护个人健康医疗数据需要采取合理和适当的管理和技术保证措施，以达到以下目标：

a)保护医疗数据使用和披露过程中的保密性、完整性和可得性；

b)确保医疗数据使用和披露过程的隐私性，保护个人隐私、个人权益。

（二）风险分析

人工智能医学软件除考虑软件自身网络安全能力建设外，还应当在软件全生命周期过程中考虑网络与数据安全过程控制要求，包括上市前设计开发阶段和上市后使用阶段。

上市前设计开发阶段包括算法数据构建阶段、算法训练生成阶段。

算法数据构建阶段包括两个过程，分别是数据获取和数据整理：

1.数据获取部分是获取用于训练/更新算法的数据，其中数据包括自身私有数据、供应链数据、标准数据集、模型运行反馈数据等从多渠道获取的数据。

2.数据整理部分是为将获取的数据整合成为能够作为训练模型使用的数据，包括数据预处理、数据标注、数据集构建等过程及数据存储。

人工智能医疗软件，区别一般的医疗器械软件，人工智能医学软件依靠海量数据训练，所以应识别该过程中网络与数据安全风险并进行有效控制。该阶段的具体风险如表1所示（包括但不限于）：

表1

风险点	阶段	风险描述及危害
数据投毒	数据获取	训练数据植入被修改的样本，使模型效果不佳，或定向使得某些实例被检测为指定的结果
模型后门注入	数据获取	模型植入部分具有特定模式特征的样本，训练后使模型产生后门
数据滥用	数据获取	可能使用未经用户授权的数据，或者用户要求“遗忘”的数据，造成法律风险
不安全的数据存储	数据整理	不安全的数据存储环境或配置管理缺陷，可能导致数据泄露，造成数据隐私泄露

算法训练与生成阶段包括模型选型实现及模型训练测试两个流程：

1.模型选型实现阶段是参照涉及与规范，选取适当的开发框架、预训练模型等，对模型进行编码实现。

2.模型训练测试阶段中训练过程一般划分多个批次进行迭代优化和验证，直到满足性能要求或达到最优结果。测试过程通常依赖大量的现实/模拟数据对模型表现进行评估，还包括对抗测试来确保模型抗鲁棒性。

模型训练与生成阶段具体风险如表2所示（包括但不限于）：表2

风险	阶段	风险描述及危害
预训练模型后门	模型选型实现	采用的预训练模型可能引入后门，进行 Fine-Tune后后门可能继续存在，造成模型推理时触发错误预测
联邦学习恶意参与者投毒	模型训练测试	联邦学习恶意的参与者可能对数据投毒造成整个模型训练表现下降，或者植入后门
联邦学习恶意参与者模型隐私窃取	模型训练测试	联邦学习恶意的参与者可能利用共享的非加密梯度信息恢复相邻参与者的数据
开发框架&依赖库漏洞	模型选型实现	AI模型开发依赖的框架、组件可能存在漏洞，造成模型预测时执行恶意程序
不可靠第三方环境风险	模型训练测试	目前许多企业采用公有云训练环境，可能由于公有云安全问题，造成数据及模型泄露，或被植入后门

上市后产品部署应用阶段包括产品部署使用和模型更新两个流程：

1.产品部署使用阶段是将算法部署到相应的业务流程、系统环境中，根据输入计算推理结果。算法使用可能涉及到从物理世界向数字平面转换等数据采集、预处理过程，也涉及到与系统、软件、硬件及第三方环境的集成和数据联动。

2.算法更新可分为算法驱动型更新和数据驱动型更新。其中，算法驱动型更新是指人工智能医学软件所用算法、算法结构、算法流程、算法编程框架、输入输出数据类型等发生改变。此外，算法重新训练即弃用原有训练数据而采用全新训练数据进行算法训练，亦属于算法驱动型更新。数据驱动型更新是指仅由训练数据量增加而发生的算法更新。

产品部署应用阶段的具体风险如表3所示（举例如下）：

表3

风险点	阶段	风险描述及危害
数字对抗样本	模型部署应用	在数字形态的模型输入中添加定向的噪声，欺骗模型，做出错误的预测
物理对抗攻击	模型部署应用	将数字形态对抗样本在物理世界中实现，造成模型错误预测，也可以定向添加噪声
模型后门触发	模型部署应用	输入数据中具有特定的模式，促使模型给出指定的结果，与正常推理相违背
模型窃取	模型部署应用	模型参数被窃取，AI模型被逆向获取，造成企业核心竞争力AI资产损害
模型逆向	模型部署应用	构造特殊的输入及查询模型，通过输出结果来还原输入数据(可为训练集中样本)，从而造成数据隐私泄露
成员推理攻击	模型部署应用	利用模型输出置信度分布特征，判断某一样本数据是否在训练数据集中，造成训练集中数据隐私泄露
对抗资源消耗攻击	模型部署应用	利用对抗手段分析模型推理资源消耗，构造样本造成模型推理损耗提高，造成拒绝服务
输入预处理攻击	模型部署应用	攻击者对输入预处理方法（例如图片的预处理缩放算法）进行攻击，向其中定向插入扰动，使得输入发生顶下扰动，欺骗模型做出错误预测
反馈更新投毒	模型更新	很多模型引入了用户反馈对模型进行更新，攻击者利用投毒反馈数据来对模型进行“诱导”，为攻击谋利
AI硬件后门	模型部署应用	硬件环境中植入后门，在模型部署后使用该硬件执行时触发后门
模型部署文件篡改	模型部署应用	模型部署环境可能存在漏洞，导致模型文件被恶意篡改，植入后门或者窃取信息
AI模型侧信号窃取	模型部署应用	利用AI模型运行时CPU、内存等资源进行侧信道分析，能够实现对模型的关键信息窃取
软件&系统漏洞	模型部署应用	模型所属业务系统，与传统软件&系统安全面临的威胁相同，可能导致模型泄露或执行恶意程序
AI模型滥用	模型部署应用	AI模型服务被攻击者利用做恶意用途，可能造成危害

产品制造商按照产品特点对产品本身的风险进行分析，提供风险管理文档，基于风险分析。并在全生命周期中持续关注网络安全问题，包括但不限于设计开发、生产、分销、部署、更新维护、上市后监测等。重点关注数据采集、数据集构建、算法学习、云计算、远程控制和外部软件环境等网络安全风险点。基于保密性、完整性、可得性等网络安全特性，确定人工智能医学软件网络安全能力建设要求。

四. 网络安全能力

人工智能医学软件产品网络安全的保障，是用户、网络设施提供方与注册人共同参与的结果。注册人可以通过参考医疗器械网络安全相关标准和技术报告，识别人工智能医学软件产品的网络安全能力，进行网络安全风险控制。注册人在对这些网络安全能力进行配置以配合用户进行网络安全风险管理时，应综合考虑人工智能医学软件产品的预期用途与使用场景限制，对于网络安全威胁应必要的识别、保护能力和适当的探测、响应、恢复能力，通用能力详见《医疗器械网络安全审查指导原则》中22项网络安全能力，此外针对人工智能医学软件提出2项新增网络安全能力。开发商应该决策网络安全能力：

1.训练数据保护验证

产品确保在数据构建阶段有效保护训练数据的能力，如提供安全的存储环境、完备的安全配置、确保数据不被恶意修改等，并确保训练数据得到用户授权。

2.模型训练生成阶段依赖的环境和库的安全

确保有训练环境、开发框架、组件、依赖库安全性能的验证能力。

基于以上所述网络安全能力，申请人应逐项分析所申报人工智能医学软件对于该项网络安全能力的适用性，若适用明确网络安全能力的实现方式，可通过产品自身功能实现，亦可通过必备软件、外部软件环境等外部措施实现。反之说明不适用的理由。

五、网络安全技术考量

（一）软件全生命周期

1.数据采集

采集的数据应进行数据脱敏以保护患者隐私，数据脱敏应描述用于保护受试者隐私的技术手段，如数据去标识化、数据匿名化等。数据转移应明确转移方法，转移方法应保证数据的安全，如对数据进行加密压缩、通过硬盘拷贝等方法。

2.数据整理

需在封闭或受控的网络环境下开展以防止数据污染。

3.数据标注

应有防止数据污染的防护措施，特别是在开放网络环境下。如标注软件部署在云服务器，应提供云服务商的名称、住所和资质，明确云服务的服务模式、部署模式、确保云服务器的网络安全能力。

4.数据集构建

需在封闭或受控的网络环境下开展以防止数据污染，描述数据集存储方式与存储路径、安全控制、备份（方法、频次）、恢复方式，若数据集使用云服务存储，应提供云服务商的名称、住所和资质、访问路径、使用权限等。

5.算法训练

需在封闭或受控的网络环境下开展以防止数据污染，避免训练数据被污染。

6.算法性能评估

需在封闭或受控的网络环境下开展以防止数据污染。若基于第三方数据库开展算法性能评估，应保证第三方测评数据库的网络安全与数据安全。

7.软件验证

需在封闭或受控的网络环境下开展以防止数据污染，应描述网络能力的验证过程。

8.软件确认

软件确认如需要模拟实际情况在开放网络下进行，应有防止数据污染的防护措施，应描述网络能力的确认过程。

9.上市后使用

上市后产品在医疗机构内部环境下运行，需要考虑医疗机构关于网络安全与数据安全的接口要求。产品使用时应有用户访问控制措施、数据传输过程应有加密措施等来保证网络安全。

所有利益相关方在软件全生命周期中主动积极共享网络安全相关信息。注册申请人需充分利用网络安全漏洞披露机制加强人工智能医学软件网络安全的设计开发和上市后监测，如基于国家互联网应急中心（CNCERT/CC，www.cert.org.cn）的国家信息安全漏洞共享平台（CNVD，www.cnvd.org.cn），或其互认的国际信息安全漏洞库所披露的漏洞信息，定期开展网络安全风险管理工作。

注册申请人需基于相关标准和技术报告建立网络安全事件应急响应机制，保证人工智能医学软件的安全有效性并保护患者隐私。应制定网络安全事件应急响应预案，涵盖现成软件要求，明确计划与准备、探测与报告、评估与决策、应急响应实施、总结与改进等阶段的任务和要求。建立网络安全事件应急响应团队，根据工作职能形成管理、规划、监测、响应、实施、分析等工作小组，必要时可邀请外部网络安全专家成立专家小组。

根据网络安全事件的严重程度、紧迫程度、广泛程度等因素进行分类分级管理，结合产品风险级别，按照风险管理要求开展应急响应措施的验证工作并予以记录，在事件发生期间及时告知用户应对措施。若适用，按照医疗器械不良事件、召回相关法规要求处理；必要时，向国家网络安全主管部门报告。

（二）其他考量

1.软件运行环境

应满足软件运行需要，包括CPU、GPU、RAM、ROM、网络、操作系统、数据库等要求。

2. 网络通信要求

2.1网络架构

应保证网络架构的处理能力和带宽满足业务高峰的需要，软件的部署位置需要有边界防护措施，且通信线路、网络设备做好硬件冗余，保证软件的可用性。

2.2通信传输

应采用校验码技术或密码技术保证通信过程中数据的完整性和敏感信息的保密性。

2.3访问控制

不允许非授权设备或程序联到人工智能医学软件所在设备，不允许人工智能医学软件非授权用户访问并使用软件。跨网访问人工智能医学软件需要设置访问控制策略，对源地址、目的地址、源端口、目的端口和协议等进行检查，以允许/拒绝访问。在信息交互过程中应具备内容过滤能力，实现对内容的访问控制。

3.主机安全要求

3.1访问控制

应对登录主机的用户进行身份标识和鉴别，身份标识具有唯一性和不可抵赖性，对用户进行角色设置，授予所需的最小权限，制定登录处理策略，包括限制失败次数、连接超时、访问终端等。定期梳理用户帐号，及时删除或停用多余的、过期的和弱口令帐号。

3.2入侵防范

应遵循最小安装的原则，仅安装需要的组件和应用程序，关闭不需要的系统服务、默认共享和高危端口，定期对人工智能医学软件及涉及到的主机、操作系统、中间件进行漏洞扫描、安全检测和恶意代码检测，并及时进行修补。建议医疗机构对主机进行实时安全监控，能够识别违规操作或攻击行为，并及时告警。

4.软件和数据安全要求

4.1身份鉴别

应对人工智能医学软件的用户进行身份标识和鉴别，且具有唯一性和不可抵赖性，限制登录失败次数和连接时长，并对口令进行强制要求，规避弱口令情况。用户帐号信息丢失或遗忘时，应采用技术措施确保重置过程的安全，并对其进行二次验证，验证手段至少使用动态口令、手机验证码、密码技术、生物特征技术中的一种实现。

4.2访问控制

人工智能医学软件应具备访问控制功能，对用户能够分配角色和权限，权限需要达到功能级。定期开展帐号梳理工作，及时删除或停用多余的、过期的帐号。

4.3数据安全

应采用密码技术保证重要数据在传输和存储过程中的安全性，避免未授权用户访问数据。密码技术的使用应遵循国家相关要求和规定。建立数据备份和恢复机制，定期开展演练，保证软件业务的连续性。

5.软件运行对云安全的基本要求

云服务商的名称、住所和资质，明确云服务的服务模式、部署模式、确保云服务器的网络安全能力。

六、人工智能医学软件网络安全更新

1.网络安全更新

人工智能医学软件网络安全更新从内容上可分为功能更新、补丁更新，类似于增强类软件更新、纠正类软件更新。根据其对人工智能医学软件安全性和有效性的影响程度分为以下两类：

（1）重大网络安全更新：影响到人工智能医学软件的安全性或有效性的网络安全更新，即重大网络安全功能更新，应申请变更注册。

（2）轻微网络安全更新：不影响人工智能医学软件的安全性与有效性的网络安全更新，包括轻微网络安全功能更新、网络安全补丁更新。轻微网络安全更新通过质量管理体系进行控制，无需申请变更注册，待下次变更注册时提交相应注册申报资料。

此外，涉及召回的网络安全更新，无论功能更新还是补丁更新均属于重大网络安全更新，按照医疗器械召回相关法规要求处理。

网络安全更新同样遵循风险从高原则，即同时发生重大和轻微网络安全更新按重大网络安全更新处理。同时，软件版本命名规则应涵盖网络安全更新情况，区分重大和轻微网络安全更新。

2.重大网络安全更新判定原则

网络安全功能更新若影响到人工智能医学软件的预期用途、使用场景或核心功能原则上均属于重大网络安全更新，包括但不限于：产品预期运行的网络环境发生改变，如由封闭网络环境变为开放网络环境、局域网变为广域网；产品网络安全能力发生实质性改变，如自动注销能力由操作系统自带功能实现改为产品自身功能实现、物理防护能力由有变无等。

除非影响到人工智能医学软件的安全性或有效性，以下网络安全功能更新和网络安全补丁更新通常视为轻微网络安全更新：产品预期运行的网络环境数据传输效率单纯提高，产品网络安全能力发生非实质性改变；外部软件环境的网络安全补丁更新。

七、注册申报相关要求

申请人根据《人工智能医疗器械注册审查指导原则》、《医疗器械网络安全技术审查指导原则》、《医疗器械软件技术审查指导原则》、《移动医疗器械技术审查指导原则》等相关指导原则要求，提交相应注册申报资料。

申请人应依据《医疗器械网络安全注册技术审查指导原则》提交网络安全描述文档。其中，基本信息应围绕数据类型进行描述；风险管理、验证与确认应基于24项网络安全能力进行分析和实施，不适用项详述理由；可追溯性分析报告应追溯网络安全需求、设计、测试、风险管理的相互关系；维护计划应包含网络安全日常维护计划、网络安全事件应急响应预案。

若使用云计算服务、移动计算终端，生产企业应依据《移动医疗器械注册技术审查指导原则》提交相应研究资料。其中，使用云计算服务应明确服务模式、部署模式、核心功能、数据接口、网络安全能力、服务（质量）协议等要求；使用移动计算终端应结合终端的类型、特点、使用风险明确相应性能指标要求。

八、编写单位

广东省药品监督管理局审评认证中心、华为终端有限公司、腾讯医疗健康（深圳）有限公司、深圳迈瑞生物医疗电子股份有限公司

九、参考文献

[1]医疗器械监督管理条例[Z].

[2]医疗器械注册与备案管理办法[Z].

[3]医疗器械软件注册技术审查指导原则（2022年修订版）[Z].

[4]医疗器械网络安全注册技术审查指导原则[Z].

[5]人工智能医疗器械注册审查指导原则[Z]

[6] YY/T 0316,医疗器械风险管理对医疗器械的应用[S].

[7] YY/T 1833.1,人工智能医疗器械质量要求和评价第1部分：术语[S].

[8] YY/T 1833.2,人工智能医疗器械质量要求和评价第2部分：数据集通用要求[S].

[9] YY/T 1833.3,人工智能医疗器械质量要求和评价第3部分：数据标注通用要求[S].

[10] YY/T 1843-2022 医用电气设备网络安全基本要求[S]

[11] N. Papernot A Marauder’s Map of Security and Privacy in Machine Learning: https://arxiv.org/pdf/1811.01134.pdf

[12] A Taxonomy and Terminology of 3 Adversarial Machine Learning." Draft NISTIR 8269

返回列表