七个月前，由国家药品监督管理局医疗器械技术审评中心牵头主导的“人工智能类医疗器械注册申报公益培训”在北京举行，该培训披露了医疗AI领域三类器械审批要点，界定了适用范围，讲解了医疗AI产品在审批过程中所面临数据库、数据安全、软件更新、云计算服务等问题。
近日，《深度学习辅助决策医疗器械软件审批要点》正式发布，对于此前培训披露的要点进行了更为具体详细的文件化。
适用范围也包括非辅助决策软件
《要点》明确，本审评要点适用于深度学习辅助决策医疗器械软件（含独立软件、软件组件）的注册申报。深度学习辅助决策医疗器械软件（以下简称软件）即基于医疗器械数据（医疗器械所生成的医学图像、医学数据，以下统称数据），使用深度学习技术进行辅助决策的软件。其中，“基于医疗器械数据”是指单独使用医疗器械数据，或者联合使用医疗器械数据与非医疗器械数据；“辅助决策”是指通过提供诊疗活动建议辅助医务人员进行临床决策。
对于非辅助决策软件，譬如非辅助决策软件深度学习技术进行前处理、流程优化、常规后处理等，《要点》表示也可参考使用本审评要点。
不过，对于人工智能伦理、数据产权等法律法规层面要求，《要点》明确不包含。
审评关注哪些重点
《要点》中提到，本审评要点重点关注软件的数据质量控制、算法泛化能力、临床使用风险，临床使用风险应当考虑数据质量控制、算法泛化能力的直接影响，以及算力所用计算资源（即运行环境）失效的间接影响。
基于风险的全生命周期管理是此类软件监管的基本方法，软件风险管理活动应当基于软件的预期用途（目标疾病、临床用途、重要程度、紧迫程度）、使用场景（适用人群、目标用户、使用场所、临床流程）、核心功能（处理对象、数据兼容性、功能类型）予以实施，并贯穿于软件全生命周期过程。
软件临床使用风险主要包括假阴性和假阳性，其中假阴性即漏诊，可能导致后续诊疗活动延误，特别是要考虑快速进展疾病的诊疗活动延误风险；假阳性即误诊，可能导致后续不必要的诊疗活动。
进口软件除考虑假阳性和假阴性风险外，还应当考虑中外人种、流行病学特征、临床诊疗规范等方面差异的影响及其风险。生产企业应当采取充分的、适宜的、有效的风险控制措施以保证软件的安全性和有效性。
对于数据采集有着严格的质控要求
《要点》明确数据收集应当考虑数据采集、数据预处理、数据标注、数据集构建等活动的质控要求，以保证数据质量和算法设计质量，且采集主要由临床机构实施，应当考虑采集设备、采集过程以及数据脱敏的质控要求。
脱敏数据由临床机构转移至生产企业形成原始数据库，不同模态的数据在原始数据库中应当加以区分。
数据标注应当考虑标注资源管理、标注过程质控、标注质量评估等要求。数据经标注后形成标注数据库，其样本类型可分为数据序列、单一数据（由多个数据块组成）、数据块（图像区域、数据片段）。
算法如何设计
《要点》提出，算法设计应当考虑算法选择、算法训练、网络安全防护、算法性能评估等活动的质控要求。建议数据驱动与知识驱动相结合进行算法设计，以提升算法可解释性。
在算法选择上应当明确所用算法的名称、结构（如层数、参数规模）、流程图、现成框架（如Tensorflow、Caffe）、输入与输出、运行环境、算法来源依据（或注明原创）等信息。同时应当明确算法选择与设计的原则、方法和风险考量，如量化误差、梯度消失、过拟合、白盒化等。
在算法训练上需要基于训练集、调优集进行训练和调优，应当明确评估指标、训练方法、训练目标、调优方法、训练数据量-评估指标曲线等要求。
以临床评价为主的软件确认方式
软件如何验证，《要点》提出，根据软件指导原则要求，软件应当提交基于临床试验的临床评价资料，即提交申报产品的临床试验资料，或者与申报产品核心算法具有实质等同性的同品种产品或同类软件功能的临床试验资料。
进口软件应当提供中外人种、流行病学特征、临床诊疗规范等方面差异影响的临床评价资料，若不足以证实申报产品在中国使用的安全性和有效性，应当在中国开展临床试验。使用境外临床试验数据应当满足《接受医疗器械境外临床试验数据技术指导原则》要求。
而临床试验应当符合《医疗器械临床试验质量管理规范》要求，建议优先选择同品种产品或临床参考标准（即临床金标准）进行非劣效对照设计；建议临床试验结果由第三方独立评价；临床评价可采用基于现有历史数据的回顾性研究。
临床试验有什么要求
对于临床试验，《要点》强调，临床试验应当符合《医疗器械临床试验质量管理规范》要求。可参照《医疗器械临床试验设计指导原则》，基于软件的预期用途、使用场景和核心功能进行试验设计，确定观察指标、样本量估计、入排标准、随访以及实施机构等要求，以确认软件的安全性和有效性。
建议优先选择同品种产品或临床参考标准（即临床金标准）进行非劣效对照设计，若无同品种产品且难以获取临床参考标准（如违背伦理学要求）可选择替代方法，如选择用户结合软件联合决策与用户单独决策进行优效对照设计。非劣效界值或优效界值的确定应当有充分的临床依据。此外考虑到用户的差异性，可选择多阅片者多病例（MRMC）试验设计。
建议结合适用人群、病变等层面选择观察指标，原则上选择敏感性、特异性、ROC/AUC作为主要观察指标，亦可在此基础上根据软件特点选择敏感性/特异性衍生指标、ROC/AUC衍生指标、组内相关系数、Kappa系数、时间效率、数据有效使用率等指标作为观察指标。
建议临床试验结果由第三方独立评价。
产品如何命名
《要点》提出，辅助决策独立软件产品名称应当符合独立软件通用名称命名规范要求，体现处理对象（如CT图像、眼底照片）、目标疾病（含病变、疾病属性）、临床用途（如辅助筛查、辅助识别）等特征词。
软件组件相应辅助决策软件功能名称可参照辅助决策独立软件要求。
（来源：医药谷）
