资讯

【国家】《病理图像人工智能分析软件性能评价审评要点》概述

2023.11.10
国家药品监督管理局医疗器械技术审评中心

(中国器审 2023-11-09)

  病理图像人工智能分析软件是指基于数字病理图像,采用深度学习等人工智能技术实现对病理图像的分割、检测等功能的独立软件,按照第三类医疗器械管理。数字病理图像包括经数据成像设备获得的显微镜下细胞或组织图像、全玻片数字扫描技术(WSI)的病理图像等。产品在医疗机构和/或医学实验室使用,可辅助病理医师为疾病的诊断、预后、治疗等提供信息,不能作为临床诊断决策的唯一依据。

  《病理图像人工智能分析软件性能评价审评要点》旨在指导注册申请人对病理图像人工智能分析软件注册申报资料中非临床评价部分的准备及撰写,同时也为技术审评部门提供参考,重点关注软件研究资料相关要求,包括需求规范、算法研究资料等。

  需求规范考虑数据采集、算法性能、使用限制等要求。数据采集需考虑数据来源的合规性、充分性和多样性,数据分布的科学性和合理性,数据质控的充分性、有效性和准确性,数据需来源于不同地域、不少于3家机构;机构需采用说明书所述切片制作流程、组织染色和免疫组织化学技术制备切片。算法性能需结合产品预期用途,综合考虑分析速度、敏感性、特异性、重复性与再现性、泛化性等性能指标的适用性及其要求,同时还需考虑因梯度消失、梯度爆炸、过拟合和欠拟合等影响算法性能的因素。使用限制需考虑产品禁用、慎用等场景,准确表述产品使用场景,提供必要警示提示信息。

  算法研究资料需提交每个人工智能算法或算法组合的算法研究报告,包括算法基本信息、算法风险管理、算法需求规范、数据收集、算法训练、算法性能评估、算法可追溯性分析等。

  此类软件的安全性级别为严重级别。数据收集需提供数据来源合规性声明,列明数据来源机构的名称、所在地域、数据收集量、伦理批件编号等信息。数据采集需提供数据采集操作规范文档,包括数据采集方案和数据采集标准操作规程;数据采集主要由临床机构实施,采集过程应对样本数据进行编号并加密,方案中应包含编号规则。

  数据整理需明确数据清洗/预处理程序,对数据处理中应用的软件进行简述,提交数据处理中各软件的研究资料。数据标注需明确标注人员和仲裁人员的资质要求和培训内容,标注人员和仲裁人员应为病理医师,数据应经过不少于两人标注;标注质量评估可抽选一定比例数据进行非标注人员的评估。数据集构建需明确各数据集划分的方法及依据,训练集、调优集、测试集的样本应两两无交集并通过查重予以验证。

  算法训练需依据适用人群、数据来源机构、采集设备、样本类型等因素,提供训练集、调优集(若有)关于疾病构成的数据分布情况;基于训练集、调优集进行训练和调优,明确算法训练所用的评估指标、训练方式、训练目标、调优方法。算法性能评估需基于测试集,对算法设计进行评估,确认软件算法性能的效率、敏感性、特异性,性能应满足算法设计要求。