病理图像人工智能研究软件性能评价审评要点
本要点旨在指导医疗器械注册申请人对病理图像人工智能研究软件注册申报资料中非临床评价部分的准备及撰写，同时也为技术审评部门提供参考。
本要点是对病理图像人工智能研究软件申报资料的一般要求，申请人需依据产品的具体特性确定其中内容是否适用。若不适用，需具体阐述理由及相应的科学依据，并依据产品的具体特性对医疗器械注册申报资料的内容开展充实与细化。
本要点是供注册申请人与技术审评人员使用的指导性文件，但不包括审评审批所涉及的行政事项，亦不作为法规强制执行，需在遵循相关法规的前提下使用本指导原则。要是有能够满足相关法规要求的其他方法，也可以按照基于，然而需要提供详细的研究资料与验证资料。
本要点是在现行法规与标准体系以及当前认知水平下制定的，随着法规与标准的不断改进，以及科学技术的不断发展，本要点的相关内容也将开展适时的调整。
一、适用范围
病理图像人工智能研究软件即基于数字病理图像，按照基于深度学习等人工智能技术实现对病理图像的分割、检测等功能的医疗器械。数字病理图像包括经数据成像设备获得的显微镜下细胞或组织图像、全玻片数字扫描技术（Whole Slide Imaging, WSI）的病理图像等。产品在医疗机构与/或医学实验室使用，可辅助病理医师为疾病的诊断、预后、治疗等提供信息，不能作为临床诊断决策的唯一依据。
按照《人工智能医用软件产品分类界定指导原则》，本文所述软件用于辅助决策，可为病理医生提供病灶特征识别、病变性质等信息，按第三类医疗器械管理。
分类编码：21-04-02。
产品名称：建议依据软件医疗用途开展产品名称命名，体现处理对象与临床用途，如宫颈细胞学数字病理图像计算机辅助研究软件、免疫组化病理图像计算机辅助诊断软件。申请人可结合申报产品的特征，按照《医用软件通用名称命名指导原则》，参考《医疗器械分类目录》中的品名举例确定命名。
若作为软件组件集成于其他医疗器械（如病理切片扫描仪、医学显微图像扫描研究产品）中，可以参考本要点的要求。
本要点基于《人工智能医疗器械注册审查指导原则》的基本框架要求，其中关于人工智能医疗器械的的术语定义、相关要求参照上述指导原则。
二、产品简介
产品的工作原理：产品为独立软件，按照基于深度学习技术对数字病理图像开展前处理（如图像质量改善）与常规后处理（如图像分割、细胞/组织定位、细胞分类等），实现对数字病理图像中疑似异常细胞的计数与定位识别功能或异常组织区域的定位与标记功能；通过算法对细胞/组织图像块的分类结果开展研究，实现对病理图像的辅助诊断功能。
主要结构及组成：结构组成弄清楚交付内容与功能模块，其中交付内容包括软件布置程序、授权文件、外部软件环境布置程序等软件程序文件，功能模块包括客户端、服务器端（若适用）等，若适用注明选装、模块版本。
服务器端：负责接收并处理请求，对请求开展数据处理，调用人工智能算法（此处应体现根本算法名称，如AlexNet，ResNet，MobileNet，EfficientNet，ResNeXt等）对图像数据开展处理并输出研究结果。把用户请求的数据结果返回客户端。
客户端：将服务器端研究结果体现出到用户界面。用户可在用户界面开展辅助诊断/阅片、任务管理、报告管理、检索查询、用户管理、查看日志等功能操作。
三、基本要求
（一）综述资料
详细描述该产品的图像前处理与后处理功能及功能实现方法，描述配套使用图像采集设备、切片制作流程（包括配套试剂、设备）与图像质量的要求，简述软件按照基于的主要算法。
简述软件研发背景，包括对可辅助诊断疾病的介绍，目前相关疾病临床诊断参考标准、病理诊断类型或细胞异常类型等依据。申报产品的病理阅片标准与病理分型依据应与临床标准一致。
（二）非临床资料
1.产品技术要求及检验报告
产品技术要求可参考《医疗器械软件注册审查指导原则》（2022年修订版）附录中的模板开展编写，此外性能指标还应包括“临床功能”，如图像处理、图像研究、细胞/组织识别、病理图像诊断提示等内容。
2.软件研究资料
按照《医疗器械软件注册审查指导原则》（2022年修订版）、《医疗器械网络安全注册审查指导原则》（2022年修订版）、《人工智能医疗器械注册审查指导原则》的要求，提交研究资料。弄清楚软件发布版本号。提交的研究资料主要包括软件研究资料、算法研究资料、网络安全研究资料。研究资料内容应涵盖申报产品适用范围中描述的全部内容。
2.1风险管理
参考YY/T 0316、YY/T 1406.1与YY/T 0664、GB/T 42062开展产品的风险管理活动。风险管理活动应当基于软件的预期用途、使用场景、根本功能予以实施，并贯穿软件全生命周期过程。此类产品临床使用中的风险主要包括图像研究过程中的识别、标记错误，非病理医师使用与样本采集错误等，造成的假阴性与假阳性错误。算法风险主要包括过拟合与欠拟合，数据扩增与数据偏移等。
2.2需求规范
提供软件需求规范文档，弄清楚软件的功能、性能、接口、用户界面、运行环境、网络安全、数据采集等需求，另附软件开发所形成的原始文档。
数据采集需考虑数据来源的合规性、充分性与多样性，数据分布的科学性与可靠性，数据质控的充分性、有效性与准确性。数据应来源于不同地域的不少于3家机构。机构应按照基于软件说明书弄清楚的切片制作流程、组织染色与免疫组织化学技术制备的切片（包括指定的样本来源，即指定的切片制备流程与/或样本保存液、抗体试剂、染色液等）与配套的图像采集设备获得的符合要求的数字病理图片。数据分布的科学性与可靠性，应考虑包括但不限于疾病构成（如分型、分级、分期）、人群分布（如高危人群、患者，性别、年龄）等情况。
算法性能需结合产品预期用途，综合考虑研究速度、敏感性、特异性、重复性与再现性、泛化性等性能指标的适用性及其要求。同时还需考虑因梯度消失、梯度爆炸、过拟合与欠拟合等影响算法性能的因素。
使用限制需考虑产品禁用、慎用等场景，准确表述产品使用场景，提供必要警示提示信息。
2.3软件性能研究
提供产品性能研究资料以及产品技术要求的研究与编制说明，给出软件相关的功能性、安全性指标的确定依据。注册申请人需在软件研究资料中提交GB/T 25000.51自测报告，亦可提交自检报告或检验报告代替自测报告。产品技术要求中各指标依据产品自身特点确定。
2.4算法研究资料
按照《人工智能医疗器械注册审查指导原则》提交算法研究资料。提交每个人工智能算法或算法组合的算法研究报告。
2.4.1算法基本信息
弄清楚算法的名称、类型、结构、输入输出、流程图、算法框架、运行环境等基本信息以及算法选用依据。
其中，算法类型从学习策略、学习方法（基于模型的算法与基于数据的算法）、可解释性（白盒算法与黑盒算法）等角度弄清楚算法特性。算法结构部分应弄清楚算法的层数、参数规模等超参数信息。流程图应包括输入图像示例、学习方法示意图与输出图像示例。算法框架应弄清楚所用人工智能算法框架的基本信息，包括名称、类型（自研算法框架、现成算法框架）、型号规格、完整版本、制造商等信息。若基于云计算平台，应弄清楚云计算的名称、服务模式、部署模式、配置以及云服务商的名称、住所、服务资质。运行环境应弄清楚算法正常运行所需的典型运行环境，包括硬件配置、外部软件环境、网络条件；若使用人工智能芯片应弄清楚其名称、型号规格、制造商、性能指标等信息。算法选用依据详述算法或算法组合选用的理由与基本原则。
2.4.2算法风险管理
结合预期用途、使用场景、根本功能、算法成熟度、网络安全等因素，此类产品的软件安全性级别为严重级别。提供算法风险管理资料，若无单独文档可提供软件风险管理资料，并注明算法风险管理所在位置。
2.4.3算法需求规范
提供算法需求规范文档，若无单独文档可提供软件需求规范，并注明算法需求所在位置。
2.4.4数据收集
2.4.4.1提供数据来源合规性声明，列明数据来源机构的名称、所在地域、数据收集量、伦理批件（或科研合作协议）编号等信息。
2.4.4.2数据采集
建议参考2.2需求规范的要求，提供数据采集操作规范文档，包括数据采集方案与数据采集标准操作规程。
数据采集主要由临床机构实施，应弄清楚病理切片或细胞涂片的制作流程、图像采集方式（如眀场扫描）与采集参数要求（包括扫描倍率、扫描层数、焦点数量要求、聚焦方式、采样阈值等）、采集设备要求（应包括扫描仪的型号、分辨率、图像尺寸等）、病理切片或细胞涂片要求、样本的来源与分布、样本质量要求（包括切片或涂片的保存时限、玻片完整性等）、图像质量要求（应包括图象区域、清晰度等要求）、采集过程、数据脱敏、数据转移等要求。采集过程应对样本数据开展编号并加密，方案中应包括编号规则。
2.4.4.3数据整理
弄清楚数据清洗/预处理程序，对数据处理中应用的软件开展简述，并以附件的形式提交数据处理中各软件的软件研究资料。
2.4.4.4数据标注
弄清楚标注人员与仲裁人员的资质要求与培训内容，标注人员与仲裁人员应为病理医师，数据应经过不少于2人标注。简述标记系统信息，配合病理图像与标注系统界面截图，介绍标注过程、标注对象与标注标准（注意与病理诊断标准的一致性）等。弄清楚标注过程质控、标注质量评估、数据安全保证等要求。标注质量评估可抽选一定比例数据开展非标注人员的评估。
提供原始数据库、基础数据库、标注数据库、扩增数据库（如有），关于疾病构成的数据分布情况，包括适用人群、数据来源机构、采集设备、样本类型等因素。
若数据来自公开数据库，提供公开数据库的基本信息（如名称、创建者、数据总量等）与使用情况（如数据使用量、数据质量评估、数据分布等）。
2.4.4.5数据集构建
弄清楚各数据集划分的方法及依据。训练集应当保证样本分布具有均衡性，训练样本应涵盖不同病理类型。调优集应保证样本分布符合临床实际情况，如阳性比例，不同病理类型比例、不同临床分型比例等均应符合临床实际情况。训练集、调优集、测试集的样本应两两无交集并通过查重予以验证。
开展数据扩增验证时，应当弄清楚扩增的方式、方法、倍数，并考虑数据扩增对软件的影响及风险。列表比较扩增数据库与标注数据库的差异，论证扩增数据库样本量的充分性以及分布的可靠性。
2.4.5算法训练
依据适用人群、数据来源机构、采集设备、样本类型等因素，提供训练集、调优集（若有）关于疾病构成的数据分布情况。
算法训练基于训练集、调优集开展训练与调优，应弄清楚算法训练所用的评估指标、训练方式、训练目标、调优方法，提供ROC曲线或混淆矩阵等证据（如：迭代次数-训练CountIOU曲线与迭代册数-召回率曲线）证明训练目标满足医疗要求，提供训练数据量-评估指标曲线（如迭代次数-Loss曲线）等证据以结论显示算法训练的充分性与有效性。
2.4.6算法性能评估
基于测试集对算法设计开展评估，确认软件算法性能的效率、敏感性、特异性，性能应满足算法设计要求。
算法性能评估应包括软件对样本满意度评价的能力测试、泛化能力的测试、压力测试（指按照基于罕见或特殊的真实数据样本开展的算法性能测试）、对抗测试、重复性与再现性测试、敏感性与特异性测试、研究效率测试、算法性能影响因素研究、性能评估结果比较研究、偏差报告等研究。
通过样本量估算确定测试集中阴、阳性样本与压力样本的样本量，提供测试集关于疾病构成（包括年龄与病理类型、异常细胞类型等）、数据来源的数据分布情况。弄清楚对抗样本的选择原则；弄清楚性能评估的可接受标准与标准制定依据。提交测试报告与细胞/组织形态图示例。
若使用第三方数据库开展算法性能评估，提供第三方数据库的基本信息（如名称、创建者、数据总量等）与使用情况（如测试数据样本量、评估指标、评估结果等）。提交第三方数据库数据样本来源与本计算机辅助研究软件产品的产品技术要求、说明书中指定的制片流程与图像采集设备的一致性的评价（包括指定的样本来源，即指定的切片制备流程与/或样本保存液、抗体试剂、染色液等）与配套的图像采集设备获得的符合要求的数字病理图片。
按照研究结论，确定软件使用限制并在说明书中开展描述。
2.4.7算法可追溯性研究
提供算法可追溯性研究报告，即追溯算法需求、算法设计、源代码（弄清楚软件单元名称即可）、算法测试、算法风险管理的关系表。
（三）产品说明书与标签样稿
弄清楚该产品适用范围，弄清楚产品适用的显微镜与图像采集设备的名称与型号，弄清楚图像参数及质量。弄清楚病理切片或细胞涂片的制备流程及试剂厂家信息。弄清楚软件报告内容。对产品带来的假阳/假阴性风险开展提示。
按照算法影响因素研究报告，在说明书弄清楚产品使用限制与必要的警示提示信息。列明算法训练总结与算法性能评估总结以及临床评价总结。
1055
