血液病流式细胞学人工智能研究软件性能评价审评要点
本要点旨在指导医疗器械注册申请人对血液病流式细胞学人工智能研究软件注册申报资料中非临床评价部分的准备及撰写，同时也为技术审评部门提供参考。
本要点是对血液病流式细胞学人工智能研究软件申报资料的一般要求，申请人需依据产品的具体特性确定其中内容是否适用。若不适用，需具体阐述理由及相应的科学依据，并依据产品的具体特性对注册申报资料的内容开展充实与细化。
本要点是供注册申请人与技术审评人员使用的指导性文件，但不包括审评审批所涉及的行政事项，亦不作为法规强制执行，需在遵循相关法规的前提下使用本指导原则。要是有能够满足相关法规要求的其他方法，也可以按照基于，然而需要提供详细的研究资料与验证资料。
本要点是在现行法规与标准体系以及当前认知水平下制定的，随着法规与标准的不断改进，以及科学技术的不断发展，本要点的相关内容也将开展适时的调整。
一、适用范围
血液病流式细胞学研究，与细胞形态学、细胞遗传学、分子遗传学等一起，用于血液病的辅助诊断、鉴别诊断、预后判断、治疗监测、免疫监测、造血干细胞移植相关检测等。样本类型可为血液或骨髓、淋逢迎、脑脊液、及其他适用样本类型。
血液病流式细胞学人工智能研究软件，指通过人工智能算法帮助医生研究多参数流式细胞学技术/流式细胞仪产生的结构化数据，如数据文件或图形文件等开展血液病辅助体外诊断的软件，通常用于定性或定量研究，可以是软件组件或独立软件。通过对结构化数据的人工智能算法研究，用途包括：（一）基础研究：通过单一的人工智能算法辅助流式细胞学数据的可视化，从而辅助流式诊断人员开展自动设门与研究。（二）高阶研究：通过多个人工智能算法组合使用（如集成学习算法与卷积神经网络算法组合使用），实现自动设门辅助血液疾病诊断（良/恶性、白血病亚型分类、淋巴瘤分型等）、化疗后的微小残留病监测等。
产品在医疗机构、医学实验室使用，其结果供执业医师参考。软件作为血液病流式细胞学辅助诊断工具，其提示的诊断结果不能作为临床诊断决策的唯一依据。
产品管理类别：
独立软件分类编码：21-04-02（计算机辅助诊断/研究软件）
软件组件分类编码：22-01-08（流式细胞研究仪器）
应注意本要点主要适用于辅助决策类的人工智能医疗器械，按照第三类管理，其他类别的产品可按照其适用性参照执行。关于人工智能医用软件分类的判定，可参照《人工智能医用软件产品分类界定指导原则》。
产品名称：建议依据医用软件通用名称要求，按“特征词1（如有）+特征词2（如有）+特征词3（如有）+根本词”结构编制。具体到该类产品，建议体现处理对象与临床用途，如血液病（具体病种）+流式细胞学辅助研究/检测软件，可参考《医疗器械分类目录》、《医用软件通用名称命名指导原则》中的品名举例或已批准的同类产品开展命名。如为软件组件，则产品名称体现医疗器械名称，如“多参数流式细胞仪”，但在适用范围体现人工智能算法类型，在产品说明书体现使用限制等相关内容。
本要点基于《人工智能医疗器械注册审查指导原则》的基本框架要求，其中关于人工智能医疗器械的的术语定义、相关要求参照上述指导原则。
二、产品简介
该类软件的研究对象基于流式细胞仪产生的标准化的结构化数据文件或图形文件等。
产品的工作原理：产品为独立软件或软件组件，按照基于人工智能算法对流式细胞仪数据开展处理（如：数据特征提取、数据通过函数图形化以及自动设门、决策研究等），实现对流式细胞仪数据、对细胞分类及定量结果开展研究，达到辅助诊断的功能。
主要结构及组成：结构组成弄清楚交付内容与功能模块，其中交付内容包括软件布置程序、授权文件、外部软件环境布置程序等软件程序文件，功能模块包括客户端、服务器端（若适用）等，若适用注明选装、模块版本。
服务器端：负责接收并处理请求，对请求开展数据处理，调用人工智能算法（如PCA、t-SNE、SVM等）对数据开展处理并输出研究结果。把用户请求的数据结果返回给浏览器。
客户端：将服务器端研究结果体现出到用户界面。用户 可在用户界面端开展自动设门、细胞分群、辅助分类、辅助诊断、报告管理、检索查询、用户管理、查看日志等功能操作。
预期使用环境：申报产品主要使用环境为医疗机构、医学实验室。
三、基本要求
在满足相关法规、规章、指导原则、标准的前提下，还应重点关注下列内容：
（一）综述资料
详细描述该产品的算法名称，选择该算法的依据与权威文献，数据处理的在流式细胞研究流程中的节点及辅助决策功能及功能实现方法，描述配套使用流式细胞仪器设备（厂家、型号、注册证号及主要参数设置：包括激光数、通道设置等）及仪器质量控制参数（仪器校准、电压补偿等）、配套使用的流式细胞检测试剂（名称、厂家、注册证号等），描述数据产生的样本类型。
人工智能医疗器械从成熟度角度可分为成熟与全新可归结成两种类型，其中成熟即安全有效性已在医疗实践中得到充分结论显示的情形，全新即未上市或安全有效性尚未在医疗实践中得到充分结论显示的情形。人工智能医疗器械的算法、功能、用途若有一项为全新则属于全新类型，反之属于成熟类型。
在资料中应当说明按照基于算法的成熟程度，按照基于全新算法的，应当在综述资料中详细说明。
阐述软件研发背景，包括对辅助决策功能的介绍，目前该血液病临床诊断参考标准、诊疗指南与分型依据。申报产品数据处理标准与分型依据应与临床标准一致。
（二）非临床资料
1.产品技术要求及检验报告
性能指标应包括“所研究的数据类型”、“研究速度”、“临床功能”等，如数据处理、数据研究、诊断提示等。
其他要求请参照《医疗器械软件注册审查指导原则（2022年修订版）》。
2.软件研究资料
按照《医疗器械软件注册审查指导原则（2022年修订版）》、《医疗器械网络安全注册审查指导原则（2022年修订版）》、《人工智能医疗器械注册审查指导原则》的要求，提交研究资料。弄清楚发布版本号。提交的研究资料主要包括软件研究资料、算法研究资料、网络安全研究资料。研究资料内容应涵盖申报产品适用范围中描述的全部内容。
2.1风险管理
软件安全性级别越高，其生存周期质控要求越严格，注册申报资料越详尽，同时因为全新类型的潜在未知风险多于成熟类型，故需结合成熟度予以综合考虑。
人工智能医疗器械的软件安全性级别可基于产品的预期用途、使用场景、根本功能开展综合判定，其中预期用途主要考虑用途类型、重要程度、紧迫程度等因素，使用场景主要考虑使用场合、疾病特征、适用人群、目标用户等因素，根本功能主要考虑功能类型、根本算法、输入输出、接口等因素。
参考YY/T 0316、GB/T 42062与YY/T 0664等标准开展风险管理。风险管理活动应当基于软件的预期用途、使用场景、根本功能予以实施，并贯穿软件全生命周期过程。申请人重点考虑如下风险因素：此类产品算法风险包括算法选择风险、算法训练及验证的风险等，主要包括算法选择依据不充分，算法训练使用的数据质量不高，数据代表性不足或数据量不够，因为样本前处理、流式细胞仪光路信号校准与质控，流式细胞研究过程或流式荧光试剂标记出现错误等原因产生，造成过拟合与欠拟合结果的泛化能力不足，数据扩增（如适用）与数据偏移等造成的假阴性与假阳性错误等；使用中的风险主要包括未经培训的人员使用，以及样本采集、处理、仪器校准等错误，造成的假阴性与假阳性错误。其中假阴性即漏诊，可能结果后续诊疗活动延误，尤其是要考虑快速进展疾病的诊疗活动延误风险，而假阳性即误诊，可能结果后续不必要的诊疗活动。
以算法特性为根本重点关注其泛化能力，以模型/数据为基础重点关注其质控情况，同时从风险管理角度兼顾算力不足与失效的影响。
注册申请人应结合人工智能医疗器械的预期用途、使用场景、根本功能开展风险管理活动，采取风险控制措施将风险降至可接受水平，并贯穿于人工智能医疗器械全生命周期过程。
此外，进口人工智能医疗器械还需考虑中外差异风险，如人种、流行病学特征、临床诊疗规范等差异。
2.2需求规范
提供软件需求规范文档，弄清楚软件的功能、性能、接口、用户界面、运行环境、网络安全、数据采集等需求。
数据采集需考虑数据来源的合规性、充分性与多样性，数据分布的科学性与可靠性，数据质控的充分性、有效性与准确性。数据应来源于分布于不同地域的机构且不少于3家，确保数据应当具备高度的多样性。机构应使用软件说明书中的研究流程采集数据，如弄清楚的样本来源、仪器设备、样本处理（前处理、单细胞悬液的制作、荧光抗体试剂的选择等）。数据分布的科学性与可靠性，应考虑包括但不限于疾病构成（如分型、分级、分期）、人群分布（如高危人群、患者，性别、年龄）等情况。
算法性能需结合产品预期用途，综合考虑研究速度、敏感性、特异性、重复性与再现性、泛化性等性能指标的适用性及其要求。
同时还需考虑因梯度消失（如适用）、梯度爆炸（如适用）、过拟合与欠拟合等影响算法性能的因素。
使用限制需考虑产品禁用、慎用等场景，准确表述产品使用场景，提供必要警示提示信息。
2.3软件性能研究
提供产品性能研究资料以及产品技术要求的研究与编制说明，给出软件相关的功能性、安全性指标的确定依据。注册申请人需在软件研究资料中提交GB/T 25000.51自测报告，亦可提交自检报告或检验报告代替自测报告。产品技术要求中各指标依据产品自身特点确定。
2.4算法研究资料
按照《人工智能医疗器械注册审查指导原则》提交算法研究资料。逐项提交每个人工智能算法或算法组合的算法研究报告。
2.4.1算法基本信息
弄清楚算法的名称、类型、结构、输入输出、流程图、算法框架、运行环境等基本信息以及算法选用依据。
其中，算法类型从学习策略、学习方法（基于模型的算法与基于数据的算法）、可解释性（白盒算法与黑盒算法）等角度弄清楚算法特性。算法结构部分应弄清楚算法的层数、参数规模等超参数信息。流程图应包括输入示例、学习方法示意图输出示例。算法框架应弄清楚所用人工智能算法框架的基本信息，包括名称、类型（自研算法框架、现成算法框架）、型号规格、完整版本、制造商等信息。若基于云计算平台，应弄清楚云计算的名称、服务模式、部署模式、配置以及云服务商的名称、住所、服务资质。运行环境应弄清楚算法正常运行所需的典型运行环境，包括硬件配置、外部软件环境、网络条件；若使用人工智能芯片应弄清楚其名称、型号规格、制造商、性能指标等信息。算法选用依据详述算法或算法组合选用的理由与基本原则。
2.4.2算法风险管理
结合预期用途、使用场景、与根本功能、算法成熟度、网络安全等因素，此类产品的软件安全性级别为严重级别。提供算法风险管理资料，若无单独文档可提供软件风险管理资料，并注明算法风险管理所在位置。
2.4.3算法需求规范
提供算法需求规范文档，若无单独文档可提供软件需求规范，并注明算法需求所在位置。
2.4.4数据收集
2.4.4.1提供数据来源合规性声明，列明数据来源机构的名称、所在地域、数据收集量、伦理批件（或科研合作协议）编号等信息。
2.4.4.2数据采集
建议参考2.2需求规范的要求，提供数据采集操作规范文档，包括数据采集方案与数据采集标准操作规程。
数据采集主要由临床机构实施，应弄清楚流式细胞研究流程的全部信息（包括全流程质控标准、panel设计、仪器与试剂的标准化SOP等）、弄清楚样本及样本处理要求、样本的来源与分布、样本质量要求（样本保存时限、质量判断标准）、采集设备要求（应包括流式细胞仪型号、通道数量、注册证号、设备质控及补偿调节方式、数据的基本处理方式等）、流式抗体试剂要求（厂家、注册证号等）、数据质量要求、采集过程、数据脱敏、数据转移等要求。采集过程应对样本数据开展编号并加密，方案中应包括编号规则。
关于数据集采集方面建议弄清楚偏倚的控制方法，如：
（1）因为保证研究对象的代表性，可从目标人群中随机抽样、多中心，保证样本量要足够大。
（2）因为保证研究对象选择的质量，研究设计中应有弄清楚、具体的诊断标准、纳入标准与排除标准。
（3）检测标本尽量保持试验条件的前后一致性，注意试剂质量、仪器性能、样本保存与操作规定。
建议通过限制、配比、标准化、随机化、分层研究与多元研究等开展控制。
2.4.4.3数据整理
弄清楚数据清洗/预处理程序，对数据处理中应用的软件开展简述，并以附件的形式提交数据处理中各软件的软件研究资料。
数据整理基于原始数据库考虑数据清洗、数据预处理的质控要求。数据清洗需弄清楚清洗的规则、方法、结果，数据预处理需弄清楚处理的方法、结果。数据整理所用软件工具均需弄清楚名称、型号规格、完整版本、制造商、运行环境，并开展软件确认。
2.4.4.4数据标注
弄清楚标注人员与仲裁人员的资质要求与培训内容，标注人员与仲裁人员应为相关专业资质的人员，数据应经过2人或以上开展标注，标注方式建议给出依据。简述标记系统信息，给出数据/图像界面截图，详细介绍标注过程、标注对象与标注标准（注意与临床诊断标准的一致性）等。弄清楚标注过程质控、标注质量评估、数据安全保证等要求，弄清楚室内质控、室间质评等要求。应当注意标注数据的质量评估，可抽选一定比例数据由有资质的非标注人员结合临床开展综合诊断评估。
提供原始数据库、基础数据库、标注数据库、扩增数据库（如有），关于疾病构成的数据分布情况，包括适用人群、数据来源机构、采集设备、样本类型等因素。
若数据来自公开数据库，提供公开数据库的基本信息（如名称、创建者、数据总量等）与使用情况（如数据使用量、数据质量评估、数据分布等）。
2.4.4.5数据集构建
弄清楚各数据集划分的方法及依据。训练集应当保证样本分布具有均衡性，按照预期用途，训练样本应涵盖不同血液病样本类型、不同分群类型等。调优集应保证样本分布符合临床实际情况，如阳性比例，不同类型比例、不同临床分型比例等均应符合临床实际情况。训练集、调优集、测试集的样本应两两无交集并通过查重予以验证。
如适用，开展数据扩增验证时，应当弄清楚扩增的方式、方法、倍数，并考虑数据扩增对软件的影响及风险。列表比较扩增数据库与标注数据库的差异，论证扩增数据库样本量的充分性以及分布的可靠性。
2.4.5算法训练
依据适用人群、数据来源机构、采集设备、样本类型等因素，提供训练集、调优集（若有）关于疾病构成的数据分布情况。
算法训练基于训练集、调优集开展训练与调优，应弄清楚算法训练所用的评估指标、训练方式、训练目标、调优方法，提供ROC曲线或混淆矩阵等证据（如：迭代次数-训练CountIOU曲线与迭代册数-召回率曲线）证明训练目标满足医疗要求，提供训练数据量-评估指标曲线（如迭代次数-Loss曲线）等证据以结论显示算法训练的充分性与有效性。
应当提供人工智能学习算法常用的评估函数来评估算法训练的质量。
2.4.6算法性能评估
基于测试集对算法设计开展评估，确认软件算法性能的效率、敏感性、特异性，性能应满足算法设计要求。
算法验证：算法性能评估应包括软件对样本满意度评价的能力测试、泛化能力的测试、压力测试（指按照基于罕见或特殊的真实数据样本开展的算法性能测试）、对抗测试、重复性与再现性测试、诊断敏感性与特异性测试、研究效率测试、算法性能影响因素研究、性能评估结果比较研究、偏差报告等研究。应以该软件与临床综合诊断的一致性开展比较.评价细胞分群的准确性。
通过样本量估算确定测试集中阴、阳性样本与压力样本的样本量，提供测试集关于疾病构成（包括年龄与血液病类型、白细胞分化抗原种类）、数据来源的数据分布情况。弄清楚对抗样本的选择原则；弄清楚性能评估的可接受标准与标准制定依据。提交测试报告与结果图示例。
若使用第三方数据库开展算法性能评估，提供第三方数据库的基本信息（如名称、创建者、数据总量等）与使用情况（如测试数据样本量、评估指标、评估结果等）。还应提交第三方数据库数据样本来源与本研究软件在产品技术要求、说明书中要求的流式细胞研究流程的一致性评价（包括样本要求、处理方式、流式细胞荧光抗体试剂的选择、流式细胞仪、荧光及电压补偿方式、应用的函数等）,应提交符合要求的流式细胞仪数据。
算法的确认：此类产品均需按照GCP的要求开展临床试验。临床试验的机构应具备该软件要求的流式细胞研究流程所需的人员、试剂及仪器设备，临床试验应以该软件与临床综合诊断的一致性开展比较，确保其产生的流式细胞仪数据与该软件说明书与技术要求的一致性。
2.4.7算法可追溯性研究
提供算法可追溯性研究报告，即追溯算法需求、算法设计、源代码（弄清楚软件单元名称即可）、算法测试、算法风险管理的关系表。若无单独文档可提供软件可追溯性研究报告，需注明算法可追溯性研究所在位置。
（三）产品说明书与标签样稿
弄清楚该产品适用范围，弄清楚流式细胞学人工智能研究的全流程质控标准、适用的流式细胞研究设备、设备参数设置、适用的试剂及试剂盘设计、样本处理方法与本软件适用的标准化SOP等。弄清楚软件报告内容。对产品带来的假阳/假阴性风险开展提示。
按照算法性能综合评价结果，对产品的适用范围、使用场景、根本功能开展必要限制，并在说明书中弄清楚产品使用限制与必要警示提示信息。弄清楚数据采集设备与数据采集过程相关要求。
若产品按照基于人工智能黑盒算法，按照算法影响因素研究报告，在说明书弄清楚产品使用期限、使用限制与必要的警示提示信息。
弄清楚人工智能算法的算法性能评估总结（测试集基本信息、评估指标与结果）、临床评价总结（临床数据基本信息、评价指标与结果）、决策指标定义（或提供决策指标定义所依据的临床指南、专家共识等参考文献）等信息。若按照基于基于数据的人工智能算法，说明书还应补充算法训练总结信息（训练集基本信息、训练指标与结果）列明算法训练总结与算法性能评估总结以及临床评价总结。
对于软件安全性级别为严重级别的产品，需提供用户培训材料。
1072
