〔科学技术研究项目评价〕系列标准介绍——GB/T 41620-2022 应用研究项目评价实施指南

应用研究项目评价方法选择需要考虑应用研究的技术性、应用性和创造性等特征，同时要充分考虑评价目的、评价条件和评价环境。应用研究项目的评价要以注重技术特征评价和应用前景评价为原则，评价方法尽量采取定性和定量相结合的方式。

应用研究项目评价的通用方法一般包括同行评议法、技术报表法、多维指数评价法等方法，也可选用专家评分法、科学计量法、层次分析法(AHP)等。开展评价时，可按照需要选取一种或多种方法相结合的方式。选择评价方法时宜考虑，但不限于以下因素：

——1）与评价目的要求的符合性；

——2）与评价对象的类型、特点的适宜性；

——3）与所处的评价类型涵盖的评价内容的适宜性；

——4）评价方法所需评价信息、评价资源的可获性；

——5）评价的时效性、经济性与可操作性。

1 、同行评议法

同行评议是邀请与项目研究内容相关的专家，通过现场、视频或函审的方式，采用同一种评议标准或规则，共同对科研项目进行评价，并给出评价结果和意见的评价方法。

采用同行评议法时，宜按照评价目的、项目所属领域及复杂程度等明确以下事项：

1）专家具备特定的专业能力和资质条件；

2）专家组规模及构成比例；

3）评价内容与规范；

4）评价形式，如会议评价、通信评价等；

5）评价权利与责任义务；

6）评价宜遵守的职业道德准则等。

为提高同行评议质量和效率，在条件允许的情况下，宜借助信息化和智能化等方法或手段，充分利用多元信息和在线评议平台，支撑同行评议过程。

1.1  专家的遴选与构成

遴选评价专家时宜遵循以下原则。

——科学原则。按照评价项目内容，在专家库中科学选择同行专家进行评价；在需要情况下，如交叉项目评价也可选取不同专业、不同研究方向的专家。

——回避原则。与项目申请、承担或参与单位(或个人)有利益关系的专家宜主动申明并回避。项目申请、承担或参与单位(或个人)可提请评价专家回避建议，并说明理由。

——更换原则。评价专家委员会或专家组的成员宜定期换届，成员任期一般不得超过两届，在规定的届期内逐年按照比例更换专家。

1.2  实施步骤

同行评议法所采取的基本程序包括以下步骤：

1）由评价委托方对拟评价项目进行审查，确定其符合同行评议的基本要求；

2）确定评价内容和评审规则；

3）选择评审专家，组成评审专家组；

4）通过评审会议或通信的形式，组织评审专家组对项目和科研成果的有关材料进行审议、质询和讨论，给出专家评审结果和意见；

5）评审专家将评审结果和意见反馈给委托方，由评价委托方综合专家意见给出评价结论和决策。

1.3评价样例

采用同行评议法评价应用研究项目时，通常会召开专家评审会。以召开项目验收专家评审会为例。

示例：应用研究项目验收专家评审会意见表模板。

注：示例中的指标仅为展示同行评议法在常规应用研究项目验收环节的使用情况，不代表任何指标选择倾向性。具体评价中，评价指标选择见应用研究项目评价内容指标体系部分。

2 、技术报表法

技术报表法是从客观现实中采集科研项目相关数据并进行评价的一种方法，反映一个科研项目全周期的状态。本方法通过编制技术报表实现，技术报表一般包含工作分解结构表(work breakdown structure table,WBST)、质量成本进度表(quality cost delivery table,QCDT)、风险要素控制表(total risk control table,TRCT)。

评价时宜明确但不限于以下要素：

——技术就绪水平(technology readiness levels,TRL)或技术创新就绪水平(technology innovation readiness levels,TIRL)的划分级别；

——TRL 或 TIRL 各级别的定义；

——里程碑定义和举证要素；

——工作分解结构(work breakdown structure,WBS)总经费预算、每个工作分解单元(work breakdown element,WBE)的经费预算、分级别的经费预算；

——WBS 与 WBE 达到的 TRL 或 TIRL 每个级别的时间节点。

2.1  技术报表构成

2.1.1 工作分解结构表(WBST)

WBST 按照 WBS 制定，反映项目中各种要素之间、各要素与整体系统之间的逻辑关系。

编制 WBST 时，按照以下步骤开展：

——1）对科研项目进行分解、明确科研项目的全部WBE,每一个 WBE 都是一个交付物；

——2）将交付物划分成主交付物和副交付物；

——3）将主交付物与相关的副交付物进行关联；

——4）将主交付物与经费预算进行关联；

——5）确定研发单元(非9WBE) 当前所在的 TRL 或 TIRL 级别。

2.1.2 质量成本进度表(QCDT)

QCDT 反映科研项目技术状态、投入产出、研发进程的变化情况和之间的逻辑关系。编制 QCDT 时，按照以下步骤展开：

——按照项目交付物的类型确定适用的 TRL 或 TIRL 量表；

——在 QCDT 上确定每个 WBE 的开始状态与终止状态，如使用实体三角形(▲)标定项目的起始状态、空心三角形(△)标定项目的终止状态；

——列出 TRL 或 TIRL 中关键级别的经费预算和预期完成时间，同时明确每个级别的要素内容，QCDT 宜与 WBST 相对应，两者的数据存在关联性；

——将所有 WBE 的 QCDT 合成，验证 WBS 是否正确，通常需要至少2次“分解-合成”来验证分解的正确性。

2.1.3 风险要素控制表(TRCT)

TRCT 运用一种结构化、数字化、可视化的风险分级方法来综合反映科研项目在研发与产业化过程中面临的技术风险、竞争风险、团队风险、机构风险、市场风险、政策风险等。

一般将风险划分为五个等级：

——I级：代表几乎没有风险，相对安全，为低风险区域；

——Ⅱ级：代表有一定的风险，相对安全，为低风险区域；

——Ⅲ级：代表风险偏大，但可控，相对安全，为低风险区域；

——IV级：代表风险比较大，不可控，容易发生问题，为高风险区域；

——V级：代表风险很大，容易发生问题，为高风险区域。

TRCT 的编制包括以下内容。

——技术风险，反映技术的不确定性，由技术风险底数、技术风险指数判断，其获取方式为：

l  技术风险底数是关键 WBE 中最低的 TRL (或 TIRL)级别；

l  技术风险指数为 TRL1 级～TRL8 级或 TIRL1 级～TIRL8 级的 WBE 数量之和与 WBE 总数量的比值。

——竞争风险，反映项目可能面临的竞争状况，由对外依存风险指数、外部研发依存风险指数、外部采购依存风险指数、竞争风险指数判断，其获取方式为：

l  对外依存风险指数为国际合作研发 WBE 数量与国际配套 WBE 数量之和与 WBE 总数量的比值，反映项目研发过程中对国外技术、产品、供应链的依赖风险，影响项目完成后的自主性、可控性和稳定性；

l  外部研发依存风险指数为国际合作研发 WBE 数量之和与 WBE 总数量的比值，反映项目研发过程中对国外技术的依赖风险；

l  外部采购依存风险指数为国际配套 WBE 数量之和与 WBE 总数量的比值，反映项目研发过程中对国外产品、供应链的依赖风险；

l  竞争风险指数为单一可控类 WBE 数量之和与 WBE 总数量的比值，其中单一可控类 WBE 是指在一定范围内由被评价方通过单一供应或单独控制的方式完全掌握的，且除被评价方外，其他单位都无法拥有的性能、功能完全相同的模块。一定范围一般是全省范围内、全国范围内、全世界范围内等。

——团队风险，反映团队对个别成员的依赖程度，影响团队的稳定性和积极性。

——机构风险，反映项目承担机构的能力，影响项目的组织和实施。

——市场风险，反映项目所在行业的市场需求变化情况，影响项目的市场收益。

——政策风险，反映项目相关政策的变化情况，影响项目实施的全过程。

在编制 TRCT 时，宜按照 WBST 来计算各项风险指数值，并对项目承担单位的内部管理状态进行调研，判断其团队和机构风险；对项目涉及的外部环境进行调研，判断其市场和政策风险。根据每一类风险的具体内容给出文字表述的基本判断，并给出综合的风险分析结论。

2.2  技术报表测算

2.2.1 技术就绪指数计算

技术就绪指数或技术创新就绪指数由所有工作分解单元的技术就绪水平或技术创新就绪水平量值进行加权平均获得，计算按公式（C.1）、公式（C.2）

式中：

TRI ——技术就绪指数；

k ——技术就绪水平量值，取值1～9；

WBE(k)——技术就绪水平达到第k级的工作分解单元数量

示例：

式中：

TIRI ——技术创新就绪指数；

k——技术创新就绪水平量值，取值1～13;

WBE(k)——技术创新就绪水平达到第 k 级的工作分解单元数量。

2.2.2 技术增加值计算

技术增加值由评价期末和评价期初的技术就绪指数或技术创新就绪指数、技术就绪水平或技术创新就绪水平的差值来表示，计算按公式(C.3)～公式(C.6)。

式中：

TVA   ——评价期内的技术增加值；

TRIend  ——评价期末的技术就绪指数；

TRIstart  ——评价期初的技术就绪指数。

示例：

式中：

TVA    ——评价期内的技术增加值；

TIRIend  ——评价期末的技术创新就绪指数；

TIRIstart  ——评价期初的技术创新就绪指数。

式中：

TVA    ——评价期内的技术增加值；

TRLend  ——评价期末的技术就绪水平；

TRLstart  ——评价期初的技术就绪水平。

式中：

TVA     ——评价期内的技术增加值；

TIRLend  ——评价期末的技术创新就绪水平；

TIRLstart  ——评价期初的技术创新就绪水平。

2.2.3 投入产出率计算

投入产出率通过计算项目技术隐性收益、技术显性收益完成率与项目投入完成率之比获得，计算按公式(C.7)。

式中：

r——科研项目投入产出率，r≥0;

t——评价期内的某时间点；

w₁——技术显性收益权重，0≤w₁≤1;

Xt  ——评价期内某时间点的技术显性收益完成率，用评价期内某时间点已实现的经济效益与预期实现的经济效益的比率来表示；

w₂——技术隐性收益权重， 0≤w₂≤1,且满足w₁+w₂=1;

Yt  ——评价期内某时间点的技术隐性收益完成率，用评价期内某时间点已实现的技术增加值与预期实现的技术增加值的比率来表示；

Zt  ——评价期内某时间点的科研项目投入完成率，用评价期内实际投入与计划投入的比率来表示。

示例：

投入产出率也反映每投入一元科研经费，实际产出的经济效益，计算按公式(C.8)。

2.2.4 权重的设置

在公式(C.7)中，w₁和w₂的取值有下述三种情况：

——在评价期内某时间点上，对科研项目的技术显性收益没有预期目标时，w₁=0,w₂=1；

——在评价期内某时间点上，对科研项目的技术隐性收益没有预期目标时，w₁=1,w₂=0;

——在评价期内某时间点上，对科研项目的技术隐性收益和技术隐性收益同时有预期时，0<w₁<1, 0<w₂<1,且满足w₁+w₂=1。

2.2.5 计算结果与分析

计算结果归纳为以下三种情况。

——当 r<1时，表明该科研项目尚未达到预期目标。说明科研项目投入、技术隐性收益、技术显性收益三个要素目标值与完成值比例之间的匹配程度可能尚未达到预期。

——当 r=1时，表明该科研项目已经达到预期目标。说明科研项目投入、技术隐性收益、技术显性收益三个要素目标值与完成值比例之间的匹配程度可能完全符合预期。

——当 r>1时，表明该科研项目已经超过预期目标。说明科研项目投入、技术隐性收益、技术显性收益三个要素目标值与完成值比例之间的匹配程度可能已经超过预期。

2.3  实施步骤

2.3.1 划分原则

划分原则归纳为以下三种情况：

——TRL 或 TIRL 的选择；

——TRL 或 TIRL 各级别的定义；

——里程碑和举证要素。

2.3.2 构建技术报表

按照被评价科研项目的具体情况(评价需求、项目所属行业、项目交付物、项目具体内容等),按照已确定的 TRL  或 TIRL 定义，形成适用于被评价科研项目的技术报表结构。

2.3.3 信息采集与分析

采集技术报表所需的信息，通常按照科研项目类型选择采集的信息，包括项目执行情况、相关领域与行业研究情况、相关知识产权情况、应用前景等，并对信息进行分析、筛选和挖掘。

2.3.4 填写技术报表

按照公式(C.1)～ 公式(C.8) 对技术报表的相关内容进行测算。

2.3.5 分析与结论

按照技术报表的内容和相关指标的计算，结合项目投入产出率等的计算结果进行综合分析，给出评价结论。

2.3.6 形成学习曲线

按照评价结论中的数据，绘制单个项目、多个项目的学习曲线，为提升科研项目绩效和优化科研项目管理提供依据。

2.3.7 形成学习曲线

按照评价结论中的数据，绘制单个项目、多个项目的学习曲线，为提升科研项目绩效和优化科研项目管理提供依据。

2.4  技术报表模板

2.4.1 工作分解结构表(WBST)模板

表C.1 给出了应用研究项目WBST 模板。

表C.1  应用研究项目WBST模板

2.4.2 质量成本进度表(QCDT)模板

表 C.2 给出了应用研究项目 QCDT 模板。

表C.2  应用研究项目QCDT模板

2.4.3 风险要素控制表(TRCT)

表 C.3 给出了应用研究项目TRCT 模板

表C.3  应用研究项目TRCT模板

3 、多维指数评价法

多维指数评价法是按照评价目的和评价对象的特点，通过构建多层次的定性与定量相结合的指标体系，采取合理的评价方法对项目实际开展情况进行指标量化度量的评价方法。

采用多维指数评价法时，需明确以下问题：

——1）按照评价委托方需求、评价环节和项目类型特点界定评价目标；

——2）按照评价原则、评价内容和项目类型特点确定分析维度、构建评价框架；

——3）在评价框架的基础上，按照分析维度的内容，构建评价指标体系；

——4）按照评价指标体系，按照项目实际开展情况对指标进行度量和数据处理，包括缺失和异常数据处理以及无量纲处理等；

——5）确定指标权重，指标权重可以依靠专家判断，或借助其他方法(如层次分析法)进行确定；

——6）采用合理的方法对不同级别或维度的指标进行加权集成，依照加权结果对项目进行合理评价。

该方法可以与同行评议法、层次分析法、专家评分法等结合使用。

多维指数评价法基本步骤如下：

——界定评价目的：明确评价项目类型和评价环节；

——明确评价维度：按照评价目的确立评价维度，必要时可以在一级维度下建立二级或三级维度；

——建立指标体系：选择相应的评价指标来反应评价维度，确定评价指标体系；

——选择计算方法：选择对指标信息进行综合集成的方法(如加权集成法);

——数据采集加工：按照评价指标体系进行数据采集，并进行数据的加工处理；

——计算评价结果：按照所确定的指标权重，采用一定的方法计算评价结果，进行分析比较。

4 、专家评分法

专家评分法是一种定量化描述方法，按照评价委托方的具体要求，确定评价指标与评价规则，通过专家对项目实际开展情况进行量化打分，并采取某种计算方法获得评价结果的评价方法。

专家评分法的基本步骤如下：

——遴选专家；

——确定评价指标：并为指标赋权重。专家按照各指标的相对重要性，分别确定其权重，权重之和为1;

——明确评分规则：专家将每个指标划分多个等级，并为各等级赋予定量数值，每一个等级对应一个分值，等级划分应符合领域情况；

——计算评价分值：将每项指标权数与对应的等级分别相乘，求出该指标得分，各项指标得分之和即为此项目的总分；

——分析评价结果：将总分与同类项目过去评价情况进行比较或和事先确定的准备接受的最低分相比较，给出评价建议。

上述五个步骤并非必须完全应用到评分过程中，可按照具体选择的方法以及实际情况进行适当调整。专家评分法的计算方法有加法评价、连积评价、和数相乘评价、加权评价、功效系数法等。

5 科学计量法

对科学研究活动与结果的相关数据进行计算与分析，不受个人主观因素和其他非科学因素的影响。采用科学计量法对数据进行分析与计算时，可采用统计分析、知识图谱等方法开展。

评价时宜明确但不限于以下要素：

——科技论文(专著)的数量；

——科技论文(专著)的引证；

——引用率；

——平均被引次数；

——其他衍生指标等。

本方法可以与其他评价方法结合使用。

6 层次分析法（AHP）

层次分析法(AHP)是一种对复杂现象的决策思维进行系统化、模型化、数量化的多目标决策方法。其应用步骤是：

——1）按照项目性质和不同评价类型的评价内容确立层次结构，依照科学技术研究项目的评审指标体系，建立目标树图；

——2）邀请学科专家和评审机构资深人士，对评审指标体系间指标的重要程度进行两两相互比较，构造两两比较判别矩阵；

——3）基于判别矩阵，计算权重系数及各评价指标的组合权重系数；

——4）求出综合评价指数；

——5）进行一致性检验。

作为一种决策工具，本方法具有适用性、简洁性、实用性和系统性等特点，但在应用上也有局限性。在 APH 使用过程中，无论是建立层次结构还是构造判断矩阵，人的主观判断、选择对结果的影响较大，使得 APH 进行决策的主观成分很大。

本方法可以与多维指数评价法、同行评议法结合使用。

开展评价活动前，宜明确评价要素，并对评价要素的内容进行说明。评价程序可按照1～11的过程展开。评价程序的顺序可根据项目评价的具体情况进行调整。

1 、明确评价目的

宜按照评价委托方的需求，事先明确评价目的。

评价目的一般包括优化科研项目管理、提升科研绩效、合理配置科研资源、促进创新和成果应用、科研诚信管理等，部分评价活动可能兼有多种目的。

2 、确定评价依据

宜按照评价目的确定评价依据，评价依据宜可靠合理，结合现实情况的发展变化，具有动态性。

评价依据可包括：

1）法律法规、规章制度等政策性信息；

2）规范性文件、技术标准等；

3）项目合同或协议文件；

4）评价委托方相关要求等。

3、 确定评价主体

评价主体宜由评价委托方遵循评价依据，按照评价需要确定。评价主体可以是评价受托方，如第三方评价机构；当评价委托方自行开展评价时，评价主体也可以是评价委托方；当项目承担单位开展自我评价时，评价主体也可以是项目承担单位。

评价主体负责项目评价的实施。

4 、确定评价内容

结合项目类型特点、评价条件和环境等确定评价内容(见第四部分)，宜按照需要设计评价指标体系。

5 、选择评价方法

按照评价目的、评价依据、评价内容.选择适当的评价方法（见第五部分)。

6、 确定评价方式

评价方式包括会议、通信、现场等方式。按照评价目的、评价类型及内容需要，结合评价对象特点选择不同的评价方式或多种方式的组合。同一批科研项目评价宜采用同一种评价方式，便于评价结果的可比。

7、 遴选评价专家

按照评价目的以及项目类型特点遴选评审专家。遴选专家前，宜明确遴选的原则、专家组构成、专家的专业背景与水平、选取渠道与范围，以及评审过程的相关规定和工作纪律等。

8、 收集评价信息

按照选择的评价方法要求，可采取实地考察、专家咨询、问卷调查、焦点访谈、意见征集等方式收集评价所需的信息。信息采集过程中可充分应用互联网、大数据、人工智能等先进方法和工具。

通常评价信息收集来源于以下方面：

——项目申请、承担或参与单位提供的项目相关资料，如可行性报告、进展报告、研究报告、研究成果及其证明、经济效益和社会效益的相关证明材料等；

——评价委托方提供的项目相关资料；

——国际、国内公开渠道发布的，可采信的相关研究资料，包括数据、实验和报告等；

——评价主体通过调查方式获取的评价相关信息等。

9 、分析评价信息

利用所收集的评价信息，按照所选择的评价方法的具体要求，对采集的评价信息进行整理、求证、判断和挖掘。

10 、确定评价结果

评价主体通过对评价信息的综合分析给出评价结果，并形成评价报告。评价报告通常包括评价目的、评价对象、评价过程、评价内容、评价方法、评价信息来源、评价结果和建议、使用说明等。

11 、使用评价结果

评价结果可以作为评价委托方形成管理决策参考依据。使用评价结果时宜考虑但不限于以下因素：

——评价信息和方法的局限性；

——评价过程的规范性；

——评价实施主体的能力水平；

——评价结果的时效性；

——评价结果的使用风险。

本样例是在构建评价指标体系基础上，结合使用同行评议法和专家评分法，对常规应用研究项目中期环节进行示范性评价。本例仅为展示本文件的一种使用方法，具体评价结合待评价项目特点，选择合适的方法开展。

1 、评价过程

本样例评价过程简述如下：

a) 按照评价程序，明确评价目的，确定评价依据和主体。本样例对应用研究项目进行中期评价。

b) 确定评价内容，构建评价指标体系。按照应用研究项目中期评价指标体系内容，评价主体可按照需要选择、增加评价指标，也可合并评价指标内容或按照应用研究特点另行设计评价指标。本样例构建出的应用研究项目中期评价指标体系包含4个一级指标和8个二级指标(见表 F.1)。

c) 选择评价方法，确定评价方式。本样例采用同行评议法与专家评分法相结合的评价方法，并采用会议/通信评审方式。

d) 遴选评审专家，收集并分析评价信息。遴选并聘请若干代表性同行专家，专家凭借自己的经验按评价指标说明给出各指标的评价分值，然后评价主体对其进行结集。

专家评分法的计算方法有加法评价型、连积评价型、和数相乘评价型、加权评价型、功效系数法。

下面以较常用的加法评价型和加权评价型方法为例对项目进行中期评价，并进行计算演示。

1)  加法评价型

加法评价型评价样例参考表 F.1

表F.1  各项指标评分结果

加法评价型是将评价各指标项目所得的分值加法求和，按总分来表示评价结果。此法用于指标间关系简单者。计算按公式(F.1)

式中：

W  ——评价对象总分值；

Wi  ——第 i 项指标得分值；

n   ——指标项数。

假设共有3名评价专家对项目各项指标进行打分，具体评分结果如表 F.1 所示。

专家对项目的打分情况为专家I 75 分，专家Ⅱ 60分，专家Ⅲ 75分。项目综合得分可以取三位专家评分的平均值，即70分。

2)  加权评价型

将评价对象中的各项指标项目依照评价指标的重要程度，给予不同的权重，即对各因素的重要程度做区别对待。计算按公式(F.2)、公式(F.3)。

式中：

W  ——评价对象得分；

Wi  ——评价对象的 i 指标项得分；

Ai  ——i指标项的权值，且

其中，0< Ai  ≤1

假设共有3名评价专家对项目各项指标进行打分，具体评分结果如表 F.2 所示。

表F.2  各项指标评分结果

专家对项目打分情况为专家I 71.5分，专家Ⅱ 53.5分，专家Ⅲ 68.5分。专家I为该领域权威专家，其评分所占权重为0.5,专家Ⅱ权重为0.3,专家Ⅲ权重为0.2。项目综合得分为三名专家评分的加权总分，即为65.5分。

e)  确定评价结果。计算出来的评分结果可以直接作为评价的结果，也可以按照分数区间给予评价等级。例如，若本样例对评分分数进行如下约定：

——评分结果介于85分(含85分)～100 分，评价等级为优；

——评分结果介于70分(含70分)～85 分，评价等级为良；

——评分结果介于60分(含60分)～70分，评价等级为中；

——评分结果60分(含60分)以下，评价等级为差。

则第1例项目的评价等级为良，第2例项目的评价等级为中。

确定项目的评价等级后，由专家撰写评价结论，提交评价委托方。评价委托方参考评价结果，综合多方面因素展开专业化判断，做出最后的评价决策。

科鉴检测踏遍华夏大地，只为为您送来专业服务…