〔科学技术研究项目评价〕系列标准介绍——GB/T 41621-2022 开发研究项目评价实施指南

开发研究项目评价方法的选择，需要考虑开发研究具有产业导向、价值导向、效益导向、成果导向等特点.同时需要充分考虑评价目的、评价条件和评价环境。开发研究项目的评价方法体现定性和定量相结合。

开发研究项目评价采用同行评议法、技术报表法、多维指数评价法等方法。

开展评价时，可按照需要选取一种或多种方法相结合的方式。选择评价方法时宜考虑但不限于以下因素：

——1）与评价目的要求的符合性；

——2）与评价对象的类型、特点的适宜性；

——3）与所处的评价类型涵盖的评价内容的适宜性；

——4）评价方法所需评价信息，评价资源的可获性；

——5）评价的时效性、经济性与可操作性。

1 、同行评议法

同行评议是邀请与项目研究内容相关的专家，通过现场、视频或函审的方式，采用同一种评议标准或规则，共同对科研项目进行评价，并给出评价结果和意见的评价方法。

同行评议法在特定情况下，也会以专家评分的方式开展，称为专家评分法。专家评分法是一种定性描述定量化方法，首先按照评价对象的具体要求选定若干个评价指标，再按照评价指标制定评价标准，聘请若干代表性专家凭借自己的经验按此评价标准给出各指标的评价分值，然后对其进行结集。专家评分法具有简便、直观性强、计算方法简单且选择余地较大，能够将可进行定量计算的评价项目和无法进行计算的评价项目都加以考虑等特点。

采用同行评议法时，宜按照评价目的、项目所属领域及复杂程度等明确以下事项：

1）专家具备特定的专业能力和资质条件；

2）专家组规模及构成比例；

3）评价内容与规范；

4）评价形式，如会议评价、通信评价等；

5）评价权利与责任义务；

6）评价宜遵守的职业道德准则等。

为提高同行评议质量和效率，在条件允许的情况下，宜借助信息化和智能化等方法或手段，充分利用多元信息和在线评议平台，支撑同行评议过程。

1.1  专家的遴选与构成

遴选评价专家时宜遵循以下原则。

——科学原则。按照评价项目内容，在专家库中科学选择同行专家进行评价；在需要情况下，如交叉项目评价也可选取不同专业、不同研究方向的专家。开发研究项目的评价专家宜涵盖学术专家、技术专家、产业专家、市场专家、财务专家、投资专家、法律专家、管理专家等，侧重产业专家、市场专家、管理专家的意见。

——回避原则。与评价方有利益关系的专家宜主动申明并回避。被评价方可提请评价专家回避建议，并说明理由。

——更换原则。评价专家委员会或专家组的成员宜定期换届，成员任期一般不得超过两届，在规定的届期内逐年按照比例更换专家。

1.2  实施步骤

同行评议法所采取的基本程序包括以下步骤：

1）由评价委托方对拟评价项目进行审查，确定其符合同行评议的基本要求；

2）确定评价内容和评审规则；

3）选择评审专家，组成评审专家组；

4）通过评审会议或通信的形式，组织评审专家组对项目和科研成果的有关材料进行审议、质询和讨论，给出专家评审结果和意见；

5）评审专家将评审结果和意见反馈给委托方，由评价委托方综合专家意见给出评价结论和决策。

专家评分法所采取的基本程序包括以下步骤。

——选择专家。选取的专家宜熟悉项目的研究领域，具有较高的权威性和代表性，人数宜适当。一般认为，评估专家的人数越多，专家个体对评估项目总体结果的影响越小，评估结果的可靠性也就越高。然而评估专家越多，项目评价成本会越大。宜在保证项目评价结果拥有满意的可靠性的基础上，适当控制评估专家的人数。

——确定权数。专家按照各指标的相对重要性，分别确定其权数，且权数之和为1。

——划分等级。专家将每个指标划分多个等级，并为各等级赋予定量数值，用于判断具体指标所占的等级。划分标准按照学界公认原则， 一个等级对应一个分值。

——计算总分。将每项指标权数与对应的等级分别相乘，求出该指标得分。各项指标得分之和即为此项目的总分。

——决策。将总分与同类项目过去评价情况进行比较或和事先确定的准备接受的最低分相比较，如果大于最低分值，则可以接受，否则不接受。

专家评分法的计算方法有加法评价型、连积评价型、和数相乘评价型、加权评价型、功效系数法。上述步骤并非必须完全应用到评分过程中，宜按照具体选择的方法以及实际情况进行适当调整。

示例：开发研究项目立项专家评审会意见表模板

注：示例中的指标仅为展示同行评议法在常规开发研究项目立项时的使用，不代表任何指标选择倾向性。具体评价中，评价指标选择见开发研究项目评价指标体系或按照开发研究项目特点另行设计。

2 、技术报表法

技术报表法是从客观现实中采集科研项目相关数据并进行评价的一种方法，反映一个科研项目全周期的状态。本方法通过编制技术报表实现，技术报表一般包含工作分解结构表(work breakdown structure table,WBST)、质量成本进度表(quality cost delivery table,QCDT)、风险要素控制表(total risk control table,TRCT)。

评价时宜明确但不限于以下要素：

——技术就绪水平(technology readiness levels,TRL)或技术创新就绪水平(technology innovation readiness levels,TIRL)的划分级别；

——TRL 或 TIRL 各级别的定义；

——里程碑定义和举证要素；

——工作分解结构(work breakdown structure,WBS)总经费预算、每个工作分解单元(work breakdown element,WBE)的经费预算、分级别的经费预算；

——WBS 与 WBE 达到的 TRL 或 TIRL 每个级别的时间节点。

2.1  技术报表构成

2.1.1 工作分解结构表(WBST)

WBST 按照 WBS 制定，反映项目中各种要素之间、各要素与整体系统之间的逻辑关系。

编制 WBST 时，按照以下步骤开展：

——对科研项目进行分解、明确科研项目的全部WBE,每一个 WBE 都是一个交付物；

——将交付物划分成主交付物和副交付物；

——将主交付物与相关的副交付物进行关联；

——将主交付物与经费预算进行关联；

——确定研发单元(非9WBE) 当前所在的 TRL 或 TIRL 级别。

2.1.2 质量成本进度表(QCDT)

QCDT 反映科研项目技术状态、投入产出、研发进程的变化情况和之间的逻辑关系。

编制 QCDT 时，按照以下步骤展开：

——按照项目交付物的类型确定适用的 TRL 或 TIRL 量表；

——在 QCDT 上确定每个 WBE 的开始状态与终止状态，如使用实体三角形(▲)标定项目的起始状态、空心三角形(△)标定项目的终止状态；

——列出 TRL 或 TIRL 中关键级别的经费预算和预期完成时间，同时明确每个级别的要素内容，QCDT 宜与 WBST 相对应，两者的数据存在关联性；

——将所有 WBE 的 QCDT 合成，验证 WBS 是否正确，通常需要至少2次“分解-合成”来验证分解的正确性。

2.1.3 风险要素控制表(TRCT)

TRCT 运用一种结构化、数字化、可视化的风险分级方法来综合反映科研项目在研发与产业化过程中面临的技术风险、竞争风险、团队风险、机构风险、市场风险、政策风险等。

一般将风险划分为五个等级：

——I级：代表几乎没有风险，相对安全，为低风险区域；

——Ⅱ级：代表有一定的风险，相对安全，为低风险区域；

——Ⅲ级：代表风险偏大，但可控，相对安全，为低风险区域；

——IV级：代表风险比较大，不可控，容易发生问题，为高风险区域；

——V级：代表风险很大，容易发生问题，为高风险区域。

TRCT 的编制包括以下内容。

——技术风险：反映技术的不确定性，由技术风险底数、技术风险指数判断，其获取方式为：

*技术风险底数是关键 WBE 中最低的 TRL (或 TIRL)级别；

*技术风险指数为 TRL1 级～TRL8 级或 TIRL1 级～TIRL8 级的 WBE 数量之和与 WBE 总数量的比值。

——竞争风险：反映项目可能面临的竞争状况，由对外依存风险指数、外部研发依存风险指数、外部采购依存风险指数、竞争风险指数判断，其获取方式为：

*对外依存风险指数为国际合作研发 WBE 数量与国际配套 WBE 数量之和与 WBE 总数量的比值，反映项目研发过程中对国外技术、产品、供应链的依赖风险，影响项目完成后的自主性、可控性和稳定性；

*外部研发依存风险指数为国际合作研发 WBE 数量之和与 WBE 总数量的比值，反映项目研发过程中对国外技术的依赖风险；

*外部采购依存风险指数为国际配套 WBE 数量之和与 WBE 总数量的比值，反映项目研发过程中对国外产品、供应链的依赖风险；

*竞争风险指数为单一可控类 WBE 数量之和与 WBE 总数量的比值，其中单一可控类 WBE 是指在一定范围内由被评价方通过单一供应或单独控制的方式完全掌握的，且除被评价方外，其他单位都无法拥有的性能、功能完全相同的模块。一定范围一般是全省范围内、全国范围内、全世界范围内等。

——团队风险：反映团队对个别成员的依赖程度，影响团队的稳定性和积极性。

——机构风险：反映项目承担机构的能力，影响项目的组织和实施。

——市场风险：反映项目所在行业的市场需求变化情况，影响项目的市场收益。

——政策风险：反映项目相关政策的变化情况，影响项目实施的全过程。

在编制 TRCT 时，宜按照 WBST 来计算各项风险指数值，并对项目承担单位的内部管理状态进行调研，判断其团队和机构风险；对项目涉及的外部环境进行调研，判断其市场和政策风险。根据每一类风险的具体内容给出文字表述的基本判断，并给出综合的风险分析结论。

2.2  技术报表测算

2.2.1 技术就绪指数计算

技术就绪指数或技术创新就绪指数由所有工作分解单元的技术就绪水平或技术创新就绪水平量值进行加权平均获得，计算按公式（C.1）、公式（C.2）

式中：

TRI ——技术就绪指数；

k ——技术就绪水平量值，取值1～9；

WBE(k)  ——技术就绪水平达到第k级的工作分解单元数量

示例：

式中：

TIRI ——技术创新就绪指数；

k——技术创新就绪水平量值，取值1～13;

WBE(k) ——技术创新就绪水平达到第 k 级的工作分解单元数量。

2.2.2 技术增加值计算公式

技术增加值由评价期末和评价期初的技术就绪指数或技术创新就绪指数、技术就绪水平或技术创新就绪水平的差值来表示，计算按公式(C.3)～公式(C.6)。

式中：

TVA ——评价期内的技术增加值；

TRIend ——评价期末的技术就绪指数；

TRIstart ——评价期初的技术就绪指数。

示例：

式中：

TVA  ——评价期内的技术增加值；

TIRIend——评价期末的技术创新就绪指数；

TIRIstart——评价期初的技术创新就绪指数。

式中：

TVA ——评价期内的技术增加值；

TRLend——评价期末的技术就绪水平；

TRLstart——评价期初的技术就绪水平。

式中：

TVA——评价期内的技术增加值；

TIRLend——评价期末的技术创新就绪水平；

TIRLstart——评价期初的技术创新就绪水平。

2.2.3 投入产出率计算公式

投入产出率通过计算项目技术隐性收益、技术显性收益完成率与项目投入完成率之比获得，计算按公式(C.7)。

式中：

r   ——科研项目投入产出率，r≥0;

t   ——评价期内的某时间点；

w₁——技术显性收益权重，0≤w₁≤1;

Xt  ——评价期内某时间点的技术显性收益完成率，用评价期内某时间点已实现的经济效益与预期实现的经济效益的比率来表示；

w₂——技术隐性收益权重， 0≤w₂≤1,且满足w₁+w₂=1;

Yt  ——评价期内某时间点的技术隐性收益完成率，用评价期内某时间点已实现的技术增加值与预期实现的技术增加值的比率来表示；

Zt  ——评价期内某时间点的科研项目投入完成率，用评价期内实际投入与计划投入的比率来表示。

示例：

投入产出率也反映每投入一元科研经费，实际产出的经济效益，计算按公式(C.8)。

2.2.4 权重的设置

在公式(C.7)中，w₁和w₂的取值有下述三种情况：

——在评价期内某时间点上，对科研项目的技术显性收益没有预期目标时，w₁=0,w₂=1；

——在评价期内某时间点上，对科研项目的技术隐性收益没有预期目标时，w₁=1,w₂=0;

——在评价期内某时间点上，对科研项目的技术隐性收益和技术隐性收益同时有预期时，0<w₁<1，0<w₂<1,且满足w₁+w₂=1。

2.2.5 计算结果与分析

计算结果归纳为以下三种情况。

——当 r<1时，表明该科研项目尚未达到预期目标。说明科研项目投入、技术隐性收益、技术显性收益3个要素目标值与完成值比例之间的匹配程度可能尚未达到预期。

——当 r=1时，表明该科研项目已经达到预期目标。说明科研项目投入、技术隐性收益、技术显性收益3个要素目标值与完成值比例之间的匹配程度可能完全符合预期。

——当 r>1时，表明该科研项目已经超过预期目标。说明科研项目投入、技术隐性收益、技术显性收益3个要素目标值与完成值比例之间的匹配程度可能已经超过预期。

2.3 实施步骤

2.3.1 划分原则

划分原则归纳为以下三种情况：

——TRL 或 TIRL 的选择；

——TRL 或 TIRL 各级别的定义；

——里程碑和举证要素。

2.3.2 构建技术报表

根据评价对象的具体情况(评价需求、项目所属行业、项目交付物、项目具体内容等)，按照已确定的TRL 或 TIRL 的划分原则，编制符合评价对象情况的技术报表结构。

2.3.3 信息采集与分析

采集技术报表所需的信息，通常根据评价类型选择需采集的信息，可包括项目执行情况、相关领域、行业研究情况、相关知识产权情况、应用前景等，并对信息进行分析、筛选和挖掘。

2.3.4 填写技术报表

按照公式(C.1)～ 公式(C.8) 对技术报表的相关内容进行测算。

2.3.5 技术报告测算

按照公式(C.1)～ 公式(C.8)  计算项目的投入产出率等指标。

2.3.6 分析与结论

根据技术报表的内容和相关指标的计算，结合项目投入产出率等计算结果进行综合分析，给出评价结论。

2.3.7 形成学习曲线

按照评价结论中的数据，绘制单个项目、多个项目的学习曲线，为提升科研项目绩效和优化科研项目管理提供依据。

2.4 技术报表模板

2.4.1 工作分解结构表(WBST)模板

表C.1 给出了应用研究项目 WBST 模板。

表C.1  开发研究项目WBST模板

2.4.2 质量成本进度表(QCDT)模板

表 C.2 给出了开发研究项目 QCDT 模板

表C.2  开发研究项目QCDT模板

2.4.3 风险要素控制表(TRCT)

表 C.3 给出了开发研究项目TRCT 模板

表C.3  应用研究项目TRCT模板

3 、多维指数评价法

通过多维度指标对科研项目进行评价，衡量和反映科研活动实际绩效的水平与效率。

采用多维指数评价法时宜明确以下问题：

——结合评价目的、评价类型和项目性质界定评价目标；

——按照评价原则、评价内容和项目性质确定分析维度、构建评价框架；

——在评价框架的基础上，按照分析维度的内涵，构建评价指标体系；

——按照评价指标体系，对数据进行收集整理，包括样本选择、缺失数据补充、指标度量以及无量纲

处理等；

——指数和指标权重依靠专家判断，或依靠层次分析法等方法进行确定；

——指数集成指的是依照一定的权重，采用合理的方法对不同级别或维度的指标进行加权集成；

——依照集成后的结果对科学技术研究项目进行合理评价。

本方法宜与同行评议法等结合使用。

3.1  基本步骤：

在利用多维指数对科研项目进行评价时，宜依次采用界定评价目标、明确评价维度、建立指标体系、选择计算方法、数据采集加工、确定评价结果等六个步骤展开，具体如下：

——界定评价目标，明确项目类型和评价类型；

——明确评价维度，按照评价目的确立评价维度，必要时在一级维度下建立二级或三级维度；

——建立指标体系，选择相应的评价指标来反映评价维度，确定评价指标体系；

——选择计算方法，选择对指标信息进行综合集成的方法；

——数据采集加工，按照评价指标体系进行数据采集，并进行数据的加工处理；

——计算评价结果，按照所确定的指标权重，采用一定的方法计算评价结果，进行分析比较。

3.2  指标计算

3.2.1 工作进度完成率计算

工作进度完成率的计算按公式(D.1) 、公式(D.2)。

式中：

TRLend  ——评价期末的技术就绪水平；

TRLstart  ——评价期初的技术就绪水平

示例：

式中：

TIRLend  ——评价期末的技术创新就绪水平；

TIRLstart  ——评价期初的技术创新就绪水平。

3.2.2 时间进度率计算

式中：

Tend    ——评价期末的时间，单位为年或月；

Tstart    ——评价期初的时间，单位为年或月；

项目计划周期——项目立项时确定的完整时间周期，单位为年或月。

示例 ：

3.2.3 经费执行率计算

式中：

当前实际支出经费——项目在评价节点时实际按照规定支出的经费；

当前计划支出经费——项目在立项时确定的在该评价节点时计划按照规定支出的经费。

示例 ：

3.2.4 指标完成率计算

指标完成率=当前实际完成的考核指标数/计划应该完成的考核指标数×100%   ……… (D.5)

考核指标包括但不限于科技成果数量、科技成果质量、科技成果效益、主交付物数量、副交付物数量、技术性能指标、技术成本指标、寿命周期指标等。

示例 ：

4、 技术就绪水平及其级别划分与举证要素

开展评价活动前，宜明确评价要素，并对评价要素的内容进行说明。评价程序可按照1～11的过程展开。评价程序的顺序可根据项目评价的具体情况进行调整。

1 、明确评价目的

宜按照评价委托方的需求，事先明确评价目的。

评价目的一般包括优化科研项目管理、提升科研绩效、合理配置科研资源、促进创新和成果应用、科研诚信管理等，部分评价活动可能兼有多种目的。

2 、确定评价依据

宜按照评价目的确定评价依据，评价依据宜可靠合理，考虑现实情况的发展变化，具有动态性。

评价依据可包括：

1）法律法规、规章制度等政策性信息；

2）规范性文件、技术标准等；

3）项目合同或协议文件；

4）评价委托方相关要求等。

3、 确定评价主体

评价主体宜由评价委托方遵循评价依据，按照评价需要确定。评价主体可以是评价受托方，如第三方评价机构；当评价委托方自行开展评价时，评价主体也可以是评价委托方；当项目承担单位开展自我评价时，评价主体也可以是项目承担单位。

评价主体负责项目评价的实施。

4 、确定评价内容

结合项目类型特点、评价条件和环境等确定评价内容(见第6章),宜按照需要设计评价指标体系。

5 、选择评价方法

按照评价目的、评价依据、评价内容.选择适当的评价方法（见第7章)。

6、 确定评价方式

评价方式包括会议、通信、现场等方式。按照评价目的、评价类型及内容需要，结合评价对象特点选择不同的评价方式或多种方式的组合。同一批科研项目评价宜采用同一种评价方式，便于评价结果的可比。

7、 遴选评价专家

按照评价目的以及项目类型特点避选评审专家。遴选专家前，宜明确遴选的原则、专家组构成、专家的专业背景与水平，选取渠道与范围，以及评审过程的相关规定和工作纪律等。

8、 收集评价信息

按照选择的评价方法要求，可采取实地考察、专家咨询、问卷调查、焦点访谈、意见征集等方式收集评价所需的信息。信息采集过程中可充分应用互联网、大数据、人工智能等先进方法和工具。

通常评价信息收集来源于以下方面：

——项目申请、承担或参与单位提供的项目相关资料，如可行性报告、进展报告、研究报告、研究成果及其证明、经济效益和社会效益的相关证明材料等；

——评价委托方提供的项目相关资料；

——国际、国内公开渠道发布的，可采信的相关研究资料，包括数据、实验和报告等；

——评价主体通过调查方式获取的评价相关信息等。

9 、分析评价信息

利用所收集的评价信息，按照所选择的评价方法的具体要求，对采集的评价信息进行整理、求证、判断和挖掘。

10 、确定评价结果

评价主体通过对评价信息的综合分析给出评价结果，并形成评价报告。评价报告通常包括评价目的、评价对象、评价过程、评价内容、评价方法、评价信息来源、评价结果和建议、使用说明等。

11 、使用评价结果

评价结果可以作为评价委托方形成管理决策参考依据。使用评价结果时宜考虑但不限于以下因素：

——评价信息和方法的局限性；

——评价过程的规范性；

——评价实施主体的能力水平；

——评价结果的时效性；

——评价结果的使用风险。

科鉴检测踏遍华夏大地，只为为您送来专业服务…