张海涛 ¦ 没有良好的评估，就不会有卓越的事业——美兰德公司提出数字工程成本与效益评估框架

2024年3月，美智库兰德公司（RAND）发布《评估数字工程成本和效益的框架》研究报告，在总结美国防部数字工程实践的现状以及对数字工程和基于模型的系统工程（MBSE）的成本与效益的评估经验基础上，给出了基于国防部成本效益分析（CBA）方法和系统工程决策方法两种方法的数字工程成本与效益评估框架，围绕关键性能参数（KPP）和关键系统属性（KSA），建立了可量化的数字工程效益评价指标，并使用逻辑模型方法和成本分解矩阵，提供了一种权衡研究方法，可用于比较和选择多种数字工程活动选项。

兰德公司国家安全研究部《评估数字工程成本和效益的框架》研究报告封面（美国兰德公司图片）

一、数字工程及其成本的内涵

美国防部在利用数字模型、仿真、软件追求先进技术和能力方面有着悠久的历史，包括风洞试验、大规模物理建模、超级计算机以及仿真、集成与建模高级框架（AFSIM）软件套件，实现了从“地下到太空”的作战领域模拟。根据美国防部统计，装备全寿命周期成本中，概念、设计和开发阶段大约占20%，生产、试验、作战、保障、维修和处置阶段大约占80%。以往对数字工程效益的研究大多是定性的，认为如果数字工程计划执行得当，那么设计和开发的投资将在全寿命周期后期，特别是使用与保障阶段产生回报。

兰德公司将数字工程定义为“一种基于计算的综合方法，使用跨学科的系统数据和模型来支持武器系统计划目标和从概念到处置的全寿命周期活动”；将基于模型的系统工程定义为“使用标准化工具，主要是SysML或UML，来映射体系架构、系统接口、需求和描述性模型”。

美国国防系统工程研究中心在2022年发布的《在整个行业中对基于模型的系统工程的效益和当前成熟度进行基准测试》报告中，将基于模型的系统工程可能产生的效益分为质量、速度与灵活性、用户体验和知识转移等4大类以及包括降低成本、改进系统设计、提高工作效率、知识积累在内的48个效益对象，并指出使用基于模型的系统工程，可将每个需求的系统工程工时减少18%，通过测试发现的缺陷总数减少9%，同时将18%的缺陷发现转移到物理试验前。

美空军装备司令部与美空军研究实验室在2022年发布的《数字工程对武器系统成本影响的初步评估》报告中，将数字工程的投资主要分为四类：信息技术（IT）基础设施；数据和体系架构；模型和工具；劳动力。其中：

信息技术基础设施主要包括计算硬件、存储、带宽、连接和基于云的服务，无论数字工程是利用云服务还是政府数据中心，存储、维护和利用数据的成本将远远超过最初的投资，尤其是用于开发这些数据的软件可能会在数据有用性到期之前需要迭代升级，从而需要增加未来的软件投资。同时，数字工程对计算硬件的要求也较高，根据美空军研究实验室数据，一个完全开发的数字孪生将需要大约一百万万亿次（1 Exaflop）的计算机处理能力，几乎达到了当前评级最快的超级计算机的运行性能。

算力、算法、数据——这何止是人工智能发展的三要素，或许也是人类社会迈向数字世界、数字时代并持续向前发展的三要素。2024年3月18日，美国英伟达公司首席执行官黄仁勋公布B200芯片，其与英伟达公司当前H100芯片相比，在针对大语言模型训练等应用场景时的速度相当于后者的30倍，而能耗降低75%。当前，美拜登政府持续强化了对华混合战争之科技制裁战，允许出口至中国大陆的图形处理单元性能只有H100芯片的五分之一，也就是说，中国大陆可从美国获得的最高性能图形处理单元，其运算速度只相当于B200的一百五十分之一。如果我们没有办法另辟蹊径提出性能相当的其他解决方案，或者尽快攻克此类芯片的自主可控问题，那么在上述三要素中，算力，会不会逐渐成为制约我们人工智能后续发展，特别是我们快速进一步迈向数字世界、数字时代的最关键瓶颈？（美国英伟达公司图片）

数字工程标准、数据和体系架构主要包括采办参考模型和政府参考体系架构、建立模型访问和可追溯性标准、配置管理以及协商数据权和知识产权。从美国防部科学与技术预算看，执行基于模型的系统工程体系架构演示需要5040万美元（政府承担2610万美元，工业界承担2430万美元）。

模型和工具包括主要软件（如产品全寿命周期管理、计算机辅助设计、分析、模拟、基于模型的系统工程包）、软件许可费和数字工程特定模型的成本。

劳动力包括制定规划、培训和教育和人员配置（如为武器系统开发和定制数字模型和工具）。美国防务分析研究所在2022年发布的《加强国防部数字工程劳动力的选项评估》报告中，估计建立和运营一所数字服务学院，前期费用约为8亿美元，之后每个学生每学年费用约为25万美元，所有其他提案每年的持续费用估计为5亿美元。同时，将国防部的数字化工程劳动力（军事人员和文职人员）增加5%，每年将花费大约5亿美元。

二、基于成本效益分析的评估框架

迄今为止，美军内部和相关评估机构几乎没有正式的分析将国防部数字工程工作与对项目成本、进度和性能结果的可量化影响联系起来，主要原因在于自2018年实施该政策以来，成熟的数字工程案例较少，且其投资的效益通常在全寿命接近结束时才能体现。

美军在评估国防政策（如主要任务或军事目标之间的资源分配）和国防投资（如实现给定任务／目标的替代项目或计划之间的选择）时通常使用成本效益分析，并制定了相应的政策性文件，包括国防部7041.03指示《决策的经济分析》（2017年）、空军65-501指示《经济性分析》（2018年）、《陆军成本效益分析指南》（2018年）以及《海军经济性分析指南》（2013年）等，形成了相对固定的成本效益分析框架。

兰德公司分析认为，《陆军成本效益分析指南》更符合数字工程成本与效益评估的需要，其成本效益分析步骤与系统工程权衡研究步骤大致相同，区分了可量化成本和不可量化成本，并侧重于事前评估，可更好地为政策实施、项目变更或投资分配提供决策支出，如图1所示。

图1 美陆军成本效益分析过程中的8个步骤（本文作者制图）

在此基础上，兰德公司提出了数字工程成本与效益评估的框架，按照确定武器系统目标、识别数字工程活动、估算前期投资、分析对项目成本／进度／性能以及任务效能和任何相关风险的影响以及比较备选方案并记录结果等5个步骤实施，如表1所示。

表1 数字工程成本与效益评估的原型方法（本文作者翻译整理）

1、确定武器系统目标

主要是了解项目正在或计划采用的数字工程方法，收集并理解项目实施数字工程的信息，如其全寿命周期各阶段的计划成本和进度、关键性能参数以及初始能力文件（ICD）、能力开发文件（CDD）和能力生产文件（CPD）中记录的相关内容。同时，还应了解项目的系统工程计划，并应与项目主任和首席系统工程师讨论项目数字工程计划和选项。

2、识别数字工程活动

主要是了解项目正在开展哪些数字工程活动、如何实施这些活动、由谁（如政府项目办公室、主承包商或供应商）来实施这些活动以及其计划安排。在技术成熟与风险降低阶段，典型的数字工程活动主要是：建立工程和成本的关系模型，进行成本与能力分析，使用建模来定义和完善需求和获取策略（数千次迭代），建立基于SysML的体系架构模型（如政府参考体系架构模型）以及开发先进的可视化技术等；在工程与制造开发阶段，典型的数字工程活动主要是：定义主承包商或供应商必须与政府共享的数据和模型需求（通过政府参考体系架构），以数字方式连接以前孤立的信息源，将技术基线的所有权转让给政府，在试验鉴定中更频繁地使用模型，制定数据和模型确认与验证流程等。

3、估算前期投资

主要是确定并估计进行数字工程活动所需的投资及其替代方案，并侧重于对确定的备选方案进行数字工程活动所需的额外资源进行量化。按照前文给出的数字工程投资四项分类，在估算前期投资时，需要考虑数据安全成本因子。信息技术基础设施方面，需要数字工程特定的安全活动，包括多级安全基础设施；数据和体系架构方面，涉及专利保护相关投入；模型和工具方面，涉及在敏感和安全的环境中发挥作用，由于开源代码的考虑，较难进行分类处理；劳动力涉及多层次的工程与采办人员。

4、分析对项目成本、进度、性能以及任务效能和任何相关风险的影响

主要是将数字工程活动与其对武器系统成本、进度和性能的影响建立逻辑关联。物理原型方面，数字模型可以减少对昂贵物理原型的需求；试验与鉴定方面，数字化试验可以减少所需物理测试的迭代次数，或更准确地完善试验鉴定计划，从而减少相应支出；制造方面，数字工程可以在生产过程中对制造设计进行更大的优化；系统复杂度方面，数字工程可以促进更复杂系统的工程设计，从而提高武器系统的性能；政府收集武器系统知识产权方面，数字工程可以促进知识产权向政府的转让；武器系统维修与改进方面，系统收集武器系统数据有助于未来的统维修与改进方面工作；武器系统可靠性方面，数字工程可以帮助在设计过程中尽早识别缺陷。

5、比较备选方案并记录结果

主要是将确定的影响归类为与武器系统全寿命周期成本（按全寿命周期阶段）、进度和武器系统性能相关的影响，事前评估有助于决定是否以及在何种程度上实施数字工程，事后评估可用于告知其他项目未来是否应该采用某些数字工程方法。

三、基于系统工程分析的评估框架

兰德公司开发的基于系统工程分析的评估框架如下图所示。

图2 数字工程决策支持流程：系统工程评估框架（本文作者制图）

备注：CDD-能力开发文件；KPP-关键性能参数；KSA-关键系统属性；SEP-系统工程计划；DE-数字工程。

该方法的基本假设是利用系统工程方法从逻辑上评估如何通过数字工程的活动和工具来改进武器系统开发过程，右边的结果反馈到左边的输入，并反馈到武器系统目标，通过建模和仿真来改进设计和设计过程，促进在整个武器系统全寿命周期内跟踪数字工程成本，并将这些成本与项目效益进行映射，从而为项目决策提供支撑。

1、输入

项目工程目标（如关键性能参数、关键系统属性等）通常会写入采办文件，作为项目强制性约束条件，并可进一步分解为具体的性能指数（IoPs），如交付时间表、寿命、平均故障间隔时间、平均维修间隔时间、平均修复时间、平均停机时间、无燃料种类、载重、速度等。成本指标也已经成为美军采办项目关键性能参数，如美空军明确将单机购置价格作为关键性能参数进行管理。系统工程计划通常描述系统工程开发计划以及与采办相关的所有数字工程活动。

2、建立数字工程效益评价指标

由于数字工程效益通常在使用保障阶段才能预测，需要将该阶段的关键性能参数和关键系统属性作为数字工程效益评价的指标。其中，关键性能参数主要是材料可用度（Material Availability）和使用可用度（Operational Availability）；关键系统属性主要是可靠性、可维护性和总拥有成本。

表2 衡量数字工程效益的关键性能参数

3、输出

信息技术基础设施、数据和体系架构、模型和工具以及劳动力这四类成本具有层次性和相互依存性。信息技术、数据和工具需要相关的员工具备专业知识和能力，工具需要数据，而数据和工具需要信息技术基础设施作为基础。

图3 数字工程活动的成本、风险和结果摘要（本文作者制图）

四、结束语

数字工程有助于装备成本降低已经成为美军和工业界的共识，但定量化的成本与效益评估始终举步维艰，主要原因是各方对数字工程的构成缺乏共识，主要将数字工程成熟度模型视为改进结果，并缺少进行成本和效益分析的共同基础。兰德公司在提出基于成本效益分析和系统工程分析两种方法的评估框架基础上，建议应收集性能指数，支持可定量化的数字工程成本和效益的评估。同时，其建议完善国防部武器系统项目全寿命周期决策和里程碑准入标准，包括：参与的数字工程活动；用于选择相应活动的决策过程，包括相应的目标、受影响的关键性能参数和和项目目标衍生数据；相应活动的风险，包括建模假设；影响相应数字工程活动（如项目预算）的约束以及引入第三方评估机构开展成本与效益分析。

***************

张海涛先生此前已为《空天防务观察》提供36篇专栏文章，如下所列：

第1篇，真·物美价廉？F-35战斗机经济性最新情况与思考，2020年8月17日；

第2篇，美军新版《使用与保障成本估算指南》分析与启示，2021年3月2日；

第3篇，美军1.0版《国防部成本估算指南》分析与启示，2021年4月7日；

第4篇，美国政府问责局发布F-35战斗机和CH-53K直升机两型装备评估报告，2021年4月22日；

第5篇，美国防部2022财年预算分析，2021年6月1日；

第6篇，持续改善！美国防部发布2020财年成本评估工作年报，2021年6月13日；

第7篇，斯德哥尔摩国际和平研究所2020年世界国防费支出报告分析，2021年7月5日；

第8篇，美国国会预算局：无人机系统全寿命周期成本优势并不明显，2021年8月11日；

第9篇，美国政府问责局：F-35项目需削减60亿美元估算成本以实现经济可承受性，2021年8月17日；

第10篇，美国防部发布2021年成本评估工作半年综述报告，2021年8月19日；