记一次大厂的调度算法评测与仿真系统（下）

lsekfe

工程支撑主要借助工程的能力，融合特征和模型去实现仿真世界的演化。这里会用到很多的技术能力，如地图引擎、服务调度、报表分析、过程回放和数仓数据计算。我们将其归纳成三个维度，包括数据计算、调度中台和前端效果。

仿真数据具有三大特点，一是数据量大，哈啰单车和助力车覆盖近千个城市，近百万站点，近千万辆车，有上亿的订单和IOT数据上报。二是数据结构复杂，数据来源多样性，导致结构化数据、非结构化数据、半结构化数据都混合在一起。三是计算粒度细、周期长，如果在仿真的时候去临时计算，成本会非常高，因此我们借助了数仓的离线计算能力，提高效率。

　如图是实验创建执行流程，以此介绍调度中台的工作过程。首先是用户在前端创建实验，调度中台通过实验创建环节，会把用户创建实验的配置信息、城市、模型信息存储到在线存储里去。如果用户在前端进行实验执行的操作，调度中台通过实验调度的环节，根据之前配置的信息，整合相关的特征数据的集合，包括实验周期的约束条件，传递给仿真算法，这是异步的过程。数据传递过去后，仿真算法会根据粒度和周期去调用在线和离线数据作为模型入参，执行算法决策。在周期执行过程中，算法会把过程记录通过消息的方式实时反馈给调度中台，调度中台会把这些数据进行过程指标的计算，并把过程结果和指标结果落库到在线存储里去。前端就可以实时查看实验的过程，对实验的过程进行操作干预。仿真算法执行完成后，调度中台会对整个实验数据做存储和规格化的处理，能够给前端提供过程回放和实验数据的展现，这是整个的实验流程。

　仿真系统是我们算法测试平台的一个子服务，平台还涵盖数据质量监控、服务可用性监测、模型性能评测、模型效果评测、语音识别评测、文本识别评测和图像识别评测。算法测试平台采用微服务的设计思路，最外层有web服务层，对接所有的上游前端业务，底层可分为四大中心，包括调度中心（负责所有管理行为，如数据调度，任务管理，策略管理，告警管理，计算调度等）、数据计算中心（负责所有计算行为，如实时&离线数据计算，数据转换，数据订正等）、数据分析统计中心（负责指标统计类行为，因为指标计算规则变化频繁且灵活多样，因此在该中心下连接多个脚本环境容器，如python，groovy等，通过平台在线编辑能力，允许用户灵活调整，随时变更指标分析与统计脚本）和数据中心（负责所有内外部数据访问收口及三方服务访问收口，并通过提高该服务的应用等级，保障整个系统的稳定性），它们各司其职，保证协作的稳定性和迭代开发的效率。

前端效果总览包括实验的管理、仿真过程回放和各项指标评测结果。一是仿真实验室，作为仿真系统的入口，提供了实验创建、筛选和实验过程管控。二是实验配置，可以去设置实验相关的参数，如仿真区域、时间区间、时间粒度等。三是仿真回放，我们嵌入了地图的渲染引擎，提供观测不同模型的车辆流转效果和数据变化过程的能力。四是实验报告，提供各项评估指标数据、报表化展示、交叉对比验证的能力。

收益和展望

仿真系统的收益归纳起来有六点，一是城市覆盖，原先城市覆盖的数量有限且成本高，仿真系统可以支持全国400多个城市的任意选择。二是评估效率，原先评估效率是周级别，仿真系统评估效率是小时级别。三是线上质量，原先线上回收正向率低，仿真系统线上回收正向率预计提高两倍。四是评估指标，原先评估指标比较简单，回收也相对麻烦，仿真系统可以定制多维度的指标。五是干扰因素，原先有很多不可控因素，仿真系统干扰项都是可感知可控制的。六是过程分析，原先过程变化是看不到的，仿真系统过程可回放、可分析。
　　当前我们是在平台化阶段，依托仿真平台化建设，实现车辆调度类算法评测赋能，带来六大收益。后面我们希望能够实现场景化，借助场景化建模，实现业务场景无感接入，灵活扩展。第三个阶段是智能化仿真世界，我们希望能够实现智能感知特征数据、自主学习规则模型、智能分析评测效果。最后是业务赋能，我们希望能够赋能更多的业务场景，去实现线下的推演和可行性的验证，助力业务的高速增长。