调度中心特色-论文参考

丰富的任务类型:调度中心包含数据处理全过程的所有任务类型组合,用户要做的仅是根据需要选择任务类型并且按依赖组织自己的工作流即可。

多样的依赖关系及视图展现:在整个调度系统中,任务依赖关系是最核心的,它直接决定了数据处理结果的质量。调度中心的依赖关系经不断演变,已能涵盖用户超过90%的需求,同时提供了一套完整的视图管理流程,让整个业务过程可视化,执行过程一目了然。

简单易用:可视化的实时计算任务配置管理系统,支持Job的自助上传、发布、管控服务、程序包版本管理等功能,支持实时任务监控、日志搜索和操作记录等查看功能。

高效可靠:提供SDK实现与JDQ对接,从庞大而连续的数据流中提取、过滤、分析数据,及时性高,毫秒级处理延迟,用户自助申请弹性云计算资源,实现资源有效隔离、公司资源利用最大化。

实时可视化监控:不但能及时了解实时计算任务数据处理、延时走势以及资源利用情况,还可以实时监控自定义指标,轻松定位及跟踪问题。

产品功能:

高效的任务下发:任务调度系统作为用户与计算平台的一个中间系统,其下发具体任务到平台的性能是衡量其好坏的一个重要标准。调度中心将下发过程中的依赖判断、资源判断等过程并行并且服务化,保证正确性的同时也极大的提高了任务下发的效率。 目前情况下,所有任务下发时长已稳定在5-7毫秒,并且在任务积压时也不会出现雪崩效应。

隔离的资源分配:调度中心将所有的调度资源按节点、队列分离,保证每个小组拥的最小资源占有,同时还可以去争抢空闲的公共资源池。这样不仅做到资源的隔离, 同时也能提高整体的资源利用率

全面的监控及告警:调度中心提供了全面的任务执行监控,用户可根据任务执行情况设置失败监控告警和延时监控告警,一旦出现异常即可发出告警通知,极大的减小对用户的影响。

丰富的周边工具:除主体功能外,调度中心还提供了历史补数、重跑、任务终止与重置状态、拷贝任务、日志详细展现等工具,方便用户在前台完成对整个流程完成一站式的的干预操作。

数据出/入库(Plumber):数据出入库任务用于离线数据交换,支持用户高效地将各种异构数据源快速整合、传输至数据仓库,或将数据仓库数据外推至其他数据源。

猜你喜欢

转载自blog.csdn.net/qzy313885531/article/details/80778755