Apache DolphinScheduler分布式、易扩展的可视化DAG工作流任务调度系统
- 数据库减压，减少极端情况下可能造成的调度延时
- Worker 去 DB 操作，职责更单一
- Master 和 Worker 直接通信，降低延时
- Master 多种策略分发任务
去中心化的多 Master和 Worker, 支持 HA 功能, , 实现超大规模任务调度，采用任务队列和自身保护机制来避免过载、不会造成机器卡死
DAG 监控界面，所有流程定义皆为可视化，通过拖拽任务定制 DAG ，以API 与第三方系统对接、一键部署
支持暂停恢复操作. 支持多租户，更好的应对大数据 的使用场景，支持Spark, Hive, MR, Python, sub_process, Shell等多种任务类型
支持自定义任务类型，使用分布式调度器、调度能力随集群线性增长。Master 和Worker 支持动态上下线
去ETL的大数据架构
presto-hbase-connector组件基于presto connector接口规范实现，用来给presto增加查询hbase的功能。 相比与其他开源版本的hbase connector，我们的性能要快到10到100倍以上。
易观开源大数据互联网百亿级记录互传Backquarter项目，可以同步Ucloud上的Kafka消息到IDC机房：消费者消费Ucloud上Kafka集群的消息，生成文件，实时同步文件至IDC机房。生产者实时监控文件，解析文件发送至IDC的Kafka集群。
易观根据自身需求定制的封装Kong的相关功能的简单Portal。为了方便开发和集成，我们自己开发了一套简单的界面来帮助公司开发人员方便地集成自己的服务。界面功能包含API的创建、认证插件的添加、其他扩展插件的添加、API管理、Kong服务器状态查询以及API调用统计等功能。功能也在随着需求的增加不断完善。
京公网安备 11010502041859号
