Apache DolphinScheduler
分布式、易扩展的可视化DAG工作流任务调度系统
- 数据库减压，减少极端情况下可能造成的调度延时
- Worker 去 DB 操作，职责更单一
- Master 和 Worker 直接通信，降低延时
- Master 多种策略分发任务
高可靠性
去中心化的多 Master和 Worker, 支持 HA 功能, , 实现超大规模任务调度，采用任务队列和自身保护机制来避免过载、不会造成机器卡死
简单易用
DAG 监控界面，所有流程定义皆为可视化，通过拖拽任务定制 DAG ，以API 与第三方系统对接、一键部署
场景丰富
支持暂停恢复操作. 支持多租户，更好的应对大数据 的使用场景，支持Spark, Hive, MR, Python, sub_process, Shell等多种任务类型
高扩展性
支持自定义任务类型，使用分布式调度器、调度能力随集群线性增长。Master 和Worker 支持动态上下线
IOTA架构
去ETL的大数据架构
·满足基于用户相关数据下的自定义多维分析、即席查询、实时数仓、统一用户视图、用户画像、智能触达等
·技术人员无需天天写SQL，业务人员自定义口径，数据治理工作量小
其它开源技术
Presto+
presto-hbase-connector组件基于presto connector接口规范实现，用来给presto增加查询hbase的功能。 相比与其他开源版本的hbase connector，我们的性能要快到10到100倍以上。
Backquarter
易观开源大数据互联网百亿级记录互传Backquarter项目，可以同步Ucloud上的Kafka消息到IDC机房：消费者消费Ucloud上Kafka集群的消息，生成文件，实时同步文件至IDC机房。生产者实时监控文件，解析文件发送至IDC的Kafka集群。
Kong Plus
易观根据自身需求定制的封装Kong的相关功能的简单Portal。为了方便开发和集成，我们自己开发了一套简单的界面来帮助公司开发人员方便地集成自己的服务。界面功能包含API的创建、认证插件的添加、其他扩展插件的添加、API管理、Kong服务器状态查询以及API调用统计等功能。功能也在随着需求的增加不断完善。
Copyright © 2002-2021 北京易观智库网络科技有限公司版权所有
京ICP备15065619号-6
京公网安备 11010502041859号
服务热线: 4006 - 010 - 230 / 4006 - 010 - 231
服务热线: 4006 - 010 - 230 / 4006 - 010 - 231
京公网安备 11010502041859号
