首页 > 方舟产品 > 数据能力 > 数据采集

企业在数据采集中可能遇到的挑战

覆盖面不全

数据采集覆盖面不全、粒度粗无法满足业务部门需求

实时性待提升

数据加工T+1方式,取数制表周期长实时性难满足

数据打通难

用户数据缺乏统一规范与标识,用户ID各端口未打通

埋点管理乱

埋点采集数据不准,漏埋、错埋多,经常返工沟通成本高

维护成本高

缺乏统一的数据管理与数据加密方案,数据维护成本高

自研效率低

缺乏专业数据采集工具,自研难度、成本高、易用性不够

易观方舟提供了怎样的数据采集能力?

  • 全端用户行为数据采集

    跨平台,跨设备采集,打通全端用户行为数据

  • 实时查询与分析

    通用数据模型,数据采集即可用,去ETL化

  • 用户识别与打通

    用户在不同端口的匿名与登录状态皆可打通

  • 行业首家智能埋点管理

    异常数据智能治理,一站式埋点设计

  • 安全合规

    SDK代码完全开源,使用者可自行审计代码

  • 开放的技术生态支持企业自研

    开源SDK+免费分析产品+社区支持

22种开源SDK

跨平台,跨设备采集,打通全端用户行为数据

覆盖客户端、语言版等多种SDK,支持代码埋点、可视化埋点、全埋点不同埋点方式, 满足不同类型用户采集需求。支持跨平台用户行为打通,可以了解同一用户在不同平台的行为数据。

实时查询与分析

通用数据模型,数据采集即可用,去ETL化

一条事件包含5个基本要素:何人、何时、何地、通过何种方式、发生了何种行为, 分为用户表与事件表两大表,方舟秒算引擎支持实时查询与分析

用户识别与打通

用户在不同端口的匿名与登录状态皆可打通

方舟的事件模型中,数据上报时会对用户使用 xwho 来标识,在匿名阶段,xwho 中会记录一个匿名 ID ,登录后则调用 alias 方法传入注册ID。对于注册用户匿名访问,需要一个唯一标识将用户行为贯穿起来,distinct_id 就是在 xwho 的基础上根据一些规则生成的唯一 ID。

行业首家智能埋点管理

异常数据智能治理,一站式埋点设计

系统根据实际回传数据与埋点方案自动校验,根据颜色标识直观判断埋点状态。对不在埋点方案中、但实际上报的数据,支持启用该事件进行采集与分析。对于异常上报的数据,系统依据规则做自动化处理,无需重新埋点。将用户从因为埋点错误、埋点缺失带来的低效工作中解放出来。

安全合规

SDK代码完全开源,使用者可自行审计代码

企业使用易观方舟开源SDK,代码完全开源,节省开发时间,方便使用者进行定制开发, 解压项目维护成本,使用者可自行审计代码。在GitHub上了解易观开源SDK

开放的技术生态支持企业自研

开源SDK+免费分析产品+社区支持

为践行“让数据能力平民化”,易观不止开源了SDK,更发起了开源的数据调度工具——Apache DolphinScheduler(Incubating),此外还发起了免费的智能分析产品——Argo,帮助小微企业建立“收数”“数据调度”能力的同时,赋予了“存数”“算数”“看数”“用数”的能力,并提供开源SDK群和Argo交流群、帮助使用者尽快上手。一年一度的OLAP算法大赛和开发者日也为开发者提供交流平台。

易观方舟数据采集方案

接入方式适用场景
客户端多适用于纯前端交互⾏为,如:下拉框选择、按钮点击等
语言版 业务⾏为多选择在后端埋点,如评论、点赞、购买、提交订单、⽀付等⾏为
JAVA工具包独立的JAVA工具包,安装JDK8后,可直接运行JAR包,将用户行为或者用户属性的数据导入到Event表或者Profile表中
接口导入通过接口可以将历史数据通过网络上报到易观方舟 Nginx 收数程序,这种方式适用于不方便登录方舟服务器,并且数据量较少,开发人员熟悉方舟定义的数据模型和数据格式。
埋点方式适用场景优势不足
代码埋点无法通过全埋点和可视化埋点覆盖的场景可控性高、适用性广开发成本高,埋点方案难快速迭代
需要APP发版
可视化埋点主要分析点击场景不需要工程师介入
不受发版限制
实时验证测试
适用场景有限
全埋点强交互、弱业务属性的场景
可作为补充数据备用印证
部署简单
可回溯数据
无法采集事件属性
服务器成本高
依赖后期人为处理数据

合作用户

智能用户运营,就用易观方舟

连通内外部数据源,打通全端用户运营触点,构建智能用户运营闭环

体验Demo

2021 智能用户运营实战手册新版

留量时代下的用户运营方法论
行业实操 : 数字化转型从0到1
免费领取

零成本获得智能运营解决方案

免费版智能运营产品组件+ 智能分析产品组件

限时免费服务器+服务支持

立即报名获取