Hi 欢迎来到易观方舟
有问题就找小舟助手
联系我们 周一至周五 10:00 - 18:00

产品咨询:4006 - 010 - 231 转 1

商务合作:4006 - 010 - 231 转 2

咨询与帮助

159元,用5杯星巴克交换一场数据思维提升丨易观A10峰会开发者日

 

199元,你可以再添一件Uniqlo格子衫,或者5杯提神醒脑星巴克。
或者,199159元,你可以买一张2020易观A10开发者日门票,听优路科技、滴滴、腾讯等名企大厂技术开源,布道数据的实时处理与多维分析;更有2020易观数科算法大赛冠亚军现场分享。
10月24日,易观数科开发者日,8折门票,限时抢购中。

 

 

近日,IDC 正式对外发布了《全球云 IT 基础设施季度跟踪报告》,其中数据显示 2020 年第二季度,供应商销售面向云环境(包括公共云和私有云)的 IT 基础设施产品(服务器、企业存储系统和以太网交换机)所得的收入同比猛增 34.4%;与此同时,2020 年第二季度,传统的非云 IT 基础设施方面的投入却同比下降了 8.7%。
 
面对从本地到上云的变革,企业需要考虑上云后对企业分析数据生命周期各个环节的架构设计上有何根本性影响。
 
通过云计算在各领域下的不断融合,逐渐催生了越来越丰富的线上应用场景,纷纷转向在线协作、线上娱乐、购物、教育乃至医疗。这些场景为各领域间带来了更多联系的同时,也为数据本身赋予了更多潜在的价值,但数据积累和联系本身并不产生价值,产生价值的是新的数据组织形式以及新型商业逻辑和业务逻辑的兴起。
 
而这些逻辑的背后,更是需要企业决策层、开发者、运营人员都要具备卓越的数据分析思维和能力,才能更好地发现书架子。因为任何人既是数据的生产者、使用者,也是数据价值的受益者。尤其在当前业务快速变化的背景下,对数据处理的实时性、多维性、准确性要求越来越高,只有培养形成多维度数据分析思维方法,掌握一套成体系化的方法论以及便捷的工具,才能更加从容面对当前愈发复杂的数据局面、体系以及结构。
 
而在 2020 年 10 月 24 日,开发者节日的当天,易观 A10 数据智能峰会——易观数科开发者日将正式拉开帷幕,这无疑是一个绝佳的选择。

 

数据的实时处理及多维分析能力

 

 

从 Hive Sql 到 Spark Sql,滴滴是如何实践的?

在互联网越来越快的今天,企业对数据服务实时化的需求也日益增多,打车、外卖、网购、在线视频等场景下,用户已经不能忍受较长时间的等待,企业对于大数据实时决策的要求也越来越严苛。

 

而大数据工程师可能常面临这样的痛点——
  • 每日工作都在写 ETL 脚本,而很多报表却只用一次;
  • 临时需求众多,研发怎么加速研发、业务部门还是觉得慢;
  • 业务变化快、数据来源多、数据治理难;
  • 数据处理能力不足、时间滞后,想用 Ad-hoc 查询但数据量过大。

 

使用最新的大数据技术,技术人员只做最底层的数据整理、把业务口径还给业务人员、直接让业务人员从最明细的数据中进行统计分析、秒级返回结果,成为破局关键。

 

那么企业该如何构建自己的实时多维系统?如何选择业务场景并建模?如何选择数据查询底层引擎与技术生态?此次易观数科开发者日上,邀请到了滴滴 HDFS&Spark 技术专家杨建丹到场进行【Hive sql 迁移到 Spark sql 在滴滴的实践】的主题分享。杨建丹主要负责滴滴 Hive 服务、离线 Yarn 调度以及 Spark 服务,基于其在 Yarn、HDFS 和 Hive 上多年的实践经验,现场为各位开发者深入解读从 Hive 到 Spark 的迁移心得。

 

 

多维实时分析系统在腾讯看点的演进与实践
数据体量的爆发一方面体现了业务、用户的规模在快速增长,但另一方面也为企业后台技术架构提出了更高的需求。

 

尤其在这样一个用数据说话的时代,数据在一定程度上决定了企业决策的准确与否。一般来说,分析速度是随着数据体量的增长而放缓,快速增长的数据也导致了企业的决策速度越来越慢。原始数据体量越来越大、来源渠道广泛等问题,导致原始上报数据体量上万、数据上报的格式混乱、缺乏内容维度信息、缺少用户画像信息等问题每天都在出现,不仅分析耗时长,并且也无法直接赋能下游的运营人员。

 

并且对于业务较大的企业而言,实时在线分析上百亿数据更是决定了业务能否在极短时间下做出调整并反馈用户,这在一切求快的互联网环境中显得尤为重要。但问题在于当前大多数企业的技术平台难以及时响应业务决策的需求。试想仅一次查询就需要耗时几分钟,全面的分析决策则很有可能会花去几个整天。在商机稍纵即逝的今天,这对一个企业而言可能是致命的。

 

在这样的大背景下,多维实时数据分析系统的重要性不言而喻,此次易观数科开发者日的活动现场,大会邀请到了腾讯高级工程师王展雄,基于他所负责的腾讯看点实际业务场景,全面解读在上报数据量达万亿规模的腾讯看点,如何构建极低延迟的实时计算和亚秒级的多维实时查询系统

 

技术开源,使数据能力平民化

 

 

Hadoop 到云原生,如何使企业级数据能力平民化

 

企业数据上云已经成为潮流,面对从本地到上云的变革,企业需要考虑上云后对企业分析数据生命周期各个环节的架构设计上有何根本影响,例如云上存储选型就会深远地改变计算框架的架构,了解分析上云的趋势和实践中的问题有助于做更好的平台架构选型、更好地发挥数据的价值,易观数科开发者日当天,Kyligence 技术合伙人兼产品负责人李栋,将带来《企业大数据分析平台:从 hadoop 到云原生》的主题演讲。

 

 

普及数据分析能力

 

近年来随着 BI 的兴起,数据开始在企业应用中发挥越来越重要的作用,在各行各业及各部门都在拥抱数字化的大背景下,数据的角色不再仅仅是业务发展的衍生物,而是加速业务转型、推动业务科学决策的重要资产。大到企业的决策、发展方向,小到一个营销活动的效果好坏,数据的价值正在无限放大,企业对于数据价值的期望也越来越高,这些都催生了数据更加广泛的应用场景和价值。

 

场景的丰富,也使得越来越多的群体开始对数据产生依赖性。因此,需要将数据能力赋能到行业中的每一处角落。Argo 作为易观方舟智能分析组件的免费版本,在不破坏商业生态的前提下,其最大限度的继承了易观方舟 UBA 的数据能力。基于秒算引擎的支撑,Argo 可以实现从全端用户行为数据采集到自定义多维度实时用户行为分析、智能埋点等数据能力。作为一款免费产品,Argo 的开放性更是体现的淋漓尽致,通过采取开放性的 IOTA 架构设计,将不同模块间相互分离,支持核心存储、计算引擎模块热插拔升级。提供多种连接方式,赋予企业灵活高效的数据采集、分析能力以及快速二次开发能力,降低用户数据获取、存储、分析的研发资源与时间成本。

 

此次易观数科开发者日的活动现场,易观方舟首席架构师江振兴将对 Argo 新版本的能力做全面解读,帮助开发者在了解易观 Argo 新版更新的同时,能够快速上手这样一款免费的用户行为分析工具。

 

 

开源分布式任务调度引擎
另一方面,在实现数据分析、智能运维的过程中,集群间的数据调度是每一个大数据平台的必备工具。当下容器技术的流行,进一步扩大了数据间的分离程度。因此这也需要技术人员能够灵活、快速的实现在各个容器资源中的数据调度。

 

易观发起的开源项目 Apache DolphinScheduler 作为一款分布式任务调度引擎,其所支持的多活性可以有效保证 ETL 的调度效率,另一方面是调度界面的可视化,开发者在实现调度时只需要在界面上进行拖拉拽形式的操作即可,极大降低了数据调度的技术门槛。

 

此次易观数科开发者日的活动现场,也邀请到了 Apache DolphinScheduler 的 K8S 实现主要作者、Apache DolphinScheduler Committer、优路科技的李文禾老师到场,全方位解读 Apache DolphinScheduler 在 K8s 生态下的实践痛点与解决方案。

 

更多精彩尽在 10.24 易观数科开发者日

 

2020 年 10 月 24 日,易观 A10 数据智能峰会——易观数科开发者日,全天携多维数据分析实践以及更多精彩分享,期待各位开发者的深度参与。

 

现在抢购8折门票优惠,快速锁定有限名额。

相关推荐:

体验文中提到的功能

立即免费体验Demo

百闻不如一见

现在来体验方舟如何帮你挖掘商机、增长业绩

体验Demo