Apache Doris 首届峰会完美收官,开启数据分析架构全新征程

2023-06-27 0 857

(原副标题:Apache Doris 第二届首脑会议轻松落幕,迈入数据挖掘构架崭新征途)

近期,由 SelectDB 承办,百度智能化云、百度云联合举行的 Apache Doris 街道社区第二届首脑会议  Doris Summit 2022完满落大幕。此次首脑会议以 Select Future From Doris 为主轴,汇集了源自 SelectDB、百度、百度、携程、华为、天猫、二进制颤动、阿里云、Amazon云科技、腾讯、chan、拟钩、马上消费金融、艾瑞、韵达、360等行业领头民营企业的40数十位现职数据研究者。在历时两天的新浪网首脑会议上,众多研究者共同深入探讨了业内前沿数据挖掘控制技术的重构趋势以及网络化时代数据挖掘平台建设的最佳实践,为与会的上万名大数据应用领域开发人员献上了一份精采的控制技术饕餮。

亚洲地区大数据和资料库应用领域最活耀的开放源码街道社区众所周知

此次首脑会议在 Apache 促进会2022年常务董事徐亮的谢幕致词中正式宣布拉开大幕,Apache Doris PMC 主席陈明雨以 《New Journey of Apache Doris》 为题,详细简述了过去一年 Apache Doris 街道社区所获得的战绩 —— 累计COBOL规模少于420位、同比增长少于1跃度指标看,Apache Doris 已经正式成为亚洲地区大数据和资料库应用领域最为活耀的开放源码街道社区众所周知!

Apache Doris 首届峰会完美收官,开启数据分析架构全新征程

“另外在2022年6月, Apache Doris 迎来了开放源码以来最重要的里程碑式众所周知,正式宣布从 Apache 创业团队毕业、正式成为了 Apache 世界顶级项目”,陈明雨说到,“ 大部份获得的成就,都有赖于街道社区大部份开发人员与使用者的支持,也正是因为有了他们的贡献,才使得 Apache Doris 有如此快的发展,未来 Apache Doris 也会答谢大部份使用者以无与伦比的数据挖掘新体验。”

2022,更慢、更动态、更统一

在主论坛的主轴撷取各个环节,源自 SelectDB、百度、携程、二进制颤动等多家民营企业的街道社区核心COBOL带来了 Apache Doris 在操控性和功能上的强化创新及获得的实效。

操控性方面,SelectDB CTO 衣国垒介绍到:“通过向定量执行、缓存管理强化、自适应词典计算、Global Runtime Filter 等一系列查阅强化手段,Apache Doris 在单表场景斩获 Clickbench 亚洲地区资料库操控性榜单前三的优异战绩,多表关联场景在 SSB 和 TPC-H 等标准测试数据集有数倍乃至数十倍的操控性提升,跻身亚洲地区资料库操控性最前列!”

功能方面,源自 SelectDB、携程、二进制颤动、百度的多位控制技术研究者介绍了崭新 Unqiue Key 主键模型、崭新查阅强化器、数据湖联邦分析、半结构化数据挖掘以及多表物化视图等核心特性的研发进展,同时撷取了街道社区在版本发布和代码质量保障方面的思考。这一系列工作使得 Apache Doris 在动态性、稳定性和易用性等多方面得到全面进化,同时也具备了更多数据挖掘场景的适应性,开始迈入极速动态统一的数据挖掘时代。

源自各行业使用者最真实的声音

街道社区使用者方面,在过去一年,Apache Doris 也收获到了更多开发人员的认可,有越来越多的民营企业基于 Apache Doris 构建崭新的数据挖掘平台构架。

“经过统计,在亚洲地区范围内 Apache Doris 的民营企业使用者规模已经少于了1000家、被广泛应用于数十个行业中,正式成为最受人们认可的 OLAP 资料库众所周知!”陈明雨补充道,“同时 Apache Doris 街道社区已经聚集了数万人的使用者社群,街道社区成立了一只专职的工程师团队在社群中为大部份使用者答疑解惑,同时也有许多开发人员在社群中交流使用心得和撷取实践经验,让更多控制技术爱好者有了一个自由交流资料库知识和提升控制技术水平的平台。”

Apache Doris 首届峰会完美收官,开启数据分析架构全新征程

在此次首脑会议的行业最佳实践论坛中,携程、天猫、华为、百度音乐、360、马上消费金融、杭银消金、拟钩、chan、韵达、艾瑞、同程数科等行业领头民营企业的多名与会研究者,纷纷介绍了 Apache Doris 在民营企业内部大规模落地应用的实践经验,并深度解读了 Apache Doris 如何帮助民营企业实现降本增效。

在纵腾集团的案例撷取中,Apache Doris 已经助力纵腾集团快速构建起一个崭新的流批一体数仓构架,单日动态入库数据量可达上亿规模,同时支持上百个调度任务平稳运行,解决了随数据增长而日益复杂的业务需求。 在百度音乐的案例撷取中,Apache Doris 助力腾讯音乐内容数据平台在百万分群圈选场景中实现了近20倍的操控性提升,同时在存储和开发维护上降低了40%以上的投入成本。在慧策的案例撷取中,通过 Apache Doris 替代了原有的 Clickhouse,不仅极大提升了ETL效率,还极大降低了存储成本、存储空间仅原先40%不到。在携程的案例撷取中,Apache Doris 已正式成为携程内部统一的OLAP引擎,支持外卖、买菜、优选等十余业务线,集群规模超百个、总机器规模数千台。在马上消费金融的案例撷取中, 基于 Apache Doris 崭新的动态数仓构架极大提升了数据时效性,从数据生产至数据应用,整个数据处理链路时延不少于1分钟。在杭银消金的案例撷取中,利用 Apache Doris 1.2最新版本的数据湖分析功能,实现对ES/Hive等多种异构数据源的统一分析,并极大提升了查阅操控性,降低资源消耗的同时使系统稳定性进一步提升。在拟钩的案例撷取中,Apache Doris 解决了过去烟囱式开发和繁重构架带来的难运维问题,并实现标签圈选时间分钟级至秒级的进化,动态标签任务稳定性的同时产出时间也提升了40%。

除以上所摘选内容外,还有更多控制技术研究者把自身真实业务场景的需求与实践沉淀成宝贵的经验,在首脑会议上撷取给大部份与会的开发人员。

丰富的数据上下游与商业生态

数据生态同样是 Apache Doris 街道社区重点建设的方向。在商业与数据生态论坛上,源自 Apache DolphinScheduler PMC、Apache Kyuubi 、Apache Inlong、Dinky 街道社区、ClouGence 等开放源码街道社区及民营企业的多名控制技术研究者为大家带来了数据挖掘与处理链路的深入思考,并解读了如何结合 Apache Doris 构建对使用者新体验更加的数据挖掘解决方案。

开放源码项目的成功有赖于商业化力量的支持,如何通过民营企业级特性的增强为客户提供具备差异性价值的服务,以及如何将开放源码控制技术和云原生更好地结合、构建具有竞争力和影响力的产品和解决方案,同样是此次首脑会议的亮点。在商业与数据生态论坛上,源自 SelectDB 的控制技术副总裁杨勇强在首脑会议上介绍了基于 Apache Doris 内核打造的云原生动态数据仓库 SelectDB Cloud,采用完全存算分离的构架设计,是国内首款实现多云中立、全托管且 SaaS 化的云数据仓库。

此外 百度智能化云、百度云以及火山引擎等国内一线云厂商分别介绍了基于 Apache Doris 打造的云数据仓库服务,可以快速助力民营企业建极速易用的云上数据挖掘平台。

崭新定位,极速、易用、动态、统一的多模分析型资料库

在此次首脑会议上,Apache Doris PMC 陈明雨还代表街道社区首次发布了崭新定位,并公布了街道社区2023年的研发计划。

“如果说过去 Apache Doris 更多是服务于新浪网报表场景和 Ad-hoc 分析的 OLAP 引擎的话,那么在大部份街道社区和开发人员的努力下,当前 Apache Doris 已经具备了更为广阔的定位,即极速、易用、动态、统一的多模分析型资料库。”陈明雨说道,“这其中的统一,既包含了构架的统一、也包含了业务和数据的统一。使用者可以通过 Apache Doris 构建多种不同场景的数据挖掘服务、同时支撑新浪网与离线的业务负载、高吞吐的交互式分析与高并发的点查阅;通过一套构架实现湖和仓的统一、在数据湖和多种异构存储之上提供无缝且极速的分析服务;也可通过对日志/文本等半结构化乃至非结构化的多模数据进行统一管理和分析、来满足更多样化数据挖掘的需求。这是我们希望 Apache Doris 能够带给使用者的价值,不再让使用者在多套系统之间权衡,仅通过一个系统解决绝大部分问题,降低复杂控制技术栈带来的开发、运维和使用成本,最大化提升生产力。”

Apache Doris 首届峰会完美收官,开启数据分析架构全新征程

在2023年,Apache Doris 街道社区将迈入更多有意义的工作,全年的研发计划主要会围绕高操控性、高性价比、混合负载分析、多模态数据挖掘、湖仓一体、动态性以及易用性与稳定性等方向展开,将答谢大部份使用者以更佳的数据挖掘新体验,致力于正式成为亚洲地区OLAP 资料库的新标杆。

至此,Doris Summit 2022街道社区第二届首脑会议完满落幕! 首脑会议的顺利举行,要特别感谢参与此次首脑会议撷取的40数十位控制技术研究者以及10数十位议题评审委员会研究者,为大部份街道社区使用者、开发人员、资料库控制技术从业者以及全体热爱开放源码的人士带来了一场如此精采的控制技术饕餮,同样也要感谢大部份参与此次首脑会议的合作伙伴以及工作人员。

2023年是 Apache Doris 崭新征途的开始,在未来的日子里,Apache Doris 必将本着为人们解决数据挖掘问题的初心,继续砥砺前行。相信在大部份街道社区使用者和开发人员的帮助下, Apache Doris 会在更多的行业中和场景中得到更深度的应用。也期待 Apache Doris 走向亚洲地区,为更多不同地域的人解决数据分析难题,代表中国开放源码力量在亚洲地区舞台闪耀!

# 关于承办方

SelectDB 是 Doris Summit 2022的承办方,也是 Apache Doris 背后的商业化公司。SelectDB 致力于为 Apache Doris 街道社区提供一个由全职工程师、产品经理和支持工程师组成的团队,繁荣开放源码街道社区生态,打造动态分析型资料库应用领域的国际工业内标准。基于 Apache Doris 研发的新一代云原生动态数仓 SelectDB,运行于多家云上,为使用者和客户提供开箱即用的能力。

Apache Doris 首届峰会完美收官,开启数据分析架构全新征程

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务