360 商品化为助推业务项目组更好推进商品化快速增长，动态数仓共经历了四种商业模式的重构，分别是 Storm + Druid + MySQL 商业模式、Flink + Druid + TIDB 的商业模式 和 Flink + Doris 的商业模式，基于 Apache Doris 的第三代构架的获得成功破冰使得 360 商品化项目组完成了动态数仓在 OLAP 发动机上的标准化，获得成功同时实现广泛动态情景下的以单查阅积极响应。责任编辑将为大家进行详细如是说重构过程和第三代动态数仓在在线视频情景中的具体破冰课堂教学。
作者｜窦和雨、姚居德新，360商品化统计数据项目组
360 公司致力成为网络和安全可靠服务提供更多商，是网络完全免费安全可靠的提倡者，先后推出 360 安全可靠保卫者、360 手机保卫者、360 安全可靠应用程序等安全可靠商品和 360 导航系统、360 搜寻等使用者商品。
360 商品化借力 360 商品巨大的使用者全面覆盖能力和极强的使用者黏性，透过专业统计信息处理和演算法同时实现电视广告精准导入，助推数千小企业和 KA 企业同时实现价值快速增长。360 商品化统计数据项目组主要是对整个网络电视广告信道中所产生的统计数据展开计算处理，为商品营运项目组提供更多策略修正的分析统计数据，为演算法项目组提供更多数学模型体能训练的强化统计数据，为电视广告商提供更多网络电视广告的效果统计数据。
业务情景
在正式如是说 Apache Doris 在 360 商品化的应用领域之前，他们Fossat在线视频中的典型使用情景展开概要如是说：
动态上证指数：动态上证指数情景是他们对外呈现统计数据的关键媒介，需要从多个层次监视商品化上证指数的分项情形，包括网络流量分项、消费需求分项、转化分项和增值分项，因此其对统计数据的准确度明确要求非常高（保证统计数据不丢太重），同时对统计数据的及时性和灵活性明确要求也极高，明确要求同时实现以单延后、分钟级统计单元测试。
电视广告帐户的动态消费需求统计数据情景：透过监视帐户发射率下的多方位分项统计数据，及时处理帐户的消费需求变化，易于商品项目组根据动态消费需求情形推动营运项目组对帐户财政预算展开修正。在该情景下统计数据一旦出现问题，就可能导致帐户财政预算的错误修正，从而影响电视广告的导入，这对公司和电视广告商将造成不可估量的损失，因此在该情景中，同样对统计数据准确度有极高的明确要求。目前在该情景下遇到的困难是如何在统计数据量比较大、查阅交叉的发射率比较细的前提下，同时实现以单别查阅积极响应。
AB 实验平台：在在线视频中，演算法和策略同学会针对不同的情景展开实验，在该情景下，具有报表层次不固定、多种层次灵活组合、统计数据分析比较复杂、统计数据量较大等特点，这就需要可以在百万级 QPS 下保证统计数据写入存储发动机的性能，因此他们需要针对业务情景展开特定的数学模型设计和处理上的强化，提高动态统计信息处理的性能和统计数据查阅分析的效率，只有这样才能满足演算法和策略同学对实验报表的查阅分析需求。动态数仓重构
为提升各情景下统计数据服务的效率，助推相关业务项目组更好推进商品化快速增长，截至目前动态数仓共经历了四种商业模式的重构，分别是 Storm + Druid + MySQL 商业模式、Flink + Druid + TIDB 的商业模式 和 Flink + Doris 的商业模式，责任编辑将为大家展开详细如是说动态数仓重构过程和第三代动态数仓在在线视频情景中的具体破冰。第一代构架该阶段的动态数仓是基于 Storm + Druid + MySQL 来构建的，Storm 为动态处理发动机，统计数据经 Storm 处理后，将统计数据写入 Druid ，利用 Druid 的预聚合能力对写入统计数据展开聚合。
MySQL 的分库分表维护难度高、投入成本大，且 MySQL 表之间的统计数据一致性无法保障。
第二代构架
构架痛点：
虽然该阶段的动态数仓构架有效提升了统计数据的及时性、降低了 MySQL 分库分表维护的难度，但在一段时间的使用之后又暴露出了新的问题，也迫使他们展开了第二次升级：Flink + TIDB 无法同时实现端到端的一致性，原因是当其面对大规模的统计数据时，开启事务将对 TiDB 写入性能造成很大的影响，该情景下 TiDB 的事务形同虚设，心有余而力不足。Druid 不支持标准 SQL ，使用有一定的门槛，相关项目组使用统计数据时十分不便，这也直接导致了工作效率的下降。维护成本较高，需要维护两套发动机和两套查阅逻辑，极大增加了维护和开发成本的投入。
第三代动态数仓构架第二次升级他们引入 Apache Doris 结合 Flink 构建了第三代动态数仓构架，借鉴离线数仓分层理念对动态数仓展开分层构建，并标准化 Apache Doris 作为数仓 OLAP 发动机，由 Doris 标准化对外提供更多服务。
物化视图：Doris 的物化视图与电视广告业务情景的特点契合度非常高，比如在线视频中大部分报表的查阅层次相对比较固定，利用物化视图的特性可以提升查阅的效率，同时 Doris 可以保证物化视图和底层统计数据的一致性，该特性可帮助他们降低维护成本的投入。
统计数据一致性：Doris 提供更多了 Stream Load Label 机制，他们可透过事务的方式与 Flink 二阶段提交展开结合，以保证幂等写入统计数据，另外他们透过自研 Flink Sink Doris 组件，同时实现了统计数据的端到端的一致性，保证了统计数据的准确度。
SQL 协议兼容：Doris 兼容 MySQL 协议，支持标准 SQL，这无论是对于开发同学，还是统计数据分析、商品同学，都可以同时实现无成本衔接，相关同学直接使用 SQL 就可以展开查阅，使用门槛很低，为公司节省了大量培训和使用成本，同时也提升了工作效率。
优秀的查阅性能：Apache Doris 已全面同时实现向量化查阅发动机，使 Doris 的 OLAP 性能表现更加强悍，在多种查阅情景下都有非常明显的性能提升，可极大强化了报表的询速度。同时借力列式存储发动机、现代的 MPP 构架、预聚合物化视图、统计数据索引的同时实现，在低延后和高吞吐查阅上，都达到了极速性能
运维难度低：Doris 对于集群和和统计数据副本管理上做了很多自动化工作，这些投入使得集群运维起来非常的简单，近乎于同时实现零门槛运维。具体应用领域Apache Doris 目前广泛应用领域于 360 商品化内部的多个业务情景。比如在动态上证指数情景中，他们利用 Doris 的 Aggregate 数学模型对请求、曝光、点击、转化等多个动态流展开事实表的 Join ；依靠 Doris 事务特性保证统计数据的一致性；通过多个物化视图，提前根据报表层次聚合统计数据、提升查阅速度，由于物化视图和 Base 表的一致关系由 Doris 来维护保证，这也极大的降低了使用复杂度。比如在帐户动态消费需求情景中，他们主要借助 Doris 优秀的查阅强化器，透过 Join 来计算同环比……
接下来仅以 AB 实验平台这一典型业务情景为例，详尽的为大家如是说 Doris 在该情景下的破冰课堂教学，在上述所举情景中的应用领域将不再赘述。AB 实验在电视广告情景中的应用领域非常广泛，是衡量设计、演算法、数学模型、策略对商品分项提升的重要工具，也是精细化营运的重要手段，他们可以透过 AB 实验平台对迭代方案展开测试，并结合统计数据展开分析和验证，从而强化商品方案、提升电视广告效果。在文章开头也有简单如是说，AB 实验情景所承载的业务相对比较复杂，这里再详细说明一下：各层次之间组合灵活度极高，例如需要对从 DSP 到网络流量类型再到电视广告位置等十几个层次展开分析，完成从请求、竞价、曝光、点击、转化等几十个分项的完整网络流量漏斗。统计数据量巨大，日均网络流量可以达到百亿元级别，峰值可达百万 OPS（Operations Per Second），一条网络流量可能包含几十个实验标签 ID。基于以上特点，他们在 AB 实验情景中一方面需要保证统计数据算的快、统计数据延后低、使用者查阅统计数据快，另一方面也要保证统计数据的准确度，保障统计数据不丢太重。
在 Flink 中做到统计数据端到端的一致性有两种方式，一种为透过至少一次结合幂等写，一种为透过恰好一次的二阶段事务。
应用领域展示
下图为 Sink To Doris 的具体应用领域，整体工具屏蔽了 API 调用和拓扑流的组装，只需要透过简单的配置即可完成 Stream Load 到 Doris 的统计数据写入 。
总结与规划
目前 Apache Doris 主要应用领域于在线视频情景，已有数十台集群机器，全面覆盖近 70% 的动态统计数据分析情景，同时实现了全量离线实验平台和部分离线 DWS 层统计数据查阅加速。当前日均新增统计数据规模可以达到百亿元级别，在大部分动态情景中，其查阅延后在 1s 内。同时，Apache Doris 的获得成功破冰使得他们完成了动态数仓在 OLAP 发动机上的标准化。Doris 优异的分析性能及简单易用的特点，也使得数仓构架更加简洁。
未来他们将对 Doris 集群展开扩展，根据业务优先级展开资源隔离，完善资源管理机制，并计划将 Doris 应用领域到 360商品化内部更广泛的业务情景中，充分发挥 Doris 在 OLAP 情景的优势。最后他们将更加深入的参与到 Doris 社区中来，积极回馈社区，与 Doris 并肩同行，共同进步！相关链接：SelectDB 官网：https://selectdb.com Apache Doris 官网：http://doris.apache.orgApache Doris Github：https://github.com/apache/doris开源技术论坛：http://forum.selectdb.com/
