各个领域都开始了大统计数据之路，大量的统计数据处置，靠物力那是没错的，得倚靠排序机系统来。那这自然是免不了流程猿的。所以开发人员GG们是如何简约高效率的处置借助那些大统计数据的呢？
比方说一般的web服务项目应用领域，有其对的微服务项目构架一样，大统计数据处置也有其相关联的处置构架，且那些构架和微服务项目处置机构类似于，都是为了能够满足使用者现实生活的明确要求，所以大统计数据构架有什么样关键性优点是须要满足使用者的，主要就如下表所示:
1.可扩充性和易用性: 网络通讯所必须的，比方说微服务项目构架，你难以确保的确不手忙脚乱但也不能总手忙脚乱
2.低延后：很多应用领域对读和写操作方式的延后时间明确要求非常高，明确要求对预览和查阅的积极响应是低延后时间的。
3.纵向提速：统计数据的降幅增长速度是不可思议的，控制系统须要能通过纵向开拓满足使用者有增无减的统计数据存量
4.可扩充：扩充新功能时牺牲极少的牺牲
5.方便快捷查阅：大统计数据分析其本质还是须要输入的，输入的统计数据须要方便快捷查阅
6.更易保护
特别针对前述的那些优点明确要求，元老们已然结构设计出了一些构架和处置架构，让我们一起来了解下。
目前非主流的大统计数据处置构架，这里就讲两个: Lambda Architecture 和 Kappa Architecture
须要特别注意的是，Lambda 和 Kappa三大构架都不是两个具有虚拟的软件控制系统，而是两个辅导大统计数据分析构筑的构架数学模型。因此，使用者可以根据自己的须要，在构架数学模型中任一软件系统Hadoop，Hbase，Kafka，Storm，Spark、Flink等各种类型大统计数据模块。
Lambda 构架
Lambda构架是Nathan Marz提出的两个大统计数据处置架构。该架构的作法是将大统计数据分析构架拆分为了四层：
Batch Layer：该层主要就借助分布式控制系统处置控制系统处置批量的统计数据，在统计数据集上事先排序查阅表达式，并构筑查阅所相关联的Batch View。即所谓的批处置，适合处置离线统计数据。这一层中常用的架构是 Apache Hadoop这一套，存储一般用 Elephant DB, Apache Impala, SAP HANA 或 Apache Hive
Speed Layer ：该层的目的是提供低延后时间的 Real-time View，处置的都是实时的存量统计数据。
这一层中常用的流统计数据处置架构有Apache Storm, Apache Spark, Apache Flink. 输入通常是存储在高速的 NoSql 统计数据库中。存储一般用 Elasticsearch
Serving Layer：Serving Layer 用于积极响应用领域户的查阅请求，它将 Batch Views 和 Real-time Views 的结果进行了合并，得到最后的结果。
这一层通常就是使用的 Apache Druid，存储一般用 Apache Cassandra, Apache HBase, MongoDB
结合架构后，两个可能的构架:
优点:
同时支持实时和批处置业务(既确保了低延后又确保了准确性)
缺点:
1.Lambda 构架须要在两个不同的 API（application programming interface，应用领域流程编程接口）中对同样的业务逻辑进行两次编程：一次为批量排序的控制系统，一次为流式排序的控制系统。特别针对同一个业务问题产生了两个代码库，各有不同的漏洞。这种控制系统实际上非常难保护。
2.随着统计数据存量的增大，T+1 的批处置排序时间可能不够(当天的统计数据，两个晚上可能处置不完)
3.实时与批量排序结果不一致引起的统计数据口径问题
Kappa 构架
Lambda 构架须要保护两套代码，两套控制系统(批处置和实时处置)；在某些情况下，这是非常不划算且没必要的，为什么实时流统计数据用后就丢弃，为什么不用流排序控制系统来进行全量统计数据处置从而去除Batch Layer这一层？
于是，Jay Kreps 在 2014 提出了Kappa 构架，它可以看做是 Lambda 构架的简化版，就是讲 Lambda 构架中的批处置模块移除，移除后如下表所示:
其核心思想就是，使用控制系统( eg. kafka )保存历史消息统计数据, 然后通过回放统计数据，借助 Real-time Layer 这一层的流处置架构( eg. Flink , Spark Streaming , Storm )来完成业务上的批处置需求。核心步骤如下表所示:
1.统计数据须要可以被重放(重新处置)。例如, 用 Kafka 来保存统计数据，你须要几天的统计数据量就保存几天。
2.用新实例重新处置排序重放的统计数据。即当须要全量重新排序时，重新起两个流排序实例，从头开始读取统计数据进行处置，并输入到两个新的结果存储中。
3.当新的实例做完后，停止老的流排序实例，并把老的一些结果删除。
Kappa 和 Lambda 对比
