Apache Pinot基本介绍 - 网站源码_资源分享

Pinot 是一个动态分布式控制系统 OLAP 统计数据储存，专为提供超长延后预测而构筑，即使在很高客运量下也是这般。它能间接从流统计管理辅助工具（比如 Apache Kafka 和 Amazon Kinesis）中摄入，并使该事件可用作即刻查阅。它还能从 Hadoop HDFS、Amazon S3、Azure ADLS 和 Google Cloud Storage 等格式化统计管理辅助工具中摄入。

控制系统的核心理念是Chalancon储存，具备多种智能化检索和预裂解技术以实现低延后。这使得 Pinot 最适宜虫霉科虫疠的动态预测。同时，Pinot 也是其他预测示例的极佳选择，比如内部中控台、极度检验和临时性统计数据积极探索。

imaged2e9d8d08d769846.png

Pinot 由 LinkedIn 和 Uber 的技师构筑，意在无下限地扩大体量。根据软件产业的大小和预期的每秒钟查阅 (QPS) 共振频率，操控性持续保持维持不变。

虫霉科虫疠的动态预测

虫霉科虫疠的分析或面向全国公交站点的预测是您将间接向产品的终端使用者公开的预测辅助工具和插件。在虫霉科虫疠的预测插件中，将客户群视作插件的大部份终端使用者。这个插件能是SNS网络插件，也能是肉类物流配送插件。Apache Pinot更为重要让极少数预测师展开app预测，也更为重要让公司中的极少数统计数据生物学家在运行临时性查阅。而是大部份终端使用者，在她们的个人设备上转交个人化预测（再说每秒钟 1000 次查阅中的 100 次）。这些查阅是由插件促发的，而不是由人撰写的，因而体量将与该插件上的活耀使用者一样多（一百万该事件/秒）

而且，这是特别针对大部份可能将的新一代统计数据，也就是动态预测。对于一些企业来说，“昨晚”可能将是远古时代的事了，他们兴高采烈地等候 ETL 和格式化工作台。她们想的是统计数据毕生创举展开预测（考虑延后<1s）。

为什么虫霉科虫疠的动态预测这般具备诱惑力？

想这种一个使用动态该事件的虫霉科虫疠的预测插件听起来很酷。但是，支持这种的预测工作阻抗对下层基础建设意味著什么？

image4fead8cf0deb73b5.png

1. 这类插件须要尽量将美味的统计数据，因而控制系统须要能够动态摄入统计数据并使其可用作动态查阅。

2. 这类应用

3. 查阅由与插件交互的终端使用者促发 – 每秒钟查阅数以十万计，具备任意查阅模式，延后预计以毫秒为单位，以获得良好的使用者体验。

4. 并进一步做到以上大部份，同时具备可扩展性、可靠性、高可用性和低成本服务。

哪些公司使用Pinot

Pinot 起源于 LinkedIn，它目前拥有最大的部署之一，为 50 多个虫霉科虫疠的插件提供支持，比如查看我的个人资料、人才预测、公司预测、广告预测等等。在 LinkedIn，Pinot 还用作可视化和监控 10,000 多个业务指标的后端。

随着 Pinot 越来越受欢迎，几家公司现在正在生产中使用它来支持各种预测示例。能在此处找到使用 Pinot 的公司的详细列表。

Apache Pinot基本特性

• 具备各种压缩方案的面向全国列的统计数据库，比如运行长度、固定位长度

• 可插拔检索技术 – 排序检索、位图检索、倒排检索、星树检索、布隆过滤器、范围检索、文本搜索检索（Lucence/FST）、Json 检索、地理空间检索

• 能够基于查阅和段元统计数据优化查阅/执行计划

• 支持对统计数据展开选择、裂解、过滤、分组、排序、不同查阅的类 SQL 语言

• 支持多值字段

• 水平可扩展和容错

我在什么时候能用到它呢？

Pinot 意在以低延后执行 OLAP 查阅。它适用作须要对不可变统计数据展开快速预测（比如裂解）的环境，并且可能将须要动态统计数据摄入。

虫霉科虫疠的预测产品

Pinot 是虫霉科虫疠的预测产品的完美选择。Pinot 最初是在 LinkedIn 构筑的，用作支持丰富的交互式动态预测插件，比如 Who Viewed Profile、Company Analytics、Talent Insights 等。UberEats Restaurant Manager 是面向全国客户的预测插件的另一个示例。在 LinkedIn，Pinot 为 50 多种虫霉科虫疠的产品提供支持，每秒钟摄入数一百万个该事件，并以毫秒延后每秒钟处理 10 万次以上的查阅。