戒备了色片网址，一个新的开源数据分析数据库系统出现了，它叫作念Apache Pinot——况兼速率很快。

译自 Apache Pinot Brings Real Time Analysis to Columnar Data，作家 Joab Jackson。

Apache Pinot 名目始于 2013 年的 LinkedIn，旨在对数百万用户在其统统就业中拿获的单个诡计进行分析。

该公司还是诞生了 Apache Kafka 来不休其系统每天产生的数百万条音信。然则，这项任务不单是是音信传递问题，而是分析单个数据列的问题，举例“谁检讨了每个用户的个东说念主尊府？”，需要满盈快的速率才能及时为用户提供灵验的信息。

该功能起首是在 Elasticsearch 和在线事务处理 (OLTP) 数据库的组合上诞生的，但这需要同期启动数千台就业器才能获取谜底，这是一个不菲的有诡计。

借助 Pinot，该公司的工程师偶然将所需的就业器数目减少到简短 75 台。

Pinot 的降生是为了处理“以低本钱神气大鸿沟启动数亿用户的分析查询”的问题，StarTree 居品精致东说念主证传闻，StarTree 提供了 Pinot 的统统托管的云原生版块。

Soman 在接纳 TNS 采访时示意色片网址，Pinot 带来了“数据堆栈的简化”。“这个问题并不簇新。很多传统时期还是处理了这个问题。Pinot 带来的则是对这些问题的简化和鸿沟化。”

及时辰析

这项时期很快被其他收集鸿沟的公司礼聘，举例 Uber、Google、DoorDash 和 Stripe。简短 1000 个组织正在使用该软件的开源版块。

Stripe 每天处理数十亿笔往还，它使用 Pinot 向其商家提供支付分析数据：现款流分析、过期付款、每用户收入等等。

不错将Apache Pinot 视为分析型数据库和传统事务型数据库的组合。“它构建了一个分析型数据库，但不错处理 OLTP 数据库的鸿沟。”它不错在Google BigQuery 或Snowflake 上进行大鸿沟分析，但期间却只是其中的一小部分。

Soman 示意，Pinot 每秒不错处理数十万个基于 SQL 的 查询，蔓延小于 99 毫秒，即使是彭胀到数千个节点的 MySQL 也无法与之匹敌。一些最大的 Pinot 部署每秒最多可索引一百万个事件。

Pinot 于 2015 年开源，并于 2018 岁首度被 Apache 接纳。Pinot 1.0 版块于 2023 年 9 月发布，并增多了推行两个表的查询时贯穿 的材干，以及推行“upserts”的材干，这是一种 UPDATE 和 INSERT 的组合，它确保 将最新数据添加到数据库或更新数据库。

数据就业层

不错将 Pinot 视为数据就业层。数据不错存储在对象存储中，举例Amazon Web Services 的 Simple Storage Service (S3)，并可能使用Apache Iceberg 进行智商化。

Soman 证传闻：“Kafka 是半有景色的，它会存储一周的数据，但它并非假想用于存储有景色的数据。使用 Pinot，您不错将数据存储在职何您思要的所在并查询单个名目。”

Kafka 也不是分析引擎。即使是经常与 Kafka 一皆使用的Apache Flink，也更侧重于处理和过滤。事实上，这三种用具不错一皆在一个被称为 KFP 堆栈的堆栈中使用。

在 GitHub 上，StarTree 提供了一系列对于 Pinot 稳当哪些任务的示例：

批数据收受流式收受Upserts地舆空间处理变换函数同样性搜索 (AI)

11 月色片网址，StarTree 更新了其StarTree Cloud 就业，以包括基于脚色的探听适度 (RBAC)、无暂停收受、形式演变和数据回填。