Kafka 和 Pulsar 經常被拿來比較，因為它們都是以處理高吞吐量、低延遲資料流的能力而聞名的資料平台。 它們使企業能夠構建可擴充套件、容錯的資料管道和實時處理應用程式。 它們的架構都建立在生產者-消費者模型之上，這意味著它們適用於各種用例，並與現代資料生態系統無縫整合。
我寫這篇文章是為了幫助您了解這兩種解決方案之間的主要異同。 我們將比較 Kafka 和 Pulsar，重點關注以下幾個方面：
建築。 可伸縮性、延遲和永續性等操作屬性。
開發人員體驗、社群和生態系統。
許可、部署選項和託管產品。
最後，我希望您能更清楚地了解每個平台的獨特功能，以及哪乙個最適合您組織的需求。
1. Apache Kafka 概述
Kafka 是乙個分布式事件流平台，旨在處理高速、大容量和容錯的資料流。 它最初由LinkedIn開發，後來捐贈給Apache軟體協會。 Kafka 已迅速成為構建實時資料管道、事件驅動架構和微服務應用程式的熱門選擇。
1.核心競爭力
發布和訂閱錄製流。
以容錯和持久的方式儲存記錄流。
與配套服務協同工作，在記錄流（Kafka 流和 ksqldb）發生時對其進行處理。
2.主要特點：
為實時資料流提供高吞吐量、低延遲的訊息傳遞。
支援資料分割槽和複製的可擴充套件架構。
它採用分布式容錯設計，具有很強的耐久性保證。
使用 Kafka 生態系統（Kafka Streams 和 KSQLDB）的互補服務實現流處理功能。
通過 Kafka Connect 提供豐富的聯結器和整合生態系統。
乙個活躍的開源社群，支援多種程式語言。
2. Apache Pulsar 概述
Pulsar 是乙個分布式訊息傳遞系統，旨在處理高效能、低延遲的訊息傳遞和資料流。 pulsar 最初由 Yahoo 建立，後來捐贈給 Apache Software，現在是構建實時資料管道和事件驅動架構的有力選擇。
1.核心競爭力
支援發布子訊息和訊息佇列。
以容錯和持久的方式保留資訊流。
本機支援多租戶。
2.主要特點：
適用於實時資料流的高吞吐量、低延遲資訊傳輸。
可擴充套件的多層架構，將儲存層與服務層分開。
通過容錯設計（包括地理複製）確保資料永續性。
基本的內建流媒體功能（脈衝星功能）。
提供適當規模的聯結器生態系統，並與 Pulsar IO 整合。
通過官方和第三方客戶端庫支援多種程式語言。
3. Pulsar vs. Kafka：架構比較
現在讓我們回顧一下 Pulsar 和 Kafka 的架構，了解它們的異同。
1.Apache Kafka 架構
概括地說，Kafka 架構由三個主要元素組成：生產者、消費者和代理。 生產者生成資料並將其傳送給代理，而使用者讀取代理攝取的資料。
代理執行在 Kafka 集群上，而生產者和消費者則與系統完全解耦。 每個代理將生產者傳送的實際資料儲存在乙個主題（屬於同一組類別的訊息集合）中。 這些主題可以分為多個部分進行優化。 資料分割槽具有容錯、可擴充套件、並行等優點。 此外，每個部分可能只包含主題的一部分，其餘部分分配給其他部分。 這種方法有助於平衡代理之間的工作負載。 為了提高可靠性，可以將 Kafka 集群配置為不同主題的副本，從而限制不可用時的停機時間。
在上圖中，您還可以看到乙個 zookeeper 元件，該元件負責以下操作：
儲存 Kafka 集群的元資料，例如主題、分割槽和副本等資訊。
管理和協調 Kafka **，包括領導人選舉。
出於安全目的，維護訪問控制列表 （ACL）。
計畫完全刪除 ZooKeeper 依賴項。 （預計將於 2024 年 4 月發布）開始完全刪除對 Zookeeper 的依賴。 取而代之的是乙個名為牛皮紙的新機制（實際上已經為生產做好了準備）。 Kraft 沒有在每個 Kafka 集群旁邊執行乙個 Zookeeper 集群，而是將元資料管理的責任轉移到 Kafka 本身。 這簡化了架構，降低了操作複雜性，並提高了可擴充套件性。
此外，還計畫為 Kafka 引入分層儲存方法。 本地層將使用 Kafka 代理上的本地磁碟來儲存資料。 它旨在將資料保留短時間（例如小時）。 同時，遠端儲存將使用 Hadoop 分布式檔案系統 （HDFS） 和 Amazon S3 等系統來長時間（數天、數月等）儲存資料。
2.Apache Pulsar 架構
與 Kafka 類似，Pulsar 的架構包括經紀人、生產者和消費者。 broker 執行在 Pulsar 集群上，而生產者和消費者則與系統完全解耦。 每個代理都管理主題中生產者傳送的實際資料。 就像 Kafka 一樣，這些主題可以劃分為許多分割槽，從而提供容錯、可伸縮性和並行性等優勢。
Zookeeper 也出現在 Pulsar 的架構中。 它用於各種任務，包括配置管理、節點之間的協調以及維護 Pulsar 集群的元資料。 如前所述，Kafka 正在遠離 ZooKeeper，取而代之的是 Kraft。 Pulsar 並沒有將 ZooKeeper 從其架構中剔除，但它確實提供了替代方案：本地記憶體、rocksdb 和 etcd（請注意，前兩個僅適用於獨立的 Pulsar 或單節點 Pulsar 集群）。
Pulsar 和 Kafka 最大的區別在於它把儲存層和服務層分開了。 在 Pulsar 的架構中，broker 處理訊息路由和傳遞，而 Apache Bookkeeper 處理長期儲存。 具體來說，生產者傳送的每條訊息都會寫入簿記員記事本。 這種分層儲存方法意味著 Pulsar 的架構比 Kafka 的架構更複雜——需要管理的元件更多（至少目前是這樣; 但如前所述，Kafka 還將引入分層儲存方法）。另一方面，這種分離意味著可以獨立縮放儲存層和服務層。
4. Kafka 和 Pulsar：執行屬性
Pulsar 和 Kafka 在儲存和訊息消費模式、延遲、吞吐量、永續性和可擴充套件性方面如何比較？
1.儲存和資訊使用
在資訊使用和儲存模式方面兩種解決方案存在有很大的區別
Kafka 基於日誌的儲存模型對每個主題分割槽使用僅追加日誌檔案，並且資訊按順序寫入並儲存在磁碟上。 讀數是連續的，從偏移量開始（請注意，使用者負責管理其偏移量）。 寫入將追加到日誌的末尾。 對於訊息使用，Kafka 的拉取模型涉及使用者輪詢來自 ** 的新訊息。
相比之下，Pulsar 的分層儲存模型將資訊分成更小的段，並將其儲存在多個簿記員賬本（賬本）中。 值得注意的是，資訊片段也可以解除安裝到長期儲存解決方案中，如Amazon S3或Google Cloud Storage。 資訊通過基於推送的模型使用。
關於這些差異的幾點評論：
雖然 Pulsar 的分層架構提高了網路利用率，並且需要將資訊寫入磁碟兩次，但它也允許資料分段、高效管理，在某些情況下還可以加快檢索速度。
與 Kafka 的簡單架構相比，Pulsar 的分層架構可以增加運營複雜性（需要管理更多元件）。
在處理滯後的消費者時，Kafka 和 Pulsar 模型都可能導致快取重新整理問題。 由於額外的網路重定向和 IO 操作，Pulsar 的方法可能會加劇這個問題。
與 Kafka 相比，Pulsar 的推送模式可以減少延遲和資源消耗。 另一方面，在 Kafka 中，消費者可以提取資訊，從而管理自己的流量控制。
2.效能
這是毫無疑問的Kafka 和 Pulsar 都是高效能的分布式流媒體和訊息傳遞平台。很難（如果不是不可能的話）說哪乙個在延遲和吞吐量方面更好。 一些基準測試顯示 Pulsar 效能更好，而另一些基準測試則顯示 Kafka 更勝一籌。
儘管如此，基於推送的訊息傳遞系統和 Pulsar 等分層儲存模型確實有助於減少延遲，因為它們有助於資料組織、提高儲存資源的有效利用率並加快資料檢索速度。
相反，Kafka 依賴於連續輪詢過程，其中客戶端以設定的時間間隔重複請求資料。 在訊息量較低的期間，這可能會導致更高的延遲，因為客戶端可能會在輪詢間隔之間空閒等待。
然而，Pulsar 相對於 Kafka 的理論優勢在實踐中是否成立，取決於具體的工作量和使用模式。 最好還是自己做基準測試，以確定它是什麼樣子的。
3.可擴充套件性和永續性
Kafka 和 Pulsar 提供耐久性功能，以確保高可用性和系統彈性。 這兩種解決方案都允許您無限期地儲存訊息，這對於發生故障或災難時的恢復和連續性至關重要。 此外，Kafka 和 Pulsar 還支援地理複製（跨不同資料中心，甚至跨區域）。 Kafka 支援主題級複製; 另一方面，Pulsar 在主題和命名空間級別提供複製。 值得注意的是，與 Kafka 相比，Pulsar 在地理上複製資料時需要額外的“全域性”Zookeeper 集群，這增加了複雜性。
Kafka 和 Pulsar 都是高度可擴充套件的平台。 與 Kafka 相比，Pulsar 的分段分層架構可能會在一定程度上提高靈活性和可擴充套件性（因為 Pulsar 的資料和服務層是獨立擴充套件的）。
到目前為止，Kafka 可擴充套件性的最大瓶頸是 Apache Zookeeper 的使用。 ZooKeeper 儲存 Kafka 的元資料，包括有關主題、分割槽、副本及其配置的資訊。 ZooKeeper 限制了 znode（ZooKeeper 中的資料節點）中可以儲存的最大資料大小。 此資料大小限制間接限制了 Kafka 可以管理的分割槽數（每個集群大約 500k 個分割槽）。
然而，如前所述，Kafka 正在消除對 Zookeeper 的依賴，轉而支援 kraft。 換句話說，ZooKeeper 對每個集群施加的 500k 分割槽限制將不再存在。 Kraft 還帶來了其他好處，例如，它支援控制器的近乎即時的故障轉移，並簡化了 Kafka 的架構、部署和配置。
無論有沒有牛皮紙，Kafka 都可以毫不費力地擴充套件到絕大多數用例。 Pulsar 也非常適合處理大規模場景。 事實上，除非你正在處理超大規模方案（每天 PB 級資料和數萬億條訊息），否則使用這兩種工具中的任何乙個都不太可能遇到嚴重的可伸縮性問題。 即便如此，通過重新架構或優化 Kafka 或 Pulsar 部署，也不可能不解決這些問題。
5. Kafka vs. Pulsar：生態系統
到目前為止，我們已經將 Kafka 和 Pulsar 視為高效能、高度可擴充套件且持久的解決方案。 但是，在選擇資料流平台時，您不能只考慮延遲和規模。 考慮到這一點，讓我們比較一下 Kafka 和 Pulsar 的開發者體驗和生態系統。
1.GitHub 統計、資源、社群和文件、學習和培訓
你需要一些背景知識來充分了解 Kafka 和 Pulsar 社群和資源之間的差異。
Kafka 在 2012 年成為 Apache 軟體大會的官方專案，四年後的 2016 年，Pulsar 達到了同樣的里程碑。 此外，Kafka 的開源特性有助於其快速採用對實時事件流解決方案的需求激增。
這在很大程度上說明了 Kafka 相對於 Pulsar 的優勢，具體體現在以下幾個方面。 話雖如此，Pulsar 的社群正在經歷增長，這始終是專案未來增長的良好指標。
總之，不可否認的是，在文件、資源和社群方面，Kafka 優於 Pulsar。 Kafka 也更受歡迎（根據 GitHub 統計資料），也更容易學習（雖然 kafka 和 pulsar 都很難掌握）。
2.CLI 和客戶端
總的來說，Kafka 和 Pulsar 在 CLI 工具方面似乎不相上下。 兩者都提供了乙個 CLI，允許您管理和與 Kafka Pulsar 部署進行互動。 當然，你可以用這些 CLI 做什麼也存在一些差異（其中一些差異源於 Kafka 和 Pulsar 是具有一些不同功能的不同平台）。 例如，Kafka CLI 提供了更好、更詳細的命令來管理消費者組，而 Pulsar 的 CLI 工具允許你管理包（這是 Kafka 的 CLI 無法做到的）。
Kafka 和 Pulsar 都通過其客戶端庫支援多種程式語言。 Kafka 在支援的語言數量上略有優勢，這主要是因為它的存在時間更長，應用範圍更廣，這導致了更多第三方客戶端庫的開發。 有關詳細資訊，請參閱下一節。
3.語言支援
Kafka 提供了官方的 J**a 和 Scala 客戶端庫。 Confluent（由Apache Kafka的建立者創立）為C提供了許多其他官方支援的客戶端，包括C++，C.NET、Python、GO 和 Nodejs。同樣，Pulsar 也有 j**a、c、c++、c 的目標.NET、Python、GO 和 NodeJS 的官方客戶端庫。 從本質上講，Pulsar 和 Kafka 通過其官方客戶端庫面向相同的程式語言（唯一值得注意的區別是官方 Kafka 客戶端支援 Scala，而 Pulsar 不支援）。
除了這些官方客戶外，還有：許多第三方 Pulsar 和 Kafka 客戶端庫其中大多數是開源專案。Kafka 略有優勢，因為您可以找到用於 PowerShell、Perl 和 Swift 的 Kafka 客戶端（這些語言沒有 Pulsar 客戶端庫）。
請注意，Kafka 和 Pulsar 也提供了一些與語言無關的客戶端。 例如，Pulsar 提供了 REST 和 WebSocket 客戶端，而 Kafka 提供了多個 HTTP 客戶端（官方和社群）。 了解有關 Kafka 客戶端和 Pulsar 客戶端的更多資訊。
4.生態系統
與 Pulsar 相比，Kafka 擁有更大的生態系統。 Kafka Connect 框架可以方便地將資料從其他系統引入 Kafka，並通過 Kafka Connect 框架將資料從 Kafka 主題流式傳輸到不同的目的地。 有數百個聯結器適用於不同型別的系統，例如資料庫（如 MongoDB）、儲存系統（如 Azure Blob 儲存）、訊息傳遞系統（RabbitMQ、JMS）等。
同時，雖然 Pulsar 的生態系統不如 Kafka 成熟，但它仍然提供了大量多樣化的聯結器，並與 Aerospike、Datadog 和 RabbitMQ 等其他系統整合。
在內建的流處理能力方面，Kafka 優於 Pulsar。 他們的 Kafka Streams 庫允許您構建實時流處理應用程式，具有連線、聚合、視窗化和精確一次性處理等功能。 相比之下，Pulsar 僅通過 Pulsar 函式介面提供流處理的基本功能，適用於簡單的**。 除了內建的流處理能力外，Kafka 和 Pulsar 還整合了 Apache Flink、Apache Storm 和 Apache Beam 等流處理解決方案。
6. Kafka vs. Pulsar：許可證和部署選項
本節比較了 Kafka 和 Pulsar 的許可條款、商業支援選項、部署模型和託管服務產品。
1.許可和商業支援
正如你所看到的，Kafka 和 Pulsar 在許可方面沒有區別。這兩個平台都是開源的——它們都使用 Apache 許可證 20.
儘管如此如果你不想自己管理 Kafka Pulsar，也有第三方廠商提供商業支援。不過，值得指出的是，與 Pulsar 相比，Kafka 的商業支援更加成熟和廣泛。 有關詳細資訊，請參閱下一節。
2.部署模型和託管產品
Kafka 和 Apache 可以通過多種方式靈活部署，例如本地部署、雲端部署、使用 Docker 或 Kubernetes。 此外，許多託管服務提供商兩者都支援 Kafka 和 Pulsar，這簡化了這些系統的部署、擴充套件和管理。 但是，需要注意的是Kafka 供應商的數量更多（也更知名）。。這並不奇怪，畢竟，卡夫卡的歷史要長得多，並且比 Pulsar 更早（也更廣泛）被採用。
7. Kafka vs. Pulsar：安全性
在選擇資料流平台時，安全性通常是重中之重。 那麼 Pulsar 與 Kafka 相比如何？
Kafka 和 Pulsar 都提供了強大的安全功能，例如加密和強大的身份驗證和授權機制。
在某些方面，Pulsar 有優勢例如，它本身支援端到端加密，並具有內建的審核日誌。 這並不是說 Pulsar 本質上比 Kafka 更安全，也不是說 Kafka 缺乏關鍵的安全功能，但值得注意的是，Pulsar 提供了一些額外的安全機制，可能會派上用場。
結論
正如我們所看到的，Kafka 和 Pulsar 都是具有一些相似特徵的資料流平台。 它們都是高吞吐量、低延遲、持久且高度可擴充套件的解決方案，通過官方和第三方客戶端 SDK 具有良好的程式語言覆蓋率。
但是，它們之間也有很多差異。 例如，Pulsar 有一些額外的安全功能（比如內建的審計日誌）。 它還具有分層體系結構，可將儲存層與服務層分開。 這為您提供了靈活性，因為層可以根據您的需求獨立擴充套件。
另一方面，Kafka 的架構不太複雜，元件也更少。 此外，Kafka 擁有比 Pulsar 更強大、更成熟的聯結器和整合生態系統，並提供更豐富的流處理能力。 Kafka也有乙個更大的社群，Netflix和LinkedIn等巨頭在其超大規模實踐中對其進行了更廣泛的測試。
Kafka 或 Pulsar 是否是流媒體用例的最佳選擇，最終取決於您的決定。
原文丨quixio部落格kafka-vs-pulsar-comparisoncompilation丨聞數舞。
*丨今日頭條com/article/7296206768948970018/?log_from=13407589252bf_1699871003006
DBAPLUS 社群歡迎 editor@dbaplus 技術人員的貢獻cn