国庆充电包｜Apache Pulsar 从入门到实践

编程入门行业动态更新时间:2024-10-07 03:22:16

国庆充电包｜Apache Pulsar 从入门到实践

Hi 小伙伴们，国庆节快乐！同时，也感谢你加入 Apache Pulsar 社区——一个快速成长的消息流技术社区。Apache Pulsar ，是 Apache 软件基金会顶级项目，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

你选择了解、学习、调研和使用 Apache Pulsar，那就对了！你在与 Apache Pulsar 社区共同携手创造未来，并将未来变成现实。Apache Pulsar 能够帮助你解决旧有技术痛点，节省成本、更好助力团队创造业务价值，突破旧技术边界！

可能你对 Apache Pulsar 还不甚熟悉，苦于手头没有好资料，不知道怎么入手，那你来到这里就对了，我们首推大家阅读、查阅 - Apache Pulsar 官方文档^[1] 。同时，本文也整合了 Apache Pulsar 社区建立以来的优质干货资料，它是一份小百科、大集锦，希望对你有帮助。假期休闲时刻，欢迎了解阅读哟😄️　

基础入门向

要点：通过该模块，你可以了解 Apache Pulsar 的发展过程、特性、工作原理等。

•Apache Pulsar 介绍•简介Apache Pulsar-下一代分布式消息系统•怎么用 Pulsar ？举个栗子来看看•理解Apache Pulsar工作原理•Apache Pulsar 分层存储帮你省钱•Apache Pulsar：从消息系统到流原生平台•Pulsar namespace 策略的简单小介绍•Apache BookKeeper 简介•Pulsar IO 简介•Pulsarctl 介绍•Pulsar Connector 预览篇•Pulsar Source 入门篇•Pulsar Sink 入门指南•Pulsar Kafka Client 简单介绍•译文 | 科普：Pulsar 和 Kafka 架构对比• 博文推荐 | Apache Pulsar 对现代数据堆栈至关重要的四个原因• 博文推荐｜Pulsar 的消息存储机制和 Bookie 的 GC 机制原理• 博文推荐 | 一文带你看懂 Pulsar 的消息保留和过期策略• 博文推荐｜多图详解 Apache Pulsar 消息存储模型• 博文推荐｜Pulsar 存储空间不释放的问题分析与解决方法• 博文推荐 | Apache Pulsar 延迟消息投递解析

Pulsar VS Kafka

要点：最全面的 Pulsar VS Kafka 特性、性能对比及基准测试数据！

•原因揭秘！为什么选择 Pulsar 而非 Kafka ？•选择 Pulsar 而不是 Kafka 的 7 大理由•Kafka 已落伍，转角遇见 Pulsar！•对比Apache Kafka和Apache Pulsar创建工作队列•Apache Pulsar 与 Kafka 性能比较：延迟性（测试结果）•Apache Pulsar 与 Kafka 性能比较：延迟性（测试过程）•Apache Pulsar 与 Kafka 性能比较：延迟性（测试方法）•Pulsar VS. Kafka（1）: 统一的消息消费模型（Queue + Stream）•Pulsar VS. Kafka（2）: 以Segment为中心的架构•Pulsar和Kafka基准测试：Pulsar性能精准解析（完整版）•Apache Pulsar 与 Apache Kafka 在金融场景下的性能对比分析• 译文｜选择 Apache Pulsar 而非 Kafka 的 10 个理由

Pulsar 进阶篇

要点：了解 Pulsar 基础后，让我们更深入的了解 Pulsar 的负载均衡、认证授权、访问模式等细节，大展拳脚！

•Pulsar 负载均衡设计•深入了解 Pulsar 认证和授权机制•Pulsar 如何应用到数据查询中•Pulsar SQL -- 数据流的并发查询•用 Apache Pulsar SQL 查询数据流•Apache Pulsar 的访问模式与分层存储•Apache Pulsar 正式引入 Cloud Storage Sink 连接器：实现 Apache Pulsar 数据上云•使用 Elastic Beats 搜集日志到 Pulsar•如何使用 Pulsar Dashboard 监控•如何使用 OpenTracing 和 Jaeger 追踪 Pulsar 消息•使用 Apache SkyWalking 对 Apache Pulsar 进行消息链路追踪与性能监控•如何使用 Apache Flume 发送日志数据至 Apache Pulsar•深入理解之 Apache Pulsar Connector 与 Partition 关系篇•在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar•如何在 Pulsar 中使用 Debezium Connector•Pulsar 分级存储 -- S3 演示• 博文推荐 | Apache Pulsar 三大跨地域复制解决方案• 博文推荐｜深度解析如何在 Pulsar 中实现隔离• 博文推荐｜腾讯专家深度解析 Apache Pulsar 五大应用场景

Pulsar 集群

要点：手把手教你如何实现跨地域复制以及搭建简单的测试集群！

•跨地域复制系列(一)Apache Pulsar Pulsar的跨地域复制机制介绍•跨地域复制系列(二)Apache Pulsar 的跨地域复制实践•MacOS 单机搭建 Pulsar 集群•在多台 Linux 服务器上搭建 Pulsar 集群•订阅状态的复制？跨机房同步下如何应用• 译文 | Apache Pulsar 集群如何确保消息不丢•博文推荐｜零经验玩转隔离策略：多个 Pulsar 集群

Functions

要点：带你快速了解 Pulsar Functions 并分享其使用指南！

•一篇文章了解 Pulsar Functions•用 Pulsar Functions 进行实时分析•Pulsar Functions 的深入小分享•Pulsar Functions 简要指南：原理、目标与规划•Functions Debug 终极指南•Pulsar Functions Worker 的选举机制•Apache Pulsar 之 Java Function 实践篇•Apache Pulsar 之 Python Function•基于 Pulsar Functions 的事件处理设计模式•深入理解 Apache Pulsar Connector 与 Functions 的关系•Apache Pulsar 之 Go Function• 译文 | 深度剖析 Pulsar Functions• 新功能详解+试用征集：Pulsar Function Mesh• 译文｜借助 Pulsar Functions 迁移到无服务应用程序•[专题] Function Mesh：Serverless 在消息与流数据场景下的火花•技术探究：Apache Pulsar 的事务型事件流•深入解析 Apache Pulsar 中的事务•基于 Pulsar 事务实现 Exactly-Once 语义

BookKeeper

要点：Apache BookKeeper 很难吗？点击下方文章带你深入浅出，一起再看 BookKeeper！

•Apache BookKeeper 简介•Apache BookKeeper 很复杂吗？你细品•一起再看 BookKeeper（不知是不是大结局）•为什么选择 Apache BookKeeper - Part 1•为什么选择 Apache BookKeeper — Part 2•使用 GCS offloader 卸载存储在 BookKeeper 中的数据•使用 AWS S3 offloader 卸载存储在 BookKeeper 中的数据•5张图带你快速入门 Pulsar 的存储引擎 BookKeeper

批流融合

要点：批流融合是如何实现的？

•Queuing vs Streaming•Flink Forward China: 使用Apache Pulsar和Apache Flink进行批流一体的弹性数据处理•Flink 和 Pulsar 的批流融合•从消息系统到数据平台•如何使用 Apache Flink 查询 Pulsar 流•Pulsar 怎样为批流处理提供融合的存储

•如何基于 Pulsar 和 Spark 进行批流一体的弹性数据处理？•Flink 和 Pulsar 的批流融合

用户案例及重大发布

要点：让我们一起看看各大公司在哪些场景会使用 Pulsar！

•最佳实践｜Apache Pulsar 在拉卡拉的技术实践•Apache Pulsar 助力金山云日志服务，日处理 200TB 数据•最佳实践｜放弃 Ceph，Salesforce 使用 Apache BookKeeper 在云中实现最强存储•最佳实践｜Apache Pulsar 在华为云物联网之旅•[专题] 防宕机，Pulsar 跨机房复制了解一下？•消息队列上云挑战与方案：腾讯云的 Apache Pulsar 实践

•在 STICORP 使用 Apache Pulsar 构建数据驱动的应用程序•Narvar 为何迁移到 Apache Pulsar•个推基于 Apache Pulsar 的优先级队列方案•雅虎日本如何用 Pulsar 构建日均千亿的消息平台•甜橙金融如何利用 Apache Pulsar 在日均上亿的交易中抵御金融诈骗•Apache Pulsar 在腾讯计费场景下的应用•化繁为简 - 腾讯计费高一致 TDXA 的实践之路•Pulsar 在涂鸦智能的实践•Pulsar SQL 在智联搜索日志中的应用•为什么 Nutanix Beam 没选择 Apache Kafka，而选择了 Apache Pulsar？•Apache Pulsar 在 BIGO 的性能调优实战（上）•跨城实践中，腾讯如何应用 Apache Pulsar•Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践•Apache Pulsar 助力江苏移动重塑 5G 时代计费支撑系统•Apache Pulsar在智联招聘的实践 -- 从消息队列到基于Apache Pulsar的事件中心•Apache Pulsar 携手 THG，开启深度实践和积极回馈 Apache 之旅•Apache Pulsar 在 EMQ 物联网平台产品 ActorCloud 上的应用• Apache Pulsar 在能源互联网领域的落地实践• Apache Pulsar 在 BIGO 的性能调优实战（下）• 从 Kafka 到 Pulsar，BIGO 打造实时消息系统之路• 传智教育 x Pulsar：互联网教育的未来• Apache Pulsar 在自研数据管道中的技术实践

•StreamNative 和中国移动宣布开源 AoP：Apache Pulsar 支持原生 AMQP 协议•KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议•批流融合：Pulsar Flink Connector 2.7.0 发布• KoP 2.8.0 新特性前瞻（内附视频）• StreamNative 宣布开源 AWS SQS Connector

博文推荐

要点：全网最全面 Pulsar 相关干货博文合集！

•完整版 | 2021 年 Apache Pulsar 用户调查报告•Pulsar IO 中 Schema 的调用流程•Apache Pulsar 基于 Log4j2+Kafka+ELK 实现日志的快速检索•Apache Pulsar 里程碑简史：打造统一消息流平台与生态•Apache Pulsar：云原生时代的消息服务•消息系统的发展趋势：云原生是未来•深度解析云原生消息队列 AMQP•Apache Pulsar 在移动云上的应用•Pulsar Topic 压缩•译文｜Pulsar Schema Registry•博文推荐｜有效管理数据安全性—— Pulsar Schema 管理•译文｜LogDevice 与 Apache Pulsar 之间的对比•使用 Apache Pulsar Functions 进行简单事件处理•译文｜Apache Pulsar 如何保证消息不丢不重？•译文｜Apache Pulsar 的分层存储•译文｜如何将 Pulsar 用作消息队列•博文推荐｜多图科普 Apache Pulsar•技术探究：Apache Pulsar 的事务型事件流•博文推荐｜零经验玩转隔离策略：多个 Pulsar 集群•技术博文｜Flink 和 Pulsar 的批流融合•博文推荐｜如何使用Apache Pulsar + Hudi 构建 Lakehouse•译文｜基于 Pulsar 的事件驱动铁路网•优雅的故障处理：快速创建 Pulsar 重试队列

视频及活动回顾

要点：带你走进 Pulsar 相关活动！

Pulsar Meetup 2021

• Apache Pulsar PMC成员翟佳：Pulsar 2021 展望与规划•Apache Doris x Pulsar Meetup 北京站•Apache Hudi x Pulsar Meetup 杭州站• 活动回顾 | Apache Pulsar Meetup 杭州站 & 上海站（含 PPT 和视频）• 活动回顾 | Apache Pulsar Meetup · 北京站（含 PPT 和视频）• 活动回顾 | Apache Pulsar Meetup · 深圳站（附视频与PPT）• 活动回顾 | Apache Pulsar Meetup · 广州站（附视频与PPT）

Pulsar Summit Asia 2020

•视频回顾 | Pulsar Summit Asia 2020 · 主题演讲•视频回顾 | Pulsar Summit Asia 2020 · 场景案例(上)：即时零售, 金融证券, 物联网, 电信计费等•视频回顾 | Pulsar Summit Asia 2020 · 场景案例(下)：覆盖 IoT、电商、联邦学习、能源互联网等行业•视频回顾 | Pulsar Summit Asia 2020 · 技术探究与生态：解析 Pulsar 组件，生态融合•视频回顾 | Pulsar Summit Asia 2020 · 英文专场：汇聚全球 Pulsar 开发者精彩•StreamNative CEO 郭斯杰带你深度解析“消息、流、存储”三位一体融合趋势

Pulsar Summit 2021 北美峰会

•Pulsar Summit 2021 北美峰会 - 主题演讲•Pulsar Summit 2021 北美峰会 - 周边生态专场演讲•Pulsar Summit 2021 北美峰会 -技术探究专场

更多 Pulsar 视频汇总地址：

TGIP 相关文章、PPT及视频

请复制下面链接获取：（百度云盘下载）

链接:

密码:

82sq