Kafka

Kafka

Kafka 3.0重磅发布,都更新了些啥?

Andy_Lee 发表了文章 • 0 个评论 • 1548 次浏览 • 2021-09-24 19:47 • 来自相关话题


【编者的话】Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。

Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。

Kafka 具有...
查看更多

Kafka原理以及分区分配策略剖析

阿娇 发表了文章 • 0 个评论 • 1479 次浏览 • 2021-09-24 12:35 • 来自相关话题


简介

Apache Kafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列(Message Queue))。

流处理平台有以下3个特性:
  • 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
    ...
查看更多

一篇文章把RabbitMQ、RocketMQ、Kafka三元归一

guoaaaad 发表了文章 • 0 个评论 • 2028 次浏览 • 2021-09-22 15:19 • 来自相关话题


三大主流MQ的组织结构

RabbitMQ

RabbitMQ各组件的功能
  • Broker:一个RabbitMQ实例就是一个Broker
  • Virtual Host:虚拟主机。**相当于MySQL的Data...
查看更多

事务消息大揭秘!RocketMQ、Kafka、Pulsar全方位对比

aoxiang 发表了文章 • 0 个评论 • 4057 次浏览 • 2021-09-15 21:02 • 来自相关话题


事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不...
查看更多

避坑指南:Kafka集群快速扩容的方案总结

玻璃樽 发表了文章 • 0 个评论 • 1197 次浏览 • 2021-08-21 17:39 • 来自相关话题


【编者的话】熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时...
查看更多

深入理解零拷贝技术

翔宇 发表了文章 • 0 个评论 • 2034 次浏览 • 2021-08-06 10:58 • 来自相关话题



注意事项:除了 Direct I/O,与磁盘相关的文件读写操作都有使用到 page cache 技术。

数据的四次拷贝与四次上下文切换

很多应用程序在面临客户端请求时,可以等价为进行如下的系统调用:
  1. File.r...
查看更多

2万字长文搞懂Kafka

guoaaaad 发表了文章 • 0 个评论 • 2419 次浏览 • 2021-07-06 12:10 • 来自相关话题


【编者的话】之前学过一点点Kakfa,不过不是系统的学习,这次学习还是参照视频来的,主要是学习Kafka的使用以及整体的知识,以及面试的相关知识点。

Kafka简介

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2572 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 1928 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 2513 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

Kafka 3.0重磅发布,都更新了些啥?

Andy_Lee 发表了文章 • 0 个评论 • 1548 次浏览 • 2021-09-24 19:47 • 来自相关话题


【编者的话】Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。

Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。

Kafka 具有...
查看更多

Kafka原理以及分区分配策略剖析

阿娇 发表了文章 • 0 个评论 • 1479 次浏览 • 2021-09-24 12:35 • 来自相关话题


简介

Apache Kafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列(Message Queue))。

流处理平台有以下3个特性:
  • 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
    ...
查看更多

一篇文章把RabbitMQ、RocketMQ、Kafka三元归一

guoaaaad 发表了文章 • 0 个评论 • 2028 次浏览 • 2021-09-22 15:19 • 来自相关话题


三大主流MQ的组织结构

RabbitMQ

RabbitMQ各组件的功能
  • Broker:一个RabbitMQ实例就是一个Broker
  • Virtual Host:虚拟主机。**相当于MySQL的Data...
查看更多

事务消息大揭秘!RocketMQ、Kafka、Pulsar全方位对比

aoxiang 发表了文章 • 0 个评论 • 4057 次浏览 • 2021-09-15 21:02 • 来自相关话题


事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不...
查看更多

避坑指南:Kafka集群快速扩容的方案总结

玻璃樽 发表了文章 • 0 个评论 • 1197 次浏览 • 2021-08-21 17:39 • 来自相关话题


【编者的话】熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时...
查看更多

深入理解零拷贝技术

翔宇 发表了文章 • 0 个评论 • 2034 次浏览 • 2021-08-06 10:58 • 来自相关话题



注意事项:除了 Direct I/O,与磁盘相关的文件读写操作都有使用到 page cache 技术。

数据的四次拷贝与四次上下文切换

很多应用程序在面临客户端请求时,可以等价为进行如下的系统调用:
  1. File.r...
查看更多

2万字长文搞懂Kafka

guoaaaad 发表了文章 • 0 个评论 • 2419 次浏览 • 2021-07-06 12:10 • 来自相关话题


【编者的话】之前学过一点点Kakfa,不过不是系统的学习,这次学习还是参照视频来的,主要是学习Kafka的使用以及整体的知识,以及面试的相关知识点。

Kafka简介

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2572 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 1928 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 2513 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

Kafka 3.0重磅发布,都更新了些啥?

Andy_Lee 发表了文章 • 0 个评论 • 1548 次浏览 • 2021-09-24 19:47 • 来自相关话题


【编者的话】Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。

Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。

Kafka 具有...
查看更多

Kafka原理以及分区分配策略剖析

阿娇 发表了文章 • 0 个评论 • 1479 次浏览 • 2021-09-24 12:35 • 来自相关话题


简介

Apache Kafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列(Message Queue))。

流处理平台有以下3个特性:
  • 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
    ...
查看更多

一篇文章把RabbitMQ、RocketMQ、Kafka三元归一

guoaaaad 发表了文章 • 0 个评论 • 2028 次浏览 • 2021-09-22 15:19 • 来自相关话题


三大主流MQ的组织结构

RabbitMQ

RabbitMQ各组件的功能
  • Broker:一个RabbitMQ实例就是一个Broker
  • Virtual Host:虚拟主机。**相当于MySQL的Data...
查看更多

事务消息大揭秘!RocketMQ、Kafka、Pulsar全方位对比

aoxiang 发表了文章 • 0 个评论 • 4057 次浏览 • 2021-09-15 21:02 • 来自相关话题


事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不...
查看更多

避坑指南:Kafka集群快速扩容的方案总结

玻璃樽 发表了文章 • 0 个评论 • 1197 次浏览 • 2021-08-21 17:39 • 来自相关话题


【编者的话】熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时...
查看更多

深入理解零拷贝技术

翔宇 发表了文章 • 0 个评论 • 2034 次浏览 • 2021-08-06 10:58 • 来自相关话题



注意事项:除了 Direct I/O,与磁盘相关的文件读写操作都有使用到 page cache 技术。

数据的四次拷贝与四次上下文切换

很多应用程序在面临客户端请求时,可以等价为进行如下的系统调用:
  1. File.r...
查看更多

2万字长文搞懂Kafka

guoaaaad 发表了文章 • 0 个评论 • 2419 次浏览 • 2021-07-06 12:10 • 来自相关话题


【编者的话】之前学过一点点Kakfa,不过不是系统的学习,这次学习还是参照视频来的,主要是学习Kafka的使用以及整体的知识,以及面试的相关知识点。

Kafka简介

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2572 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 1928 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 2513 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。