为什么Kafka性能强于RabbitMQ

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

为什么Kafka性能强于RabbitMQ

  2020-10-09 我要评论

一、Kafka VS RabbitMQ   

     检验一款消息队列的核心性能指标是 系统吞吐量 和 系统延迟

  • 吞吐量测试测量队列在硬件(特别是磁盘和 CPU)使用方面的效率。
  • 延迟测试测量每个系统传递实时消息的差别,这是实时任务关键型应用程序以及微服务架构的核心要求。

结论:

吞吐量:Kafka 在三个系统中的吞吐量最高,是 RabbitMQ 的 15 倍,Pulsar 的 2 倍。

系统延迟:Kafka 在较高的吞吐量下提供了最低的延迟,同时还提供了强大的持久性高可用性。RabbitMQ 可以实现比 Kafka 更低的端到端延迟(在吞吐量低很多的情况下)

二、Kafak的高吞吐和低延迟是怎么实现的?

  1. 页缓存技术+磁盘顺序写

       Kafka的消息数据是写在硬盘上的,保证了消息数据的可靠性,但写硬盘还能保证几十万条/秒的消息处理速度,是怎么做到的?答案是基于操作系统的页缓存和磁盘顺序写来实现的。

        页缓存Page Cache—操作系统自己管理的内存缓存(os cache)。Kafka在写入消息时是直接写入页缓存,然后由操作系统决定什么时候把页缓存里的数据刷入磁盘文件中。这样一来,消息写入性能就变成了写内存,不是在写磁盘,请看下图。

                                  

         常规的磁盘写入都是随机写,随便找到文件的某个位置来写数据,这样的性能非常差,但是追加文件末尾按照顺序的方式来写数据的话,其写入性能跟写内存的性能都相差无几的。Kafak就是采用顺序写的方案,再加上页缓存的应用,才能做到在普通服务器上每秒写入几十万条消息,实现了数据写入的超高性能 。

     2.零拷贝技术

        解决了写入问题,那消息读取呢?频繁的从磁盘读数据然后发给消费者,性能又是如何保证的?Kafka为了解决这个问题,在读数据的时候是引入零拷贝技术。

先看下图是常规的硬盘读写流程,操作系统读取硬盘数据后放在OS Cache,然后需要拷贝一次到Kafka进程,然后Kafka再将数据拷贝到Socket缓存才能发送到网卡,这样流程的性能当然没有保障。

       

 再看下图, Kafka的设计为直接将操作系统OS Cache中的数据发送到网卡,跳过了两次拷贝数据的步骤,Socket缓存中仅仅会拷贝一个描述符过去,不会拷贝数据到Socket缓存,大大提升了数据读取性能。

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们