NSQ 学习总结

[jinhailang]

概述

NSQ是一个基于Go语言的分布式实时消息平台，其当前最新版本是1.0.0版。可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息，其设计目标是为在分布式环境下运
行的去中心化服务提供一个强大的基础架构。NSQ具有分布式、去中心化的拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。
NSQ非常容易配置和部署，且具有最大的灵活性，支持众多消息协议。另外，官方还提供了拆箱即用Go，Python等多种语言库。如果读者兴趣构建自己的客户端的话，还可以参考官方提供的协议规范。

四个重要组件

• nsqd：一个负责接收、排队、转发消息到客户端的守护进程

  -broadcast-address string
  注册到 lookupd 的地址，默认是 OS hostname，需要注意的是消费者客户端使用 
  ConnectToNSQLookupd 时，应该设置服务器真实ip，例如：-broadcast-address=192.168.3.101
  否则会连接不到nsqd实例。
  
  -men-queue-size int
  内存队列大小，超过该大小后，会将一部分消息存储到磁盘，为了保证消息的不丢失，可将 -men-queue-size=0 
  那么，节点重启后消息依然存在。
  
  -lookupd-tcp-address value
  nsqlookupd 实例运行地址，可以多次设置不同nsqlookupd 实例运行地址。

  以上是比较重要的配置项，应该在启动 nsqd 时指定。

• nsqlookupd：管理拓扑信息并提供最终一致性的发现服务的守护进程

  管理集群下的 nsqd 节点，保证 topic 消息的一致性，一个集群至少布置三个nsqlookupd 实例，保证集群冗余可用性。

  -tcp-address string
  <addr>:<port> to listen on for TCP clients (default "0.0.0.0:4160")
  -http-address string
  <addr>:<port> to listen on for HTTP clients (default "0.0.0.0:4161")

• nsqadmin：一套Web用户界面，可实时查看集群的统计数据和执行各种各样的管理任务

  -lookupd-http-address value
  lookupd HTTP address (may be given multiple times)
  -notification-http-endpoint string
  HTTP endpoint (fully qualified) to which POST notifications of admin actions will be sent
  将 web 管理操作消息发送到指定节点

• utilities：常见基础功能、数据流处理工具，如nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq

主要特性

• 具有分布式且无单点故障的拓扑结构 支持水平扩展，在无中断情况下能够无缝地添加集群节点低延迟的消息推送
• 消息数据既可以存储于内存中，也可以存储在磁盘中
• 支持安全传输层协议（TLS），从而确保了消息传递的安全性
• 非常易于部署（几乎没有依赖）和配置（所有参数都可以通过命令行进行配置）
• 支持多种语言的客户端功能库，例如Go,Python等
• 有强大的集群管理界面，参见nsqadmin

作为高效的分布式消息服务，NSQ实现了合理、智能的权衡，从而使得其能够完全适用于生产环境中，具体内容如下：

• 支持消息内存队列的大小设置，默认完全持久化（值为0），消息即可持久到磁盘也可以保存在内存中
• 保证消息至少传递一次,以确保消息可以最终成功发送（消费者客户端回复 FIN（结束）或 REQ（重新排队）分别指示成功或失败。如果客户端没有回复, NSQ 会在设定的时间超时，自动重新排队消息）
• 收到的消息是无序的, 实现了松散订购
• 发现服务nsqlookupd具有最终一致性,消息最终能够找到所有Topic生产者

数据流模型

• 数据流程模型

• Channels 处理

参考

NSQ 官网