NSQ: a realtime distributed messaging platform

[hhstore]

related:

• 349

• 98

• 97

• 49

[hhstore]

NSQ:

• https://github.com/nsqio/nsq
  • dockerfile: https://github.com/nsqio/nsq/blob/master/Dockerfile
• 分布式消息队列
• nsq 最初是由 bitly 公司开源出来的一款简单易用的分布式消息中间件，它可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息。

企业用户案例:

• 头条
• 有赞: 并 fork 扩展了一个分支版本, 移植了部分 kafka 特性, 值得使用.

有赞 fork 版本:

• https://github.com/youzan/nsq
  • dockerfile: https://github.com/youzan/nsq/blob/master/Dockerfile
• [x] 增加了部分 kafka 特性.
• [x] 多机房集群支持.

install:

• https://github.com/better-go/pkg/wiki/nsq

ref:

• docker 搭建nsq集群
• nsq消息队列部署以及使用

竞品对比:

• nats:
  • https://github.com/nats-io/nats-server
  • https://github.com/nats-io/nats-streaming-server
• kakfa: https://github.com/apache/kafka
• rabbitmq: https://github.com/rabbitmq/rabbitmq-server

[hhstore]

nsq 架构:

nsqd:

• nsqd是nsq里面保存数据的服务
• 真正干活的就是这个服务，它主要负责message的收发，队列的维护。nsqd会默认监听一个tcp端口(4150)和一个http端口(4151)以及一个可选的https端口

nsqadmin:

• WEB UI，用来汇集集群的实时统计，并执行不同的管理任务
• http://localhost:14171/nodes
• 4171 端口映射

nsqlookupd:

• nsqlookupd就是中心管理服务，它使用tcp(默认端口4160)管理nsqd服务，使用http(默认端口4161)管理nsqadmin服务

消息 pub/sub 模型:

生产者:

• 必须直连nsqd去投递message

消费者:

1. 消费者直连nsqd，这是最简单的方式，缺点是nsqd服务无法实现动态伸缩了(当然，自己去实现一个也是可以的)
2. 消费者通过http查询nsqlookupd获取该nsqlookupd上所有nsqd的连接地址，然后再分别和这些nsqd建立连接(官方推荐的做法)，但是客户端会不停的向nsqlookupd查询最新的nsqd地址目录(不喜欢用http轮询这种方式…)

[hhstore]

nsq 部署:

• 基于 docker-compose 部署
• 请使用如下 docker-compose 文件:
  • https://github.com/service-mesh/devops
  • https://github.com/service-mesh/devops/blob/master/deploy/compose/local/infra-mq-nsq.yml
• https://nsq.io/deployment/docker.html

cd devops/deploy/compose/local

# 启动: 
make up.mq.nsq

部署成功验证:

admin 后台:

• http://localhost:14171/nodes

集群健康状态:

• 4161 端口映射的宿主机端口.

# 服务验证:
test.nsq:
    #  container port 4161 端口映射
    curl http://127.0.0.1:14161/ping

[hhstore]

集群测试:

Pub msg:

• 基于 http API 发布消息:
• 官方 nsqd 文档 HTTP API: https://nsq.io/components/nsqd.html

# api 测试: https://nsq.io/components/nsqd.html
test.nsq.pub1:
    curl -d "<test msg>" http://127.0.0.1:14151/pub?topic=test
    curl -d "<test channel 1 msg>" http://127.0.0.1:14151/pub?topic=test&channel=test_ch1

test.nsq.pub2:
    curl -d "<test msg>" http://127.0.0.1:14152/pub?topic=test2

• http://localhost:14171/topics/test/test_ch1

Sub msg:

• 利用官方提供的 nsq_to_file 工具, 查看消息 log
• https://nsq.io/components/utilities.html#nsq_to_file
• 如上的 docker-compose 服务里, 已启动一个服务nsqlog1 和 nsqlog2 就是nsq_to_file 工具
• 需要进入到该容器查看 /tmp/nsq 目录下的 log. 验证 消息发布成功.
• 因为是临时测试, 直接进容器查看就可以了.

[hhstore]

与 go-micro 集成:

• https://github.com/micro/go-plugins
  • nsq: https://github.com/micro/go-plugins/tree/master/broker/nsq

docs:

• https://m3o.com/docs/go-plugins.html
• https://m3o.com/docs/plugins-framework.html
• repo 的 readme 给出插件使用示例.
• https://dev.m3o.com/concepts/plugins