整合到pulsar的helm安装包里

xiaoxiongmao-liu commented 3 years ago

请问有解决方案么

codelipenghui commented 3 years ago

@iTigeroar @xiaoxiongmao-liu Will build an image with MQTT protocol handler and upgrade the helm chart to allow enable MoP.

codelipenghui commented 3 years ago

@timmyyuan Could you please help with the MoP release part? Make sure we have MoP in the docker image such as KoP.

codering commented 3 years ago

any update？

liangyuanpeng commented 3 years ago

请问有解决方案么

@xiaoxiongmao-liu You can use init-container to download mop file of nar to protocols directory and juse use it.

xiaoxiongmao-liu commented 3 years ago

请问有解决方案么

@xiaoxiongmao-liu You can use init-container to download mop file of nar to protocols directory and juse use it.

@liangyuanpeng I have solved it

liangyuanpeng commented 3 years ago

请问有解决方案么

@xiaoxiongmao-liu You can use init-container to download mop file of nar to protocols directory and juse use it.

@liangyuanpeng I have solved it

Great, Could you share your case? I think it will help the other people.

xiaoxiongmao-liu commented 3 years ago

请问有解决方案么

@xiaoxiongmao-liu You can use init-container to download mop file of nar to protocols directory and juse use it.

@liangyuanpeng I have solved it

Great, Could you share your case? I think it will help the other people.

准备mop的.nar文件

mop官方链接

第一种方式：直接下载官方已打好的nar包
第二种方式：从官方拷贝源码，自己在本地打包，打包过程在官方文档中说明的比较清楚

准备Dockerfile

FROM  apachepulsar/pulsar-all:2.7.2

COPY *.nar ./protocols/

RUN echo 'messagingProtocols=mqtt \n\
mqttProxyEnable=true \n\
mqttProxyPort=5682' >> ./conf/broker.conf

注意：

基础镜像我在这里选择的是pulsar官方提供的2.7.2版本，后续helm版本要保持一致，若不能保证完全一致，至少要保证helm的版本是2.7.*
写入 broker.conf配置文件中的配置我这里少写了一个 mqttListeners=mqtt://127.0.0.1:1883 这里如果下载了源码进行打包的同学可以在 MQTTProtocolHandler类中下面位置新增被圈中的代码

如果没有下载源码，那么要在Dockerfile里写入broker.conf配置时新增，地址写pulsar在k8s中对内的服务名：{service_name}.{namespace}.svc.cluster.local，类似于上述给定的形式。若不知道，可以先尝试用pulsar的官方helm部署一次即可得知，后面还得加上端口号1883

Dockerfile要与nar文件处于同一目录下，如/etc/mop
生成镜像

在/etc/mop目录下执行docker build -t apachepulsar/pulsar-all:2.7.2-mop . 生成本地镜像

准备helm

pulsar-helm官方地址
安装好helm，网上教程很多，这里就不在赘述
从pulsar-helm官方网址中下载pulsar-helm到本地
修改helm中的values.yaml文件中pulsar镜像配置，路径：../pulsar-helm-chart/charts/pulsar/values.yaml找到images配置，如下图 ,apachepulsar/pulsar-all的tag都改成2.7.2-mop

在pulsar-helm-chart目录下执行以下命令

helm install pulsar charts/pulsar \                              
--timeout 10m \
--set initialize=true \
--set volumes.persistence=false \
--set namespaceCreate=true \
--set namespace=pulsar \
--set affinity.anti_affinity=false

等待部署完成即可，部署所在k8s的namespace为pulsar。

我的环境相关

Mac，docker desk，docker desk自带的k8s

更多说明

其他可参考上述描述自行摸索，另外验证是否部署成功，可在k8s的dashboard进行观察，验证mop是否生效，可以部署一个pod用mqtt协议去连接pulsar，地址即是：{service_name}.{namespace}.svc.cluster.local:5682。若想在k8s外部验证，需要k8s对外开放此服务的5682端口，mqtt地址改成外部访问k8s此服务的域名或者地址，具体方法请自行摸索

codelipenghui commented 3 years ago

Here is an image that contains the MoP plugin under the ./protocols directly. And the subsequent release will also contain the MoP plugin.

liangyuanpeng commented 3 years ago

@xiaoxiongmao-liu

感谢你的分享，基本上就是自行打包镜像将nar文件放到镜像里面，但这样不能很好的跟着上游更新。

在我看来更友好的方式应该是用一个init-container去下载对应的nar文件到pulsar broker需要使用的protocols目录下. 或者是pulsar官方镜像有一个版本本身已经带有nar文件( 协议插件不是必须的，因此是另一个带有nar文件的版本而不是pulsar原先的版本).

例如上述提供的streamnative/sn-pulsar, 这就可以作为一个带有nar文件的镜像版本使用

liangyuanpeng commented 3 years ago

I think streamnative/charts worth paying attention to.

Especially https://github.com/streamnative/charts/pull/295 (Enable MQTT-on-Pulsar on Broker ).

streamnative / mop