Netis / cloud-probe

A Software Probe for network packet capturing and forwarding in Cloud/Kubernetes and Virtualized environment.
BSD 3-Clause "New" or "Revised" License
958 stars 172 forks source link

客户生产环境pktminerg采集数据包,出现乱序问题 #166

Closed tttccabc closed 4 months ago

tttccabc commented 4 months ago

回复_ 关于云下PA流量采集验证解码的进度沟通.pdf Pktminerg版本截图

问题说明:生产环境部署PA,cpm下发采集任务,pktminerg进行流量采集,通过zmq发送到bpc接收,数据包间歇性存在乱序,由于数据包是tls加密,乱序后导致BPC无法解出交易。

为什么说是pktminerg采集问题? 现场做过判断:目标服务器流量2-4Mbps; 》 有gigamon TAP做了镜像; pktminerg有两个采集任务:》1采集存储包本地; 》2采集zmq送到bpc,probe_recv接收存储。

通过对比上面3个采集pcap数据包,结论是tap镜像方式,数据包完整无乱序,无丢包; pktminerg采集的2种方式结果一致,都存在乱序。

附件说明:

  1. 附件pdf,是现场采集结果对比邮件截图。
  2. 现场pktminer版本截图。
github-actions[bot] commented 4 months ago

Message that will be displayed on users first issue

robbietu commented 4 months ago

此问题需要进一步的验证和调研。

rivercg commented 4 months ago

通过和 @tttccabc 进一步沟通,发现问题现场采用 tcpdump (libpcap版本为1.8) 抓包,同样有乱序问题,而且数据与 CloudProbe 一致 (libpcap版本为1.5.3)。而CP侧可能的改进就是升级libpcap版本。

因此,需要现场通过升级 tcpdump 版本(同时升级了libpcap版本)来验证修改libpcap能够解决该问题,CP才会进一步处理。

当前先关闭该问题,等待验证可行后,再reopen本问题。