XiaoMi / minos

Minos is beyond a hadoop deployment system.
Apache License 2.0
522 stars 200 forks source link

关于监控数据写入hbase的方式 #4

Open zenglinxi0615 opened 10 years ago

zenglinxi0615 commented 10 years ago

目前minos支持的是通过将监控数据首先存入文件中,再通过opentsdb的命令行方式写入hbase。个人觉得这种方式不够灵活,需要将opentsdb和minos布署在同一个节点上,可以考虑通过tcp的途径发送“put xxx"的方式直接将读取到的监控数据一条条的通过opentsdb写入的hbase,这种方式只需要提供opentsdb的ip和port,不要求opentsdb和minos在同一节点。是否可以考虑支持这种方式,或者同时支持两种方式供用户选择?

wuzesheng commented 10 years ago
  1. 目前应该没有强行要求tsdb和minos必须布在同一个节点上,目前只是要求tsdb和其对应的collector布的一个节点上即可;
  2. 用落地文件,然后直接通过tsdb client直接推到Hbase这种方式主要原因是为了尽量减少对tsdb server的影响,最终目的是减少对前台展示拉数据的影响;如果直接通过socket来传的话,需要经过tsdb server,这个在多个集群、metrics非常多的情况下,对tsdb server造成的压力很大