search

XiaoMi / minos

Minos is beyond a hadoop deployment system.
Apache License 2.0
522 stars 200 forks source link

owl监控界面无法获取图像问题？ #39

Closed zengzhaozheng closed 9 years ago

zengzhaozheng commented 9 years ago

我的owl启动后，可以获得相关datanode和namenode的信息了，但是无法显示metric的图片，图片裂了，这个要配置什么吗？ 我的owl/server.log日志： eNode:GetListingOps'}]), ('Rpc', [{'query': [u'&m=sum:ReceivedBytes{host=sx-master-50001,group=NameNode}&o=&yformat=%25.0s%25c byte(s)'], 'title': 'NameNode:ReceivedBytes'}, {'query': [u'&m=sum:SentBytes{host=sx-master-50001,group=NameNode}&o=&yformat=%25.0s%25c byte(s)'], 'title': 'NameNode:SentBytes'}, {'query': [u'&m=sum:RpcQueueTimeNumOps{host=sx-master-50001,group=NameNode}&o=&yformat=%25.0s%25c op(s)'], 'title': 'NameNode:RpcQueueTimeNumOps'}, {'query': [u'&m=sum:RpcQueueTimeAvgTime{host=sx-master-50001,group=NameNode}&o=&yformat=%25.0s%25c ms(s)'], 'title': 'NameNode:RpcQueueTimeAvgTime'}])] [('Overall', [{'query': [u'&m=sum:BlockCapacity{host=sx-master-50001,group=NameNode}&o=&yformat=%25.0s%25c block(s)'], 'title': 'NameNode:BlockCapacity'}, {'query': [u'&m=sum:BlocksTotal{host=sx-master-50001,group=[26/Nov/2014 00:20:20] "GET /monitor/job/2/ HTTP/1.1" 200 15887 [26/Nov/2014 00:20:21] "GET /static/bootstrap/css/bootstrap.css HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/bootstrap/css/bootstrap-responsive.css HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/jquery/css/jquery-ui-1.9.2.custom.min.css HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/bootstrap/js/bootstrap.js HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/highcharts/highcharts.js HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/jquery/js/jquery-v1.8.3.js HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/jquery/js/jquery-ui-1.9.2.custom.min.js HTTP/1.1" 304 0 [26/Nov/2014 00:20:21] "GET /static/jquery/js/jquery-ui-timepicker-addon.js HTTP/1.1" 304 0 [26/Nov/2014 00:20:22] "GET /favicon.ico HTTP/1.1" 404 0 [26/Nov/2014 00:20:44] "GET /favicon.ico HTTP/1.1" 404 0

zengzhaozheng commented 9 years ago

是因为端口问题吗？

YxAc commented 9 years ago

metric图片这一块的逻辑可参考Owl的架构，详见 learning_minos.pdf 第10页ppt

YxAc commented 9 years ago

metric的收集是metrics_collector.sh这个daemon进程来搞的，先从集群收集metrics，然后存到opentsdb，进而到hbase，可能需要检查 metrics_collector这个进程以及opentsdb，hbase是否运行正常了；metrics_collector这个进程的log在minos/opentsdb这个目录下

YxAc commented 9 years ago

404有可能是opentsdb的server没有正常运转，可check下opentsdb的url（4242端口）

zengzhaozheng commented 9 years ago

哈哈，namenode的metric信息已经正常显示了。但是datanode上面的metric项目没有抓到。想问问owl界面右上角那个login的用户名和密码是什么？在什么时候设置的？有什么用的？metric可以自定义显示吗？

YxAc commented 9 years ago

哈哈，赞，，

  1. 关于datanode的metric没有抓到；可以trace下，一方面是查看minos/owl/collector.log看datanode的metric抓取时候是否成功；另一方面查看minos/opentsdb下的collector的log，这个是opentsdb的collector抓取metrics入opentsdb的，看看这个过程中是否有错误，这个注入是batch import的，数据线写入文件metrics_dump.data，可以打开看看是否有datanode相关的metric
  2. 关于login： login这个之前就是start owl时创建django数据库时要你输入的用户名密码，可以用来界面操作django的数据库；如果开了ldap的话，那就是你owl配置的ldap账户，我们内部是用这个来做权限管理的；这个用户名密码在mysql中应该是可以看到的
  3. 关于自定义metric显示：参考owl/monitor/metric_view_config.py
zengzhaozheng commented 9 years ago

各个日志都是正常的，我仔细看了我的jmx信息以及和页面进行了对比，发现时是owl/monitor/metric_view_config.py里边定义的metric和jmx里边的不一致因此的，例如在我这个hadoop版本的jmx的这个metric：blockReports_avg_time，但是owl/monitor/metric_view_config.py里边的却为BlockReportsAvgTime，结果就显示不了。我改一下metric_view_config.py估计就可以啦。

zengzhaozheng commented 9 years ago

哈哈，非常感谢你们的耐心解答。

YxAc commented 9 years ago

赞，哈哈，你们用的hadoop哪个版本 ? :-)

PS：Owl这块坑很多，还需要很多完善的地方，目前部署模块正在重构，这块做完我会分出精力把开源这块的再整一下，哈哈，谢谢你的使用