search

axsh / iso-no-wakame

4 stars 0 forks source link

hvaがAMQPへの接続に失敗している模様 #21

Closed habuka036 closed 9 years ago

habuka036 commented 9 years ago

Wakame-VDC 15.07 RC1 版でどの構成を行なっても hva は offline のままで online にならない。 hva.log に以下のエラーが吐かれている。

habuka036 commented 9 years ago 
[root@localhost wakame]# cat /var/log/wakame-vdc/hva.log 
I, [2015-07-11T05:36:56.269763 #2843]  INFO -- NetfilterCache: updating cache from database
D, [2015-07-11T05:36:56.269995 #2843] DEBUG -- ServiceNetfilter: Subscribing to: hva.node3a775a635af2/vnic_created
D, [2015-07-11T05:36:56.270543 #2843] DEBUG -- ServiceNetfilter: Subscribing to: hva.node3a775a635af2/vnic_destroyed
D, [2015-07-11T05:36:56.270672 #2843] DEBUG -- ServiceNetfilter: Subscribing to: broadcast/debug/vnet
2015-07-11 05:36:56 Node thr=#<Thread:0x007f4c29593d38> [INFO]: Started : AMQP Server=amqp://127.0.0.1/, ID=hva.node3a775a635af2, token=322a7
2015-07-11 05:40:05 ThreadPool thr=Netfilter[0/1] [ERROR]: Caught Isono::NodeModules::RpcChannel::RpcError: timeout
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/node_modules/rpc_channel.rb:466:in `wait'
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/node_modules/rpc_channel.rb:153:in `request'
    /opt/axsh/wakame-vdc/dcmgr/lib/dcmgr/edge_networking/netfilter/cache.rb:57:in `update'
    /opt/axsh/wakame-vdc/dcmgr/lib/dcmgr/node_modules/service_netfilter.rb:31:in `block (2 levels) in <class:ServiceNetfilter>'
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/thread_pool.rb:32:in `call'
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/thread_pool.rb:32:in `block (2 levels) in initialize'
2015-07-11 05:40:05 ThreadPool thr=InstanceMonitor[0/1] [ERROR]: Caught Isono::NodeModules::RpcChannel::RpcError: timeout
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/node_modules/rpc_channel.rb:466:in `wait'
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/node_modules/rpc_channel.rb:153:in `request'
    /opt/axsh/wakame-vdc/dcmgr/lib/dcmgr/node_modules/instance_monitor.rb:31:in `check_instance'
    /opt/axsh/wakame-vdc/dcmgr/lib/dcmgr/node_modules/instance_monitor.rb:12:in `block (3 levels) in <class:InstanceMonitor>'
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/thread_pool.rb:32:in `call'
    /opt/axsh/wakame-vdc/dcmgr/vendor/bundle/ruby/2.0.0/gems/isono-0.2.20/lib/isono/thread_pool.rb:32:in `block (2 levels) in initialize'
habuka036 commented 9 years ago

あぁ…恐らく / の空き容量が 512MB より少なくなったせいで RabbitMQ が上手く動いていない例のアレっぽいです。

habuka036 commented 9 years ago

https://github.com/shidax/docs/wiki/Wakame-LiveDVD%E3%82%92%E4%BD%93%E8%82%B2%E5%BA%A7%E3%82%8A%E3%81%A7%E5%BE%85%E3%81%A4%E8%A9%B1

PXEブート用のイメージの置き場所などを工夫し、念のため↑の対策も実施して、一台構成の場合は解決したが、複数台構成で別の問題発生…

habuka036 commented 9 years ago

2台目(HVA機)の /var/log/wakame-vdc/hva.log に以下の出力が延々と

RpcChannel thr=#<Thread:0x007f5c30d93d50> [ERROR]: No such endpoints
habuka036 commented 9 years ago

HVA機の vdc-hva が dcmgr 機の RabbitMQ の準備が完了する前に起動してしまうケースで発生する問題であることが判明。

HVA機の vdc-hva が以下のように etcd にノード情報登録後、固定で60秒後に hva-vdc を起動しているのが要因。

https://github.com/axsh/iso-no-wakame/blob/master/setup_wakame-vdc.hva.sh#L51-L53

dcmgr 機が etcd に「vdc-hva 起動していいよ」的なレコードを登録するのを watch して、その結果で起動するようにするのが良い

habuka036 commented 9 years ago

https://github.com/axsh/iso-no-wakame/blob/fe87d833aa2bc3ab448e84c1f5f9d2953b81889b/setup_wakame-vdc.hva.sh#L56-L59 で対応