OpenStack VersionUp BATTLE

nwiizo commented 5 years ago

CloudNative Days Tokyo 2019/OpenStack Days Tokyo 2019 に協賛します！にて

■ブース出展 GMOインターネットブースでは、 GMOインターネット新卒3年目　VS　GMOペパボプリンシパルエンジニア『OpenStack バージョンアップ対決』を行います。会期の2日間をかけて、チャレンジャー2名がOcata からPikeへのアップデートをどちらが早く行えるかについて競います。

ということでそのIssue

nwiizo commented 5 years ago

OpenStackをアップグレードしたら心臓止まりかけた話を読み始めた。

nwiizo commented 5 years ago

OcataやPikeを見たりPike releaseを見てフムフムとなってる。

nwiizo commented 5 years ago

Upgradesを読んでいる。上記のQiitaでは下記のような記述があるのだが実情が分らん。

Keystone -> Glance -> Nova -> Neutron

nwiizo commented 5 years ago

いろんな、ドキュメントがUbuntuベースで絶望している。

nwiizo commented 5 years ago

OpenStack packages for RHEL and CentOS

yum install centos-release-openstack-pike

とりあえず、実行

nwiizo commented 5 years ago

IPv6 を殺す。

sysctl -w net.ipv6.conf.all.disable_ipv6=1
sysctl -w net.ipv6.conf.default.disable_ipv6=1

nwiizo commented 5 years ago

installをサボってしまったせいでプロセスの再起動がめちゃくちゃしんどいです。各コンポーネントごとにまとめていく

nwiizo commented 5 years ago

stop_keystoneという関数にてプロセスをストップさせる。実際の処理は下記になります。

if [ "$KEYSTONE_DEPLOY" == "mod_wsgi" ]; then
        disable_apache_site keystone
        restart_apache_server
    else
        stop_process keystone
    fi

実際に動作しているプロセスはこうなるのでmod_wsgi 使ってるっぽいです。

# ps aux |grep wsgi:keystone
stack    15180  0.0  1.0 581428 85216 ?        Sl   Jul21   0:15 (wsgi:keystone- -DFOREGROUND

とかすればよいのですが

disable_apache_site keystone
enable_apache_site keystone
restart_apache_server

run_processを用いて

nwiizo commented 5 years ago

Bug 1493050 - ImportError: cannot import name base https://bugzilla.redhat.com/show_bug.cgi?id=1493050

をやっていく

nwiizo commented 5 years ago

Error 発生しておりやっていく

2019-07-22 15:12:38.897270 mod_wsgi (pid=29488): Target WSGI script '/opt/stack/horizon/openstack_dashboard/wsgi/django.wsgi' cannot be loaded as Python module.
2019-07-22 15:12:38.897320 mod_wsgi (pid=29488): Exception occurred processing WSGI script '/opt/stack/horizon/openstack_dashboard/wsgi/django.wsgi'.
2019-07-22 15:12:38.897342 Traceback (most recent call last):
2019-07-22 15:12:38.897377   File "/opt/stack/horizon/openstack_dashboard/wsgi/django.wsgi", line 14, in <module>
2019-07-22 15:12:38.897409     application = get_wsgi_application()
2019-07-22 15:12:38.897422   File "/usr/lib/python2.7/site-packages/django/core/wsgi.py", line 14, in get_wsgi_application
2019-07-22 15:12:38.897438     django.setup()
2019-07-22 15:12:38.897445   File "/usr/lib/python2.7/site-packages/django/__init__.py", line 17, in setup
2019-07-22 15:12:38.897456     configure_logging(settings.LOGGING_CONFIG, settings.LOGGING)
2019-07-22 15:12:38.897464   File "/usr/lib/python2.7/site-packages/django/conf/__init__.py", line 48, in __getattr__
2019-07-22 15:12:38.897483     self._setup(name)
2019-07-22 15:12:38.897494   File "/usr/lib/python2.7/site-packages/django/conf/__init__.py", line 44, in _setup
2019-07-22 15:12:38.897505     self._wrapped = Settings(settings_module)
2019-07-22 15:12:38.897511   File "/usr/lib/python2.7/site-packages/django/conf/__init__.py", line 92, in __init__
2019-07-22 15:12:38.897520     mod = importlib.import_module(self.SETTINGS_MODULE)
2019-07-22 15:12:38.897526   File "/usr/lib64/python2.7/importlib/__init__.py", line 37, in import_module
2019-07-22 15:12:38.897536     __import__(name)
2019-07-22 15:12:38.897542   File "/opt/stack/horizon/openstack_dashboard/settings.py", line 27, in <module>
2019-07-22 15:12:38.897553     from openstack_dashboard import exceptions
2019-07-22 15:12:38.897558   File "/opt/stack/horizon/openstack_dashboard/exceptions.py", line 25, in <module>
2019-07-22 15:12:38.897569     from requests import exceptions as requests
2019-07-22 15:12:38.897574   File "/usr/lib/python2.7/site-packages/requests/__init__.py", line 43, in <module>
2019-07-22 15:12:38.897585     import urllib3
2019-07-22 15:12:38.897591   File "/usr/lib/python2.7/site-packages/urllib3/__init__.py", line 8, in <module>
2019-07-22 15:12:38.897601     from .connectionpool import (
2019-07-22 15:12:38.897606   File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 43, in <module>
2019-07-22 15:12:38.897616     from .util.url import get_host, Url, NORMALIZABLE_SCHEMES
2019-07-22 15:12:38.897634 ImportError: cannot import name NORMALIZABLE_SCHEMES

nwiizo commented 5 years ago

初期方針が劇的に失敗している気がしてきた。

nwiizo commented 5 years ago

一応、バージョンアップが終わった気がする。

Keystone -> Glance -> Nova -> Neutron -> Cinder -> Horizon

nwiizo commented 5 years ago

参考リンク集 https://docs.openstack.org/oslo.messaging/pike/admin/pika_driver.html https://docs.openstack.org/install-guide/environment-packages-rdo.html

nwiizo commented 5 years ago

隣で昨日3時間ぐらい考えて見つけた方法を15分ぐらいでつぶやいてて恐怖する。

nwiizo commented 5 years ago

devstackが主導でのバージョンアップに劇的に向いてない説ある。

nwiizo commented 5 years ago

VMが吹っ飛んでた…。

nwiizo commented 5 years ago

あぁぁぁぁぁぁぁぁぁあああああ

nwiizo commented 5 years ago

隣ですごく時間のかかったトラブルシューティングを一瞬で解決しててすげぇぇえええってなるオタクになってる。

nwiizo / cndt2019_openstack_versionup_battle

OpenStack VersionUp BATTLE #2