search

oomichi / try-kubernetes

12 stars 5 forks source link

e2e test: "openstack" or "skeleton" for --provider option ? #64

Closed oomichi closed 5 years ago

oomichi commented 5 years ago

e2e test 実行時に go run hack/e2e.go --provider=skeleton --test と provider を指定するが、volume 関係の e2e テストで provider が "openstack" か チェックするコードがある事を発見。 これまでは skeleton を指定していたが IaaS が OpenStack の場合は openstack を 指定するべきか、確認する。

oomichi commented 5 years ago

とりあえず、openstack を指定して conformance を実行してみる。 -> 6個のテストが失敗 -> https://github.com/oomichi/try-kubernetes/issues/63 と比較すると後半の3つが追加失敗していることがわかる。

[Fail] [sig-cli] Kubectl client [k8s.io] Update Demo [It] should create and stop a replication controller  [Conformance]
[Fail] [sig-cli] Kubectl client [k8s.io] Update Demo [It] should do a rolling update of a replication controller  [Conformance]
[Fail] [sig-cli] Kubectl client [k8s.io] Update Demo [It] should scale a replication controller  [Conformance]
[Fail] [sig-scheduling] SchedulerPredicates [Serial] [BeforeEach] validates resource limits of pods that are allowed to run  [Conformance]
[Fail] [sig-scheduling] SchedulerPredicates [Serial] [BeforeEach] validates that NodeSelector is respected if matching  [Conformance]
[Fail] [sig-scheduling] SchedulerPredicates [Serial] [BeforeEach] validates that NodeSelector is respected if not matching  [Conformance]
oomichi commented 5 years ago

ひとまず openstack CI でどっちを使っているか、聞いてみている

Which provider is specified on e2e runner of upstream CI?   skeleton or openstack?
I found some test skipping conditions which ckeck the provider like:
  framework.SkipUnlessProviderIs("openstack", "gce", "aws", "gke", "vsphere", "azure")
then this question comes into my mind
oomichi commented 5 years ago

openstack CIとしてはopenstackを使っているとのこと。 https://github.com/theopenlab/openlab-zuul-jobs/blob/master/playbooks/cloud-provider-openstack-acceptance-test-e2e-conformance/run.yaml#L46

oomichi commented 5 years ago

現時点で openstack internal 用の storage e2e tests があるため、openstack を指定すべき。 長期的には各リポジトリで e2e tests を実装するようになるので、skeleton に集約するはず。