oomichi / try-kubernetes

12 stars 5 forks source link

Why running tests are different between non-regex and specified regex (skip, focus) ? #21

Closed oomichi closed 6 years ago

oomichi commented 6 years ago

e2e 実行環境は

export KUBERNETES_CONFORMANCE_TEST=true

が設定されている上、下記のコードでskip のregex指定が無いときにデフォルト値が設定されるから test-infra/kubetest/conformance/conformance.go

 84 // Test just execs ginkgo. This will take more parameters in the future.
 85 func (t *Tester) Test(focus, skip string) error {
 86         // Overwrite the conformance focus and skip args if specified.
 87         focusRegex := "\".*\""
 88         skipRegex := "\".*(Feature)|(NFS)|(StatefulSet).*\""
 89         if focus == "" {
 90                 focusRegex = focus
 91         }
 92         if skip == "" {
 93                 skipRegex = skip
 94         }
oomichi commented 6 years ago

よって、https://github.com/oomichi/try-kubernetes/issues/20 の filter-out には Skip にNFSとStatefulSetも指定する必要がある。

oomichi commented 6 years ago

この Issue 自体、kubetest 側でデフォルト値を設定していることがわかったので Close する。