lamoda / gonkey

Gonkey - a testing automation tool
MIT License
352 stars 50 forks source link

Fatal when set status skipped or broken #224

Closed lechefer closed 1 year ago

lechefer commented 1 year ago

Проблема: Когда тест помечается как skipped или broken (в том числе из-за focus), то вылетает fatal error. Выполнение прекращается и тесты далее не запускаются.

Как вариант при скипе не пробрасывать ошибку далее

index b14495c..0697650 100644                                   
--- a/runner/runner_testing.go                                  
+++ b/runner/runner_testing.go                                  
@@ -156,11 +156,10 @@ func (h testingHandler) HandleTest(test models.TestInterface, executeTest testEx
        h.t.Run(test.GetName(), func(t *testing.T) {
                result, err := executeTest(test)
                if err != nil {
-                       returnErr = err
-
                        if errors.Is(err, errTestSkipped) || errors.Is(err, errTestBroken) {
                                t.Skip()
                        } else {
+                               returnErr = err
                                t.Fatal(err)
                        }
                }
lechefer commented 1 year ago

Pull request #225

leorush commented 1 year ago

https://github.com/lamoda/gonkey/pull/204 - решали вроде уже проблему?

lechefer commented 1 year ago

204 - решали вроде уже проблему?

Да, видел, но практика показывает что проблема была решена не полностью

Самый простой тест кейс: 2 теста: 1 - status skipped 2 - без статуса

Если так запустить то будет ошибка test skipped и 2-й тест даже не запуститься