Open fernandascovino opened 2 years ago
Outros erros relacionados ao pod:
prefect.exceptions.ClientError: [{'message': 'State update failed for task run ID 32f6ef35-850d-48c2-8758-390027bdc293: provided a running state but associated flow run 6dc58b5d-cd8c-44aa-9401-6cb6db9a6028 is not in a running state.', 'locations': [{'line': 2, 'column': 5}], 'path': ['set_task_run_states'], 'extensions': {'code': 'INTERNAL_SERVER_ERROR', 'exception': {'message': 'State update failed for task run ID 32f6ef35-850d-48c2-8758-390027bdc293: provided a running state but associated flow run 6dc58b5d-cd8c-44aa-9401-6cb6db9a6028 is not in a running state.'}}}]
run
mas não chega a rodar e renomear a mesmaurllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))
Possível solução do @gmartinsoc : https://stackoverflow.com/questions/55742540/kubernetes-python-client-connection-issue
@gabriel-milan pode ser que isso ocorra para vocês também na conexão do Python com k8s
Descreva o problema
Pipelines que não iniciam por não conseguir estabelecer conexão com o pod (erro abaixo)
Mesmo escalonando, ainda observamos falhas (nesses casos a
run
não é renomeada pois só alteramos uma vez iniciada a pipeline). Porém, não parece estar relacionado a nenhuma instabilidade do cluster (ver link de alertas no GCP)Comportamento esperado/desejado
wait_for_flow_run
logs
tardiamente como um erro genérico (na recaptura)registros_logs
a descrição do erro (API Prefect?)Links uteis
runs
que falharam da pipelineprefect-agent
no GCP,%22wF%22:(%22n%22:%22prefect-agent%22,%22t%22:%22Deployment%22,%22naF%22:(%22n%22:%22prefect%22,%22cF%22:(%22pN%22:%22projects%2Frj-smtr%22,%22l%22:%22us-central1-c%22,%22n%22:%22rj-smtr-gke%22))))))