Nový job startuje i když ještě běží cleanup předchozího

keboola / syrup

Thick viscous liquid

MIT License

0 stars 0 forks source link

Nový job startuje i když ještě běží cleanup předchozího #72

Closed ondrejhlavacek closed 1 year ago

ondrejhlavacek commented 8 years ago

Šlo by nějak udělat, aby se nový job nastartoval, až když skončí nebo je killnutý cleanup předchozího killnutého jobu? Míchá mí to dost karty při generování credentials na Redshiftu (nový job získá credentials, který za malou chvíli souběžně běžící cleanup smaže).

MiroCillik commented 8 years ago

Dalo by sa to spravit tak, ze by sa vytvaranie zamkov presunulo z JobCommandu do ReceiveCommandu vo fronte, takze oba processy run a cleanup by mali rovnaky zamok

MiroCillik commented 8 years ago

Fronta si zo SAPI zisti, jestli prislusna komponenta podporuje tuto ficuru (bolo updtatnuta na Syrup 3.1). Ak ano, zamek spravi fronta ak nie, vytvaranie zamkov prenecha fronta komponente (fallback to legacy mode :) ).

MiroCillik commented 8 years ago

Zaroven sa zrefaktoroju "Limit pre paralelni beh jobu" a to tak, ze sa tento mechanizmus presunie do Fronty (tam kde sa riesia zamky) a bude fungovat len pre komponenty so Syrupom 3.1. @martin co myslis? Zoznam ficur, ktore komponenta podporuje dostanem zo SAPI ako plz?

ondrejhlavacek commented 8 years ago

Takže by se zjišťovalo, jestli je komponenta na syrup 3.1 přes featuru/flag komponenty? Ten se zjistí v seznamu komponent

https://github.com/keboola/storage-api-php-client/blob/master/src/Keboola/StorageApi/Client.php#L145

Halama commented 8 years ago

jj jeste me napadlo jestli to neudelat obracene, tzn. vsem komponentam dat flag ze to jeste nepodporuji a po upgradu ho naopak odebirat. Tim se to samo procistit.

Mam to tak v tendenci vetsinou i delat v kodu ze to co se chysta byt nahrazeno se uz na zacatku prepne na vedlejsi vetev a pak uz se jenom smazne.

MiroCillik commented 8 years ago

jo to je dobry napad! On Jan 22, 2016 2:25 PM, "Martin Halamíček" notifications@github.com wrote:

jj jeste me napadlo jestli to neudelat obracene, tzn. vsem komponentam dat flag ze to jeste nepodporuji a po upgradu ho naopak odebirat. Tim se to samo procistit.

Mam to tak v tendenci vetsinou i delat v kodu ze to co se chysta byt nahrazeno se uz na zacatku prepne na vedlejsi vetev a pak uz se jenom smazne.

— Reply to this email directly or view it on GitHub https://github.com/keboola/syrup/issues/72#issuecomment-173921208.

ondrejhlavacek commented 7 years ago

Děje se to furt, dávám reopen

ondrejhlavacek commented 7 years ago

https://connection.keboola.com/admin/projects/1218/jobs/228712713?q= https://connection.keboola.com/admin/projects/1218/jobs/228714427?q=

odinuv commented 1 year ago

obsolete