watchdog: kontrola nefunkčních hyperlinků/URL

[crysman]

zprovoznil jsem betaverzi automatické kontroly ne/funkčnosti hyperlinků/URL na faktaoklimatu.cz

zatím:

1. spouští se každý den ve 12:00 z našeho firemního serveru
2. kontroluje jak externí tak interní hyperlinky
3. posílá automaticky maila na info@faktaoklimatu.cz
4. ano, nalézá to chybu a není to planý poplach

ukázkový výstup:

%%MSG: trying to find something...
Found 1 broken link.

https://faktaoklimatu.cz/FIXME_slovnik

FINISHED --2019-08-26 01:44:11--
Total wall clock time: 37s
Downloaded: 70 files, 2.9M in 3.4s (868 KB/s)
%%ERR: internal invalid URL found! Let's examine...
%%-

robots.txt

FIXME_slovnik
./faktaoklimatu.cz/studie/1979_charneyho-zprava:
href="/FIXME_slovnik"
href="/FIXME_slovnik"

%%-

%%--
%%Mon, 26 Aug 2019 01:43:34 +0200
%%watchdog.sh v.1.0 by crysman(e)2019

[crysman]

časem doporučuju to udělat nativně via něco-jako-toto: https://www.supertechcrew.com/jekyll-check-for-broken-links/ @mukrop

[crysman]

PS: přidal jsem i hledání "fixme" řetězců, aby tam nezůstávaly viset dlouho a něco nám neuniklo - zatím to hledá i uvnitř komentářů, tak se nezděste, legitimní jeden to ale našlo...

čerstvá verze přijde (snad) automaticky ve 12:00 ;) čabs

[crysman]

@mukrop @ondraspribyla ahojte z nějakého důvodu to při odeslání na info@faktaoklimatu.cz nedojde do klimaton-brno-core@googlegroups.com korektně, ale přijde jen holý mail.

když si to pošlu na crysman@seznam.cz tak vše OK

čili, zřejmě ten náš hostingový mail info@faktaoklimatu.cz s tím něco zlého dělá při tom přeposílání - Martine, můžeš to prosím omrknout, o co de? Díky #McZ

[crysman]

aha, ruční test prošel teď koukám velmi čerstvě... zajímavé, takže beru zpět, omrknu ještě jednou co je blbě tedy

[mukrop]

@crysman, takto sa to nerobi. Nehnevaj sa, ale nemas az take skusenosti s IT a nebud az takto proaktivny, podla mna neefektivne travis cas. Mas vybornu expertizu, rozumies klimatickym datam, mozes byt ovela efektivnejsi v pisani textov a oponenture na obsah. Nechcem branit proaktivite, napad je to fajn. Ale realne nevies, ako je to nasadene a ci sa to tam neda nejako elegantne pridat, nespytas sa a nasadis to tak, ako vies.

Preco sa to takto nerobi:

• Bezi to na externom servri, kam ma pristup len jeden clen projektu a je to netransparentne (lepsie by bolo: bezi na infrastrukture, ktoru projekt uz pouziva).
• Spamuje to cely core tim 1x denne, pre mnohych ludi to nie je relevantne (lepsie by bolo: upozornilo by to toho, kto to rozbil).
• Hlasi to mraky veci, ktore su aktualne false positives -- vsetky FIXME v komentaroch (lepsie by bolo: pred nasadenim na ostro opravit veci, ktore to hlasi).
• Hlasi to FIXME (pouzivas ty), ale nie TBA, TBD a podobne, ktore pouzivame niektori ostatni (lepsie by bolo: dohodnut sa alebo niekam napisat, ze sa toto bude kontrolovat a dohodnut sa, ci chceme takuto skratku automatiuzovane kontrolovat).
• Nefunguje to (lepsie by bolo: v ramci testovania na zaver skusit aj produkcne prostredie, tj. mailing list).
• A hlavne nechapem, preco, ked uz si tym nasiel tie chybne odkazy do neexistujuceho slovnicka, preco si ich obratom neopravil (to ma vyssiu prioritu ako oprava mailov).

[mukrop]

Nasadil som kontrolu generovania stranky (#135) a pri tej prilezitosti aj kontrolu odkazov, ako @crysman navrhol. Bezi to na Travise, kde sa zostavuje web bezne, mail posiela iba cloveku, ktory to rozbije (a vyriesil som chyby, ktore to aktualne nachadzalo).

[crysman]

Martine @mukrop , díky za ZV, můj komentář bude v bodech:

1. Celkově s Tebou souhlasím, ale pravdou je, že se mě to nějak dotýká emocionálně, což si dokážu zpracovat, o co tě ale požádám je, abys nehodnotil moje zkušenosti v oblasti IT (ne, nemyslím, že jsem obecně lepší než ty v IT, ani to nehodlám posuzovat, intuitivně cítím, že jsi kompetentnější ty, soutěžit/"kohoutit" rozhodně nehodlám) - ale chci se vymezit proti škatulkování bez podkladů - neznáme se, ani svoje zkušenosti.

2. Nechtěl jsem dělat nic efektivně, bavilo mě si bashovat a jen tak kódit a objevovat krásy grepu a wgetu a awku atp, dělal jsem to 4fun, nikoli efektivně v rámci FoK - dělal jsem to v soukromém čase mimo klimaton, prostě proto, že mě to bavilo jako challenge - samozřejmě jsem tušil, že to jde systémově, proto jsem taky přidal odkaz na jekyll-check-for-broken-links jako starter, abyste to vy, hlavní ajťáci, mohli udělat pořádně. Byl to spontánní temporary 4fun projekt, abych si odpočinul právě od textů a rešerší a klimatických dat... Z pohledu FoK to může vypadat jako neefektivní čas, ale pro mě to "neefektivní" nebylo, protože jsem sledoval jiný cíl. Rozlišujme prosím soukromý čas od "klimatonového", který vnímám více jako "work time" - tam bych nic takového nedělal samozřejmě. Srozuměno?

3. Ano, spamuje to, vypnul jsem to, nechám si to jen jako backup service pro sebe osobně. Daň za spontaneitu, omlouvám se.

4. Ano, false positives jsem neřešil, a nepovažoval jsem to za nutné, protože z komentářů jsem to chtěl odstranit, ale zapomněl jsem na to, za což se omlouvám.

5. Byla to public beta (i avizována), návrh, náčrt, směr jak by to mohlo vypadat... spontánní agilní věc, ne rigidní všeošetřující final komplexnost - to jsem ani neměl v plánu, prostě filosoficky jinde...

6. funguje to, proč to nejelo z crona jsem vyřešil a ano, nebylo to dost otestované, protože bod výše. Nicméně, odhalilo to 2 nefunkční URL, což je jednoznačně plus a nestalo by se to, kdybych se do toho nepustil.

7. neopravil jsem to, protože to tam bylo chybně do teď několik dní a nikdo si toho nevšiml, chtěl jsem to vyřešit koncepčně (neagilně, rigidně a komplexně), ale na to je třeba víc lidí, lebo to znamená nové stránky/struktura... atp. nic, co jsem mohl/chtěl udělat sám. Nechtěl jsem prostě jen smazat odkaz a tím to "vyřešit" (frontend) a zároveň ale "pohřbít" (na backendu se nic koncepčního nestalo)

8. trochu mi z toho všeho leze téma AGILNĚ vs.RIGORÓZNĚ - já jsem v tom takový nepředvídatelný, dělám obojí... (což neprezentuju jako výhodu, spíš jako feature) - ano, umí to být i na škodu. Není to já vs. Ukrop. Píšu to sem celé proto, protože se dotýkáme něčeho koncepčního, co je třeba si trochu vyjasňovat a usazovat v rámci celého core týmu...

Díky za podněty k zamyšlení

další případné reakce bych nechal na osobní setkání či maily

[mukrop]

Za hodnotenie tvojich schopnosti s emocionalnym podtonom sa ospravedlnujem.

Ak to pre teba bol fun robit to, tak potom OK. Moj (neovereny) predpoklad bol, ze to robis ako primarny prinos pre projekt a tym sa mi zdalo dost skoda, ze ked to ja nasadim "systemovo", tak tvoju pracu komplet odstavim.

On Tue, 27 Aug 2019, 23:49 Martin crysman Zahradník, < notifications@github.com> wrote:

Martine @mukrop https://github.com/mukrop , díky za ZV, můj komentář bude v bodech:

1.

Celkově s Tebou souhlasím, ale pravdou je, že se mě to nějak dotýká emocionálně, což si dokážu zpracovat, o co tě ale požádám je, abys nehodnotil moje zkušenosti v oblasti IT (ne, nemyslím, že jsem obecně lepší než ty v IT, ani to nehodlám posuzovat, intuitivně cítím, že jsi kompetentnější ty, soutěžit/"kohoutit" rozhodně nehodlám) - ale chci se vymezit proti škatulkování bez podkladů - neznáme se, ani svoje zkušenosti. 2.

Nechtěl jsem dělat nic efektivně, bavilo mě si bashovat a jen tak kódit a objevovat krásy grepu a wgetu a awku atp, dělal jsem to 4fun, nikoli efektivně v rámci FoK - dělal jsem to v soukromém čase mimo klimaton, prostě proto, že mě to bavilo jako challenge - samozřejmě jsem tušil, že to jde systémově, proto jsem taky přidal odkaz na jekyll-check-for-broken-links jako starter, abyste to vy, hlavní ajťáci, mohli udělat pořádně. Byl to spontánní temporary 4fun projekt, abych si odpočinul právě od textů a rešerší a klimatických dat... Z pohledu FoK to může vypadat jako neefektivní čas, ale pro mě to "neefektivní" nebylo, protože jsem sledoval jiný cíl. Rozlišujme prosím soukromý čas od "klimatonového", který vnímám více jako "work time" - tam bych nic takového nedělal samozřejmě. Srozuměno? 3.

Ano, spamuje to, vypnul jsem to, nechám si to jen jako backup service pro sebe osobně. Daň za spontaneitu, omlouvám se. 4.

Ano, false positives jsem neřešil, a nepovažoval jsem to za nutné, protože z komentářů jsem to chtěl odstranit, ale zapomněl jsem na to, za což se omlouvám. 5.

Byla to public beta (i avizována), návrh, náčrt, směr jak by to mohlo vypadat... spontánní agilní věc, ne rigidní všeošetřující final komplexnost

• to jsem ani neměl v plánu, prostě filosoficky jinde... 6.

  funguje to, proč to nejelo z crona jsem vyřešil a ano, nebylo to dost otestované, protože bod výše. Nicméně, odhalilo to 2 nefunkční URL, což je jednoznačně plus a nestalo by se to, kdybych se do toho nepustil. 7.

  neopravil jsem to, protože to tam bylo chybně do teď několik dní a nikdo si toho nevšiml, chtěl jsem to vyřešit koncepčně (neagilně, rigidně a komplexně), ale na to je třeba víc lidí, lebo to znamená nové stránky/struktura... atp. nic, co jsem mohl/chtěl udělat sám. Nechtěl jsem prostě jen smazat odkaz a tím to "vyřešit" (frontend) a zároveň ale "pohřbít" (na backendu se nic koncepčního nestalo) 8.

  trochu mi z toho všeho leze téma AGILNĚ vs.RIGORÓZNĚ - já jsem v tom takový nepředvídatelný, dělám obojí... (což neprezentuju jako výhodu, spíš jako feature) - ano, umí to být i na škodu. Není to já vs. Ukrop. Píšu to sem celé proto, protože se dotýkáme něčeho koncepčního, co je třeba si trochu vyjasňovat a usazovat v rámci celého core týmu...

Díky za podněty k zamyšlení

další případné reakce bych nechal na osobní setkání či maily

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/mukrop/faktaoklimatu/issues/137?email_source=notifications&email_token=AAOI6PBMECWEDU5U3JDCDMLQGWOPXA5CNFSM4IPKT7C2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD5JHFUQ#issuecomment-525497042, or mute the thread https://github.com/notifications/unsubscribe-auth/AAOI6PFFVMBKHNNPM65UET3QGWOPXANCNFSM4IPKT7CQ .