search

slovensko-digital / uvobot

8 stars 7 forks source link

Parsovanie dalsich detail info #9. #16

Closed martinsabo closed 8 years ago

martinsabo commented 8 years ago

Len pre zakladne formaty.

jsuchal commented 8 years ago

Neviem ci toto bude take easy peasy. Ono kazde to oznamenie pre zakazku ma totiz svoju strukturu.

image

Vy vyhlaseni verejneho obstaravania asi nebude vitaz, atd atd. Aby tam nebol bordel.

martinsabo commented 8 years ago

Takze by sme radi aj detekciu formatu/typu oznamenia a podla toho vyberat co sa ma parsovat a notifikovat?

jsuchal commented 8 years ago

No v prvom kroku by som tam asi nechcel vsade vidiet ze "extrakcia sa nepodarila" ked tam nema co hladat.

martinsabo commented 8 years ago

Ok. Najprv sa pokusim zistit co je to za oznam, potom na neho pustim patricny parser, ktory uz vrati iba tie detail fields co sa tam maju nachadzat.

jsuchal commented 8 years ago

:+1:

martinsabo commented 8 years ago

Naznacil som ako by som to rad riesil, zatial iba pre dva formaty. Su tam nejake sporne miesta, takze radsej by som to odladil takto v malom predtym nez to rozpracujem pre vsetky.

Jednotlive formaty su reprezentovane modulmi, ktore sa pouzivaju na rozsirovanie hlavnej detail parser triedy. Ked sa nepodari rozpoznat format tak cely detail je nil, teda hlasi ze sa extrakcia nepodarila.

martinsabo commented 8 years ago

@jsuchal zredukoval som magiu. Detail parsing som nechal oddeleny. Opat len pre dva formaty, ostatne az potom co sa zhodneme.

martinsabo commented 8 years ago

Dvihneme limit na pocet riadkov triedy, alebo to rozdelim na moduly?

jsuchal commented 8 years ago

Asi najlepsie iba vypnut ten Cop na dlzku pre ten jeden subor.

On Fri, Feb 26, 2016 at 1:29 PM martinsabo notifications@github.com wrote:

Dvihneme limit na pocet riadkov triedy, alebo to rozdelim na moduly?

— Reply to this email directly or view it on GitHub https://github.com/slovensko-digital/uvobot/pull/16#issuecomment-189257666 .

martinsabo commented 8 years ago

Nevypol som ho, ale zdvojnasobil som limity. Fakt nie je zdrave mat tie subory prilis dlhe.

jsuchal commented 8 years ago

Vyzera dobre. Treba skusit prebehnut nejake realne data a skusit ci to fici (dorobit tie ostatne typy)

martinsabo commented 8 years ago

Nastrel podpory pre dalsie formaty.

jsuchal commented 8 years ago

Seems legit! :+1: Este nieco ci mergujeme?

martinsabo commented 8 years ago

Su tam dalsie formaty detailu, otazka je ci ich potrebujeme/chceme spracovavat. Takisto treba spravit review dat co vyberam z daneho formatu ci je to dostacujuce.

jsuchal commented 8 years ago

Data ci su relevantne zistime ked to uvidime. Dalsie formaty - jedine riziko co vidim je to, ze ked to hodi tu exception, tak to vlastne zhodi vsetko a nepojde dalej, co nechceme. Ze by queue?

martinsabo commented 8 years ago

Ktoru exception konkretne myslis?

jsuchal commented 8 years ago

Aha, inak. Toto https://github.com/slovensko-digital/uvobot/pull/16/files#diff-b7497ed2d0a8744164f7e64ad3c05a3cR43 by podla mna mohlo poslat aspon nejaky genericky oznam do discourse, staci odkaz a nazov. Nech vidime, ze sa nieco deje.

On Mon, Feb 29, 2016 at 12:36 PM martinsabo notifications@github.com wrote:

Ktoru exception konkretne myslis?

— Reply to this email directly or view it on GitHub https://github.com/slovensko-digital/uvobot/pull/16#issuecomment-190169468 .

jsuchal commented 8 years ago

Inak ako na to pozeram, tak by bolo fajn tam (do struktury a nasledne aj discourse) dat aj ten typ. Nech vieme o aky update ide.

martinsabo commented 8 years ago

Generický oznam tam je už teraz: https://github.com/martinsabo/uvobot/blob/master/lib/uvobot/notifications/discourse_notifier.rb#L56

Môžem ho preformulovať na niečo ako: "Nepodarilo sa rozpoznať typ oznamu.".

Typ tam chceme celý? Rozumej nadpis v plnom znení napr. 'INFORMÁCIA O UZAVRETÍ ZMLUVY (PODLIMITNÉ ZÁKAZKY)'.

jsuchal commented 8 years ago

Hej cely. A aj v pripade ze sa ho nepodari rozozznat.

On Mon, Feb 29, 2016 at 2:00 PM martinsabo notifications@github.com wrote:

Generický oznam tam je už teraz:

https://github.com/martinsabo/uvobot/blob/master/lib/uvobot/notifications/discourse_notifier.rb#L56

Môžem ho preformulovať na niečo ako: "Nepodarilo sa rozpoznať typ oznamu.".

Typ tam chceme celý? Rozumej nadpis v plnom znení napr. 'INFORMÁCIA O UZAVRETÍ ZMLUVY (PODLIMITNÉ ZÁKAZKY)'.

— Reply to this email directly or view it on GitHub https://github.com/slovensko-digital/uvobot/pull/16#issuecomment-190200480 .

jsuchal commented 8 years ago

Mergujeme?

martinsabo commented 8 years ago

Yep.

jsuchal commented 8 years ago

:+1: