search

ManoSeimas / manoseimas.lt

ManoSeimas.lt website source code.
http://manoseimas.lt/
GNU Affero General Public License v3.0
4 stars 3 forks source link

Scrape 'Pagrindinio komiteto išvada' instead of 'Komiteto išvada' #93

Closed laureenas closed 9 years ago

laureenas commented 9 years ago

First, try whether current 'Komiteto išvada' scraper could deal with 'Pagrindinio komiteto išvada'.

The goal - 'Pagrindinio komiteto išvada' should contain all relevant suggestions to a law project in one place that are othervise scattered among 'Komiteto išvada' of different commissions.

URL: http://www3.lrs.lt/pls/inter3/dokpaieska.rezult_l?p_drus=290

mgedmin commented 9 years ago

The scraper runs after making this adjustment:

diff --git a/manoseimas/scrapy/spiders/suggestions.py b/manoseimas/scrapy/spiders/suggestions.py
index 96f32f9..3721eca 100644
--- a/manoseimas/scrapy/spiders/suggestions.py
+++ b/manoseimas/scrapy/spiders/suggestions.py
@@ -31,7 +31,7 @@ class SuggestionsSpider(ManoSeimasSpider):
     start_urls = [
         'http://www3.lrs.lt/pls/inter3/dokpaieska.rezult_l?' +
         urllib.urlencode({
-            'p_drus': '146', # Rūšis: Komiteto išvada
+            'p_drus': '290', # Rūšis: Pagrindinio komiteto išvada
             'p_nuo': '2012-11-16',
             'p_kalb_id': '1', # Kalba: Lietuvių
             'p_rus': '1', # Rūšiuoti rezultatus pagal: Registravimo datą

It produces two warnings (scraping p_drus=146 produces four, IIRC).

$ bin/scrapy crawl suggestions -o - -t json | pretty-print-json > alt-sugs.json 
2015-10-14 14:52:56+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=440184&p_tr2=2
2015-10-14 14:53:02+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=441469&p_tr2=2

[2m15s]

It finds 4719 data rows in 565 documents

$ grep -c source_url alt-sugs.json
4719

$ grep source_url alt-sugs.json|sort -u|wc -l
565
mgedmin commented 9 years ago

Extracted values for 'opinion':

$ grep opinion alt-sugs.json|sort|uniq -c
     83         "opinion": "",
      1         "opinion": "2. Nepritarti",
     51         "opinion": "Atsižvelgta",
      4         "opinion": "Atsižvelgta iš dalies",
      1         "opinion": "Atsižvelgti. ",
    549         "opinion": "Atsižvelgti",
     10         "opinion": "Atsižvelgti iš dalies",
      1         "opinion": "Atsižvelgti iš dalies į argumentus",
      1         "opinion": "Atsižvelgti Nepritarti",
      1         "opinion": "Atsižvelgti Pritarti iš dalies",
      2         "opinion": "Iš dalies atsižvelgti",
     29         "opinion": "Iš dalies pritarti",
      2         "opinion": "Iš dalies pritarti. Nepritarti. Pritarti",
      6         "opinion": "Iš esmės pritarti",
      1         "opinion": "Įstatymo projektas jau priimtas",
      4         "opinion": "Įvertinti",
      1         "opinion": "Komitetas siūlo įstatymo projektą atmesti",
      1         "opinion": "Neaktualu",
     39         "opinion": "Neatsižvelgti",
      1         "opinion": "Nepritarta",
    785         "opinion": "Nepritarti",
      1         "opinion": "Nepritarti Nepritarti Pritarti Pritarti ir dalies Pritarti ir dalies Nepritarti Nepritarti Nepritarti Nepritarti Nepritarti Nepritarti",
      1         "opinion": "Nepritarti Pritarti",
      1         "opinion": "Nepritarti Pritarti iš dalies",
      1         "opinion": "Nepritarti. Pritarti. Nepritarti",
      1         "opinion": "Nepritrati",
     74         "opinion": "Nesvarstyta",
    138         "opinion": "Nesvarstyti",
      2         "opinion": "Nesvarstytina",
      4         "opinion": "Nesvarstyti, nes komitetas nusprendė atmesti įstatymo projektą",
     10         "opinion": "Pastaba nebeaktuali",
      2         "opinion": "Pritari",
   2440         "opinion": "Pritarti",
      2         "opinion": "pritarti",
      1         "opinion": "Pritarti antikorupciniam vertinimui Nepritarti siūlymui dėl asmens sutikimo",
      2         "opinion": "Pritarti Atsižvelgti",
      3         "opinion": "Pritarti Atsižvelgti Atsižvelgti",
      1         "opinion": "Pritarti Atsižvelgti Pritarti Atsižvelgti",
      1         "opinion": "Pritarti; Atsižvelgti; Pritarti; Pritarti; Pritarti",
      1         "opinion": "Pritarti ir dalies",
      1         "opinion": "Pritarti Iš dalies",
    420         "opinion": "Pritarti iš dalies",
      1         "opinion": "Pritarti iš dalies (dėl 6 str.)",
      2         "opinion": "Pritarti iš dalies. Nepritarti. Pritarti",
      1         "opinion": "Pritarti iš dalies Pritarti",
      2         "opinion": "Pritarti iš dalies Pritarti iš dalies",
      2         "opinion": "Pritarti Nepritarti",
      3         "opinion": "Pritarti. Nepritarti",
      1         "opinion": "Pritarti Papildyti projektą 3 straipsniu „ Įstatymo įsigaliojimas ir įgyvendinimas“ ",
      1         "opinion": "Pritarti. Patikslinti siūlymą keisti projekto 1 straipsnio 1 dalį, įvedant sąvoką „leidimas gyventi“. Taip pat pakeisti toliau įstatymo projekte vartojamą sąvoką „leidimas gyventi Lietuvos Respublikoje“ į sąvoką „leidimas gyventi“",
      9         "opinion": "Pritarti Pritarti",
      1         "opinion": "Pritarti. Pritarti",
      1         "opinion": "Pritarti Pritarti Atsižvelgti",
      2         "opinion": "Pritarti Pritarti Pritarti",
      1         "opinion": "Pritarti Pritarti Pritarti Pritarti Pritarti Pritarti",
      1         "opinion": "Pritarti visoms pastaboms",
      1         "opinion": "Pritarti. Vyriausybės išvada gauta (2015-08-27)",
      7         "opinion": "Projektą atmesti",
      3         "opinion": "Svarstyti",
mgedmin commented 9 years ago

Extracted values for submitter (474 different ones):

$ grep submitter alt-sugs.json|sort|uniq -c
      5         "submitter": "AB „Lietuvos dujos“"
      1         "submitter": "Advokato Anatolijaus Novikovo kontora"
      1         "submitter": "Algirdas Stasys Petniūnas"
      4         "submitter": "Anoniminis"
      2         "submitter": "Antanas Silis"
      1         "submitter": "Antanas Vaičiulis"
      1         "submitter": "Antikorupcijos komisija"
      3         "submitter": "Apeliacinis teismas"
      1         "submitter": "Apylinkių teismų teisėjų sąjunga"
      2         "submitter": "Aplinkos apsaugos komitetas"
      1         "submitter": "Aplinkosaugos koalicija"
      5         "submitter": "Aplinkos ministerija"
     13         "submitter": "Asociacija „Infobalt“"
      1         "submitter": "Asociacija Lietuvos kredito unijos"
      1         "submitter": "Asociacija „Metro sąjūdis“"
      2         "submitter": "Asociacija „Šnieriškių bendruomenė“"
     62         "submitter": "Audito komitetas"
      2         "submitter": "Aukščiausiasis Teismas 2014-03"
      2         "submitter": "Baltijos pluoštinių kultūrų augintojų ir perdirbėjų asociacija"
      3         "submitter": "Bart Pauwels, Ernesta Pauvels"
     26         "submitter": "Biudžeto ir finansų komitetas"
      1         "submitter": "Bronislava Daunorienė"
      2         "submitter": "Buhalterių asociacijų aljansas"
      1         "submitter": "Daiva Čibirienė"
      1         "submitter": "Daiva Stumbrienė (193 parašai)"
      1         "submitter": "D. Augutienė, L. Jokubauskienė, ir kt."
      1         "submitter": "Doc. Aurelijus Veryga, LRS Sveikatos reikalų komiteto neetatinis ekspertas"
      2         "submitter": "Doc. dr. Gediminas Kalčinskas"
      1         "submitter": "Doc. Dr. Milda Ališauskienė, Vytauto didžiojo universiteto Socialinių mokslų fakulteto Sociologijos katedros vedėja; Tarptautinės naujųjų religijų studijų asociacijos viceprezidentė"
     30         "submitter": "Ekonomikos komitetas"
      1         "submitter": "Ekonomikos komitetas, 2013 m. rugsėjo 18 d. Nr. 108-P-28"
      1         "submitter": "Ekonomikos komitetas, 2015 m. rugsėjo 16 d. išvada Nr. 108-P-22"
      1         "submitter": "Ekonomikos komitetas (komiteto išvadų rengėjai)"
      1         "submitter": "Eksploatuoti netinkamų transporto priemonių tvarkytojų asociacija"
      1         "submitter": "E. Rimgaila ir 1180 piliečių parašų"
      5         "submitter": "Etninės kultūros globos taryba"
      6         "submitter": "Europos teisės departa-menras prie Lietuvos Respubli-kos teisingumo ministe-rijos"
      1         "submitter": "Europos Teisės departamentas"
     39         "submitter": "Europos teisės departamentas"
      5         "submitter": "Europos Teisės departamentas prie Lietuvos Respublikos Teisingumo ministerijos"
      1         "submitter": "Europos teisės departa-mentas prie Lietuvos Respubli-kosTeisin-gumo ministeri-jos"
      7         "submitter": "Europos teisės departamentas prie Lietuvos Respublikos Teisingumo ministerijos"
      1         "submitter": "Europos teisės departa-mentas prie Lietuvos Respubli-kos teisingumo ministeri-jos"
      1         "submitter": "Europos teisės departamen-tas prie Lietuvos Respublikos teisingumo ministerijos"
     84         "submitter": "Europos teisės departamentas prie Lietuvos Respublikos teisingumo ministerijos"
      1         "submitter": "Europos Teisės departamentas prie Lietuvos Respublikos Teisingumo ministerijos, 2012-08-"
      1         "submitter": "Europos Teisės departamentas prie Lietuvos Respublikos Teisingumo ministerijos, 2015-03"
      1         "submitter": "Europos Teisės departamentas prie Lietuvos Respublikos Teisingumo ministerijos, 2015-05"
      1         "submitter": "Europos teisės departa-mentas prie Lietuvos Respubli- kos teisingumo ministreri-jos"
     12         "submitter": "Europos teisės departa-mentas prie Lietuvos Respubli-kos teisingumo ministreri-jos"
      3         "submitter": "Europos teisės departamentas prie LR Teisingumo ministerijos"
      3         "submitter": "Europos teisės departamentas prie LR teisingumo ministerijos"
      1         "submitter": "Europos Teisės departamentas prie Teisingumo ministerijos"
    176         "submitter": "Europos teisės departamentas prie Teisingumo ministerijos"
      2         "submitter": "Europos teisės departamentas, prie Teisingumo ministerijos"
      3         "submitter": "Europos teisės departamentasprie Teisingumo ministerijos"
      2         "submitter": "Europos teisės departamentas prie teisingumo ministerijos"
      1         "submitter": "Europos teisės departamentas, prie teisingumo ministerijos"
      1         "submitter": "Europos teisės departamentas prie Teisingumo ministerijos 2013-0"
      1         "submitter": "Europos teisės departamentas prie Teisingumo ministerijos 2015-"
      1         "submitter": "Europos teisės departamentas prie TM"
      2         "submitter": "Europos teisės departamento prie TM išvada"
      3         "submitter": "Europos žmogaus teisių fondas"
      4         "submitter": "Finansinių nusikaltimų tyrimo tarnyba prie Lietuvos Respublikos vidaus reikalų ministerijos"
      1         "submitter": "Finansinių nusikaltimų tyrimų tarnyba prie Vidaus reikalų ministerijos"
      7         "submitter": "Finansų ministerija"
      1         "submitter": "Gamtos apsaugos asociacija „Baltijos vilkas“"
      1         "submitter": "Gamtos apsaugos asociacija „Baltijos vilkas“ su 8212 piliečių parašais"
     13         "submitter": "Generalinė prokuratūra"
      2         "submitter": "Generalinė prokuratūra 2012-05-"
      1         "submitter": "Generalinės prokuratūros Organizuotų nusikaltimų ir korupcijos tyrimo departamento vyriausiasis prokuroras"
      2         "submitter": "Ginčuose dalyvaujančių buhalterių asociacija"
      1         "submitter": "Gintautas Grigas"
      5         "submitter": "Gyventojų registro tarnyba"
      1         "submitter": "Hieraldikos komisija"
      1         "submitter": "Igoris Bazylevas"
      9         "submitter": "Informacinės visuomenės plėtros komitetas"
      5         "submitter": "Investuotojų asociacija"
      2         "submitter": "Jaunimo ir sporto reikalų komisija"
      1         "submitter": "Jonas Vaiškūnas"
      1         "submitter": "Jonavos rajono savivaldybės administracija"
      1         "submitter": "Juozas Sykas, prokuroras"
      6         "submitter": "Kaimo reikalų komitetas"
      1         "submitter": "Kaimo reikalų komitetas, 2013 m. lapkričio 20 d. Nr. 110-P-40"
      1         "submitter": "Kalvarijos savivaldybės meras Valdas Aleknavičius"
      1         "submitter": "Kauno J. Urbšio katalikiškos vid. M-klos direktorius P. Martinaitis"
      1         "submitter": "Kauno miesto savivaldybės administracija"
      1         "submitter": "Kauno miesto savivaldybės administracijos Viešosios tvarkos skyrius"
      1         "submitter": "Kauno m. mokyklos"
      1         "submitter": "Kauno technologijos universiteto prorektorius P. Žiliukas"
      1         "submitter": "Kazimieras Petrauskas"
      1         "submitter": "Klaipėdos laisvoji ekonominė zona"
      1         "submitter": "Klaipėdos miesto savivaldybės taryba Jūrinių ir vidaus vandenų reikalų komisija"
      1         "submitter": "Klaipėdos universiteto Humanitarinių mokslų fakultetas"
     14         "submitter": "Komiteto neetatinė ekspertė A.Širinskienė"
      4         "submitter": "Komiteto neetatinė ekspertė D. Brogienė"
      1         "submitter": "Konkurencijos taryba (sutrumpintai)"
      1         "submitter": "Kūno kultūros ir sporto departamentas"
      2         "submitter": "Kūno kultūros ir sporto departamentas prie Lietuvos Respublikos Vyriausybės"
      1         "submitter": "Lauko reklamos asociacija"
      3         "submitter": "Lietuvių kalbos gynėjų sąjungos Ekspertų tarybos narys Prof. Vitas Labutis"
      3         "submitter": "Lietuvių kalbos instituto darbuotojos: dr. Ona Aleknavičienė, prof. dr. Laima Kalėdienė"
      7         "submitter": "Lietuvos advokatūra"
      1         "submitter": "Lietuvos aludarių gildija"
      4         "submitter": "Lietuvos antstolių rūmai"
      2         "submitter": "Lietuvos Apeliacinis Teismas"
      4         "submitter": "Lietuvos apeliacinis teismas"
      3         "submitter": "Lietuvos apskaitos įmonių asociacija"
      1         "submitter": "Lietuvos Aukčiausiasis Teismas"
     23         "submitter": "Lietuvos Aukščiausiasis Teismas"
      9         "submitter": "Lietuvos Aukščiausiasis teismas"
      1         "submitter": "Lietuvos Aukščiausiasis teismas 2013-04 XIP-3018"
      1         "submitter": "Lietuvos Aukščiausias Teismas"
      5         "submitter": "Lietuvos autoverslininkų asociacija"
      1         "submitter": "Lietuvos autoverslininkų asociacija (Rokas Knyva generalinis direktorius Lietuvos autoverslininkų asociacija)"
     18         "submitter": "Lietuvos bankas"
     17         "submitter": "Lietuvos bankų asociacija"
      4         "submitter": "Lietuvos bioetikos komitetas"
      2         "submitter": "Lietuvos blaivybės fondas"
      2         "submitter": "Lietuvos draudikų asociacija"
      1         "submitter": "Lietuvos edukologijos universiteto Istorijos fakultetas"
      1         "submitter": "Lietuvos farmacijos darbuotojų profesinė sąjunga"
      1         "submitter": "Lietuvos farmacijos sąjunga"
      2         "submitter": "Lietuvos gydytojų vadovų sąjunga"
      4         "submitter": "Lietuvos gyvybės draudimo įmonių asociacija"
      3         "submitter": "Lietuvos grūdų perdirbėjų asociacija"
      1         "submitter": "Lietuvos heraldikos komisija"
      6         "submitter": "Lietuvos Huntingtono ligos asociacija"
      1         "submitter": "Lietuvos istorijos institutas"
      2         "submitter": "Lietuvos kaimo bendruomenių sąjunga"
      1         "submitter": "Lietuvos kariuomenės kūrėjų savanorių sąjungos Kauno kūrėjų sąjunga ir kiti"
      9         "submitter": "Lietuvos kelių policijos tarnyba"
      1         "submitter": "Lietuvos kinologų draugija"
      3         "submitter": "Lietuvos kompiuterininkų sąjunga"
      3         "submitter": "Lietuvos laisvės kovos sąjūdis"
      3         "submitter": "Lietuvos laisvosios rinkos institutas"
      1         "submitter": "Lietuvos laisvosios rinkos institutas (pateikiama sutrumpintai)"
      1         "submitter": "Lietuvos laivų savininkų asociacija"
      1         "submitter": "Lietuvos medžiotojų ir žvejų draugija"
      2         "submitter": "Lietuvos medžiotojų sąjunga „Gamta“"
      4         "submitter": "Lietuvos miško savininkų asociacija"
      3         "submitter": "Lietuvos mokytojų profesinė sąjunga"
      7         "submitter": "Lietuvos mokslų akademija"
      1         "submitter": "Lietuvos muziejų asociacija"
      3         "submitter": "Lietuvos nacionalinė vartotojų federacija"
      1         "submitter": "Lietuvos nacionalinis radijas ir televizija"
      1         "submitter": "Lietuvos naujoji apaštalų bažnyčia"
      1         "submitter": "Lietuvos Nepriklausomybės Akto signatarų klubas"
      8         "submitter": "Lietuvos notarų rūmai"
      1         "submitter": "Lietuvos pacientų forumas"
      4         "submitter": "Lietuvos pacientų organizacijų atstovų taryba"
      1         "submitter": "Lietuvos Persitvarkymo Sąjūdžio iniciatyvinės grupės klubas"
      1         "submitter": "Lietuvos pramonininkų konfederacija"
      1         "submitter": "Lietuvos prekybos įmonių asociacija"
      2         "submitter": "Lietuvos prekybos, pramonės ir amatų rūmų asociacija"
      1         "submitter": "Lietuvos privačių geležinkelių įmonių asociacija"
      1         "submitter": "Lietuvos psichologų sąjunga"
      7         "submitter": "Lietuvos radijo ir televizijos asociacija"
     15         "submitter": "Lietuvos radijo ir televizijos komisija"
      3         "submitter": "Lietuvos rašytojų sąjungos nariai, Vydas Astas"
      1         "submitter": "Lietuvos Respublikos aplinkos ministerija"
      2         "submitter": "Lietuvos Respublikos Finansų ministerija"
      2         "submitter": "Lietuvos Respublikos finansų ministerija"
     16         "submitter": "Lietuvos Respublikos generalinė prokuratūra"
      4         "submitter": "Lietuvos Respublikos konkurencijos taryba"
      1         "submitter": "Lietuvos Respublikos Konstitucinis Teismas"
      4         "submitter": "Lietuvos Respublikos namų ir žemės sklypų savininkų sąjunga"
      1         "submitter": "Lietuvos Respublikos Prezidentas"
      1         "submitter": "Lietuvos Respublikos Prezidento kanceliarija"
      1         "submitter": "Lietuvos Respublikos saugumo departamentas"
     31         "submitter": "Lietuvos Respublikos Seimo kanceliarijos Teisės departamentas"
      1         "submitter": "Lietuvos Respublikos Seimo narė A. Stancikienė"
      2         "submitter": "Lietuvos Respublikos Specialiųjų tyrimų tarnyba"
     15         "submitter": "Lietuvos Respub-likos specialiųjų tyrimų tarnyba"
     39         "submitter": "Lietuvos Respublikos specialiųjų tyrimų tarnyba"
      4         "submitter": "Lietuvos Respublikos specialiųjų tyrimų tarnyba, 2013-01-"
      2         "submitter": "Lietuvos Respublikos sveikatos apsaugos ministerija"
     12         "submitter": "Lietuvos Respublikos teisingumo ministerija"
      1         "submitter": "Lietuvos Respublikos teisingumo ministerija,2 013-11-12"
      1         "submitter": "Lietuvos Respublikos Transporto priemonių draudikų biuras"
      2         "submitter": "Lietuvos Respublikos Ūkio ministerija"
      1         "submitter": "Lietuvos Respublikos vaiko teisių apsaugos kontrolieriaus įstaiga"
      1         "submitter": "Lietuvos Respublikos vaiko teisių apsaugos kontrolierius"
      7         "submitter": "Lietuvos Respublikos Valstybės saugumo departamentas"
     23         "submitter": "Lietuvos Respublikos valstybės saugumo departamentas"
      4         "submitter": "Lietuvos Respublikos vidaus reikalų ministerija"
    160         "submitter": "Lietuvos Respublikos Vyriausybė"
      2         "submitter": "Lietuvos Respublikos Vyriausybės"
     14         "submitter": "Lietuvos Respublikos Vyriausybės 2015 m. rugpjūčio 5 d. išvada Nr. 808"
     10         "submitter": "Lietuvos Respublikos Vyriausybės išvada"
      1         "submitter": "Lietuvos Respublikos žemės ūkio ministerija"
      5         "submitter": "Lietuvos Respublikos žemės ūkio rūmai"
      4         "submitter": "Lietuvos Sąjūdis"
      2         "submitter": "Lietuvos Sąjūdžio Vilniaus miesto taryba"
      5         "submitter": "Lietuvos Sąjūdžio Vilniaus skyriaus taryba"
      2         "submitter": "Lietuvos Sąjūdžio Vilniaus skyrius"
     32         "submitter": "Lietuvos savivaldybių asociacija"
      3         "submitter": "Lietuvos smulkiųjų vartojimo kreditų asociacija"
      2         "submitter": "Lietuvos sporto federacijų sąjunga"
      1         "submitter": "Lietuvos sporto universitetas"
      3         "submitter": "Lietuvos studentų sąjunga"
      1         "submitter": "Lietuvos studentų sąjungos prezidentas P. Baltokas"
      1         "submitter": "Lietuvos sveikatingumo klubų asociacija"
      1         "submitter": "Lietuvos sveikatos mokslų universiteto ligoninė Kauno klinikos"
      4         "submitter": "Lietuvos sveikatos mokslų universiteto Medicinos akademijos Visuomenės sveikatos fakultetas"
      1         "submitter": "Lietuvos švietimo darbuotojų profesinė sąjunga"
      1         "submitter": "Lietuvos tautinis olimpinis komitetas"
      2         "submitter": "Lietuvos techninės apžiūros įmonių asociacija Transeksta"
      1         "submitter": "Lietuvos techninės apžiūros įmonių asociacija TRANSEKSTA 2015-05-"
     11         "submitter": "Lietuvos teisėsaugos pareigūnų federacija"
      7         "submitter": "Lietuvos teisės institutas"
      1         "submitter": "Lietuvos tėvų forumas"
      7         "submitter": "Lietuvos tėvų forumo pirmininkas A. Murauskas"
      1         "submitter": "Lietuvos transporto priemonių draudikų biuras"
     19         "submitter": "Lietuvos turizmo asociacija"
      2         "submitter": "Lietuvos ūkininkų sąjunga ir Baltijos pluoštinių kultūrų augintojų ir perdirbėjų asociacija"
      1         "submitter": "Lietuvos vaikų nefrologų draugija"
      3         "submitter": "Lietuvos vartojimo lizingo ir kredito asociacija"
      3         "submitter": "Lietuvos verslo konfederacija"
     22         "submitter": "Lietuvos visuomenės sveikatos asociacija"
      5         "submitter": "Lietuvos vyriausiasis administracinis teismas"
      2         "submitter": "Lietuvos žemės savininkų sąjungos Šiaulių skyrius"
      5         "submitter": "Lietuvos žemės ūkio bendrovių asociacija"
      1         "submitter": "Lietuvos žmogaus teisių asociacija"
      1         "submitter": "Lietuvos žmogaus teisių koordinavi-mo centras"
      1         "submitter": "Lietuvos žuvininkystės produktų gamintojų asociacijos pirmininkas A.Bargaila; Klaipėdos žuvininkystės įmonių asociacijos „Jūros žvejys“ pirmininkas A.Maželis"
      2         "submitter": "Lietuvos žuvininkystės produktų gamintojų asociacijos pirmininkas A.Bargaila ; Klaipėdos žuvininkystės įmonių asociacijos „Jūros žvejys“ pirmininkas A.Maželis Tarptautinės žuvies perdirbėjų ir Žvejų asociacijos „Baltijos vienybė“ Pirmininkas Pranas Norvilas"
      3         "submitter": "Lietuvos žuvininkystės produktų gamintojų asociacijos pirmininkas A.Bargaila (LŽPGA)"
      2         "submitter": "Linas Naudužas"
      1         "submitter": "LR kultūros ministerija"
     38         "submitter": "LR Seimo kanceliarijos Teisės departamentas"
      1         "submitter": "LR Seimo nariai Valerijus Simulik, Edvardas Žakaris"
      1         "submitter": "LR Seimo narys Linas Balsys"
      1         "submitter": "LR Seimo narys Rimantas Jonas Dagys"
      1         "submitter": "LR Seimo Sveikatos reikalų komiteto neetatinė ekspertė Daiva Brogienė"
      2         "submitter": "LR Seimo Sveikatos reikalų komiteto neetatinė ekspertė Danguolė Jankauskienė"
      1         "submitter": "LR Specialiųjų tyrimų tarnyba"
     11         "submitter": "LR Teisingumo ministerija"
      1         "submitter": "LR Vaiko teisių apsaugos kontrolierius"
     48         "submitter": "LR Vyriausybė"
      8         "submitter": "LR Vyriausybės"
      1         "submitter": "LŽŪBA"
      1         "submitter": "Maisto papildų gamintojų asociacija"
      2         "submitter": "Marijampolės savivaldybė"
      1         "submitter": "Mažeikų rajono savivaldybės administracija"
      1         "submitter": "Mėgėjų žvejybos tarybos (MŽT) pirmininkas Antanas Kontautas"
      3         "submitter": "Miglė Vantens"
      4         "submitter": "Mikas Petrauskas UAB Kauno detektyvų agentūros direktorius"
      3         "submitter": "Mindaugas Gaigalas"
      1         "submitter": "Mindaugas Lukas"
      4         "submitter": "Mykolo Romerio universitetas"
      1         "submitter": "Mykolo Romerio universiteto Teisės fakulteto Administracinės teisės ir proceso katedros vedėjas prof.dr. Algimantas Urmonas"
      1         "submitter": "Monrealio lietuviškos radijo laidos programos vedėjas L. Stankevičius"
      1         "submitter": "Muitinės departamentas"
      1         "submitter": "Muitinės departamentas prie Finansų ministerijos"
      1         "submitter": "Muitinės departamentas prie Lietuvos Respublikos Finansų ministerijos"
     13         "submitter": "Nacionalinė antikorupcijos asociacija"
     30         "submitter": "Nacionalinė sveikatos taryba"
     14         "submitter": "Nacionalinė tabako ir alkoholio kontrolės koalicija"
      2         "submitter": "Nacionalinė teismų administracija"
     10         "submitter": "Nacionalinė turizmo verslo asociacija"
      4         "submitter": "Nacionalinė vaistų prekybos asociacija"
      2         "submitter": "Nacionalinė žemės tarnyba prie Žemės ūkio ministerijos"
     18         "submitter": "Nacionalinio saugumo ir gynybos komitetas"
     68         "submitter": "Nacionalinis pareigūnų profesinių sąjungų susivienijimas"
      2         "submitter": "Nacionalinis pareigūnų profesinių sąjungų susivienijimus"
      3         "submitter": "Nacionalinis vėžio institutas"
     17         "submitter": "Narkotikų, tabako ir alkoholio kontrolės departamentas"
      1         "submitter": "Narkotikų, tabako ir alkoholio kontrolės departamentas (G.Belian)"
      1         "submitter": "Narkotikų, tabako ir alkoholio kontrolės departmentas A.Veryga"
      5         "submitter": "Nevyriausybinių organizacijų koordinacinė taryba LR Konstitucijai ginti"
      1         "submitter": "O. Batkienė"
      4         "submitter": "Olegas Rimanas"
      1         "submitter": "Olegas Rimanas ( Įgaliotasis asmuo pagal 2012 m. vasario mėn. 22 d. Jungtinės veiklos sutartį Nr. 1 UAB „Privačių detektyvų biuras“ Direktorius )"
      1         "submitter": "Onkohematologinių ligonių bendrija „Kraujas\" Asociacija „Gyvastis\", Lietuvos išsėtinės sklerozės sąjunga ; Lietuvos vaikų vėžio asociacija „Paguoda \" Asociacija „Pozityvus gyvenimas\", Lietuvos artrito asociacija, Stomuotų žmonių asociacija „Diena“, Kauno bendrija „Likimas“, VŠĮ Tėviškės namai, Onkologinėmis ligomis sergančių moterų draugija „Eivena \", VŠĮ „Kartu lengviau\" (sergantieji smegenų navikais), Huntingtono ligos asociacija, Lietuvos sergančiųjų genetinėmis nervų-raumenų ligomis asociacija „Sraunija\", ŽIV ir AIDS paveiktų moterų bei jų artimųjų asociacija „Demetra“, Vaiko širdies asociacija, Panevėžio moterų sergančių krūties ligomis bendrija, „Atgaja“, Lietuvos sergančiųjų prostatos vėžiu asociacija, Lietuvos Alzheimerio ligos asociacija, Šilutės rajono sergančių onkologinėmis ligomis draugija „Vivafemina“, Lietuvos pacientų forumas, Bechterevo liga sergančių draugija Judesys“, Lietuvos diabeto sąjunga, Šiaulių apskrities sergančiųjų epilepsija ir jų globėjų draugija, Elektrėnų seniūnijos sveikatos draugija „Mes esame“"
      1         "submitter": "Pagalbos onkologiniams ligoniams asociacija"
      1         "submitter": "Piliečiai G. A. Kalėda, S. S. Jocas, Zarasų rajono Žemdirbių asociacija"
      1         "submitter": "Pilietis Linas Jakučionis"
      2         "submitter": "Policijos departamentas"
     36         "submitter": "Policijos departamentas prie Lietuvos Respublikos vidaus reikalų ministerijos"
      9         "submitter": "Policijos departamentas prie Vidaus reikalų ministerijos"
      4         "submitter": "Policijos departamentas prie Vidaus reikalų ministerijos 2012-05-"
      2         "submitter": "Policijos departamentas prie VRM"
      7         "submitter": "Privačių medžioklės plotų savininkų asociacija"
      1         "submitter": "Prof. G.Navaitis"
      1         "submitter": "R. Baliukevičienė ir kt."
      1         "submitter": "Rimantė Vyčaitė, gyv. I. Šimulionio g. 10-95, Vilnius"
      1         "submitter": "R. Jocienė ir kt."
      2         "submitter": "Rūta 84.46.242.173"
      3         "submitter": "Sambūris „Patirtis“"
      3         "submitter": "Savivaldybių asociacija"
      1         "submitter": "Savivaldybių asociacija Raseinių rajono savivaldybės administracijos Teisės, personalo ir civilinės metrikacijos skyrius"
     13         "submitter": "Savivaldybių visuomenės sveikatos biurų asociacija"
      4         "submitter": "Seimo Aplinkos apsaugos komitetas"
      6         "submitter": "Seimo Audito komitetas"
     12         "submitter": "Seimo Biudžeto ir finansų komitetas"
      2         "submitter": "Seimo Ekonomikos komitetas"
      3         "submitter": "Seimo Informacinės visuomenės komitetas"
      1         "submitter": "Seimo kanceliari-jos Teisės departamenras"
     10         "submitter": "Seimo kance-liarijos Teisės departa-mentas"
      4         "submitter": "Seimo kance-liarijos Teisės departamentas"
     12         "submitter": "Seimo kancelia-rijos Teisės departa-mentas"
     20         "submitter": "Seimo kancelia-rijos Teisės departamentas"
      1         "submitter": "Seimo kanceliari-jos Teisės departa- mentas"
    146         "submitter": "Seimo kanceliari-jos Teisės departa-mentas"
      2         "submitter": "Seimo kanceliari-jos Teisės departamentas"
      2         "submitter": "Seimo kanceliarijos Teisės departamen-tas"
   1667         "submitter": "Seimo kanceliarijos Teisės departamentas"
      1         "submitter": "Seimo kanceliarijos teisės departamentas;"
     31         "submitter": "Seimo kanceliarijos teisės departamentas"
      1         "submitter": "Seimo kanceliarijos Teisės departamentas 201-12-07"
      1         "submitter": "Seimo kanceliarijos Teisės departamentas, 201 5 -0 2 - 05"
      3         "submitter": "Seimo kanceliarijos Teisės departamentas, 201 5 -02-05"
      3         "submitter": "Seimo kanceliari-jos Teisės departa-mentas, 2015-03-3"
      2         "submitter": "Seimo kanceliarijos Teisės departamentas, 201 5 -0 4 - 17"
      2         "submitter": "Seimo kanceliarijos Teisės departamentas, 201 5 -0 4 -20"
     12         "submitter": "Seimo kanceliarijos Teisės departamentas (TD)"
     14         "submitter": "Seimo kanceliarijos Teisės departamento"
    118         "submitter": "Seimo kanceliarijos Teisės departamento išvada"
      1         "submitter": "Seimo kanceliari-jos Teisės departamn-tas"
      1         "submitter": "Seimo kanceliarijos Teisės ir teisėtvarkos komiteto biuro patarėja Dalia Latvelienė"
      1         "submitter": "Seimo kanceliarijos Teisės ir teisėtvarkos komiteto biuro patarėjas Virginijus Kanapinskas"
      1         "submitter": "Seimo narė B.Vėsaitė, 2015-04-8"
      2         "submitter": "Seimo narė Milda Petrauskienė"
      1         "submitter": "Seimo narė Rima Baškienė"
      1         "submitter": "Seimo narė Rita Tamašunienė"
      1         "submitter": "Seimo narė V. Aleknaitė – Abramikienė"
      1         "submitter": "Seimo nariai: Arimantas Dumčius Juozas Olekas"
      4         "submitter": "Seimo nariai Dalia Teišerskytė, Vytautas Juozapaitis"
      6         "submitter": "Seimo nariai R.Žemaitaitis, A.Skardžius, K.Daukšys"
      1         "submitter": "Seimo nariai V.Juozapaitis V. Stundys"
      1         "submitter": "Seimo nariai V.Skarbalius, V.Gapšys,V.Filipovičienė"
      1         "submitter": "Seimo nariai V. Stundys, V. Juozapaitis, M. Adomėnas"
      1         "submitter": "Seimo narys Algimantas Salamakinas"
      3         "submitter": "Seimo narys Andrius Mazuronis"
      3         "submitter": "Seimo narys Artūras Skardžius"
      1         "submitter": "Seimo narys Darius Ulickas"
      1         "submitter": "Seimo narys Domas Petrulis"
      2         "submitter": "Seimo narys J. Olekas"
      7         "submitter": "Seimo narys Jurgis Razma"
      1         "submitter": "Seimo narys M. Bastys"
     12         "submitter": "Seimo narys M. Zasčiurinskas"
      1         "submitter": "Seimo narys P. Čimbaras"
      5         "submitter": "Seimo narys Remigijus Žemaitaitis"
     10         "submitter": "Seimo narys R.Žemaitaitis"
      1         "submitter": "Seimo narys Sergej Ursul"
      1         "submitter": "Seimo narys Vytautas Juozapaitis"
      3         "submitter": "Šeimos vaistinių asociacija"
      3         "submitter": "Seimo Sveikatos reikalų komitetas"
      1         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė doc. dr. A. Širinskienė"
      5         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė G.Belian"
      1         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė J. Dičkutė"
      1         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė J. Kulberkienė"
     13         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė N.Tarvydienė"
     13         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė prof .R. Kalėdienė"
      2         "submitter": "Seimo Sveikatos reikalų komiteto neetatinė ekspertė R.Lingienė"
      1         "submitter": "Seimo sveikatos reikalų komiteto neetatinė ekspertė R. Lingienė"
     13         "submitter": "Seimo Sveikatos reikalų komiteto neetatinis ekspertas doc.J.V.Vaitkevičius"
     13         "submitter": "Seimo Sveikatos reikalų komiteto neetatinis ekspertas prof. R.Stukas"
     11         "submitter": "Seimo Teisės departamentas"
      5         "submitter": "Seimo Teisės ir teisėtvarkos komitetas"
      6         "submitter": "Seimo Užsienio reikalų komitetas"
      2         "submitter": "Seimo Valstybės valdymo ir savivaldybių komitetas"
      2         "submitter": "Seimo Valstybės valdymo ir savivaldybių komiteto biuro l.e.p vedėjas A. Astrauskas"
      1         "submitter": "Seimo valstybės valdymo ir savivaldybių komiteto biuro patarėjas A. Astrauskas"
      7         "submitter": "Seimo Žmogaus teisių komitetas"
      1         "submitter": "Skuodo rajono savivaldybės administracijos Teisės, personalo ir dokumentų valdymo skyriaus vyriausioji specialistė Alina Beniušienė"
      4         "submitter": "Socialinės apsaugos ir darbo ministerija"
      1         "submitter": "Socialinių inovacijų fondas"
     11         "submitter": "Socialinių reikalų ir darbo komitetas"
      1         "submitter": "Socialinių reikalų ir darbo komiteto išvada"
     18         "submitter": "Socialinių reikalų ir darbo komiteto pasiūlymas"
      1         "submitter": "Soc. mokslų hab. dr. prof. O. Voverienė, Nacionalinės kultūros ir meno premijos laureatas, režisierius, dirigentas P. Mataitis, Joniškio „Aušros“ gimnazijos direktoriaus pavaduotoja V. Bartašienė"
     23         "submitter": "Specialiųjų tyrimų tarnyba"
      1         "submitter": "Specialiųjų tyrimų tarnybos antikorupcinio vertinimo išvada"
     14         "submitter": "Susisiekimo ministerija"
     25         "submitter": "Sveikatos apsaugos ministerija"
     12         "submitter": "Sveikatos reikalų komitetas"
      2         "submitter": "Sveikatos reikalų komiteto neetatinė ekspertė prof. D. Jankauskienė"
     12         "submitter": "Švietimo ir mokslo ministerija"
      9         "submitter": "Švietimo, mokslo ir kultūros komitetas"
     40         "submitter": "(TD)"
      6         "submitter": "TD"
      2         "submitter": "Teikia Seimo nariai: Rima Baškienė Kazimieras Kuzminskas Remigijus Ačas Vida Marija Čigriejienė Povilas Urbšys Linas Balsys Algimantas Dumbrava Kęstutis Bartkevičius Vitalijus Gailius Dalia Teišerskytė Zita Žvikienė Jonas Kondrotas Raimundas Markauskas Ona Valiukevičiūtė Rita Tamašunienė Vanda Kravčionok"
      1         "submitter": "Teisėjų Taryba"
     10         "submitter": "Teisėjų taryba"
      7         "submitter": "Teisės institutas"
     16         "submitter": "Teisės ir teisėtvarkos komitetas"
      2         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja Irma Leonavičiūtė"
      7         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja Loreta Zdanavičienė"
      1         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja L.Zdanavčienė"
     26         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja L.Zdanavičienė"
      8         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja M.Civilkienė"
      1         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja Rita Karpavičiūtė"
      2         "submitter": "Teisės ir teisėtvarkos komiteto biuro patarėja Rita Varanauskienė"
      7         "submitter": "Teisės ir teisėtvarkos komiteto biuro vedėja Dalia Latvelienė"
      5         "submitter": "Teisės ir teisėtvarkos komiteto patarėja L.Zdanavičienė"
      1         "submitter": "Teisės ir teisėtvarkos komiteto patarėja Rita Karpavičiūtė"
      1         "submitter": "Teisės ir teisėtvarkos patarėja Rita Karpavičiūtė"
     40         "submitter": "Teisingumo ministerija"
      7         "submitter": "Teisingumo ministerija 2012-06"
      3         "submitter": "Teisingumo ministerija 2014-04-"
      2         "submitter": "Teisingumo ministerija 2015-03-"
      3         "submitter": "TTK biuro patarėja Rita Karpavičiūtė"
      2         "submitter": "UAB „Danpower Baltic“"
      1         "submitter": "UAB „Drąseikių karjeras“, UAB „Baltijos karjerai“"
      1         "submitter": "UAB „Lietuvos dujų tiekimas“"
      1         "submitter": "UAB „Pramonės energija“"
      1         "submitter": "Ūkio ministerija"
      1         "submitter": "Užkrečiamųjų ligų ir AIDS centras"
      1         "submitter": "Užsienio reikalų ministerija"
      4         "submitter": "Vaiko teisių apsaugos kontrolierė"
      9         "submitter": "Vaiko teisių apsaugos kontrolieriaus įstaiga"
      5         "submitter": "Vaiko teisių apsaugos kontrolierius"
      3         "submitter": "Vaistinių asociacija"
      1         "submitter": "Valdymo bendrovės, atstovaujančios Kauno, Kėdainių Klaipėdos Marijampolės ir Panevėžio laisvąsias ekonomines zonas"
      2         "submitter": "Valstybės ir savivaldybių komitetas"
      1         "submitter": "Valstybės vaiko teisių apsaugos ir įvaikinimo tarnyba prie SADM"
      1         "submitter": "Valstybės vaiko teisių apsaugos ir įvaikinimo tarnyba prie Socialinės apsaugos ir darbo ministerijos"
      1         "submitter": "Valstybės vaiko teisių ir įvaikinimo tarnyba prie socialinės apsaugos ir darbo ministerijos."
      2         "submitter": "Valstybės valdymo ir savibaldybių komitetas"
     25         "submitter": "Valstybės valdymo ir savivaldybių komitetas"
      2         "submitter": "Valstybės valdymo ir savivaldybių reikalų komitetas"
      6         "submitter": "Valstybinė akreditavimo sveikatos priežiūros veiklai tarnyba prie SAM"
      4         "submitter": "Valstybinė duomenų apsaugos inspekcija"
      1         "submitter": "Valstybinė kainų ir energetikos kontrolės komisija"
      4         "submitter": "Valstybinė lietuvių kalbos komisija"
      1         "submitter": "Valstybinė ligonių kasa"
      1         "submitter": "Valstybinė maisto ir veterinarijos tarnyba"
      3         "submitter": "Valstybinė mokesčių inspekcija"
      3         "submitter": "Valstybinės ne maisto produktų inspekcijos darbuotojų profesinė sąjunga"
      4         "submitter": "Valstybinė teismo medicinos tarnyba"
      2         "submitter": "Valstybinė vartotojų teisių apsaugos tarnyba"
     30         "submitter": "Viasat"
      7         "submitter": "Vidaus reikalų ministerija"
      4         "submitter": "Viešoji įstaiga ,,Europos parkas“"
      2         "submitter": "Viešųjų pirkimų tarnyba"
      2         "submitter": "Vilniaus arkivyskupijos CARITAS"
     13         "submitter": "Vilniaus krašto higienistų ir epidemiologų draugija"
      8         "submitter": "Vilniaus miesto policijos darbuotojų profesinė sąjunga"
      4         "submitter": "Vilniaus miesto savivaldybės administracija"
     14         "submitter": "Vilniaus miesto savivaldybės administracijos Saugaus miesto departamentas"
      1         "submitter": "Vilniaus rajono ŽŪB „Vanaginė“"
      3         "submitter": "Vilniaus universiteto Filologijos fakultetas"
      1         "submitter": "Vilniaus universiteto filologijos fakultetas"
      1         "submitter": "Vilniaus universiteto Istorijos fakultetas"
      5         "submitter": "Vilniaus universiteto Medicinos fakultetas"
      1         "submitter": "Vilniaus universiteto religijos tyrimų studijų centras"
      3         "submitter": "„Vilnijos“ draugijos pirmininkas hab. dr. Kazimieras Garšva"
      3         "submitter": "„Vilnijos“ draugijos pirmininkas hab. dr. K. Garšva"
      2         "submitter": "Visuomeninė organizacija „Tėvai prieš narkotikus“"
      1         "submitter": "Vyriausioji tarnybinės etikos komisija"
      8         "submitter": "Vyriausybė"
      1         "submitter": "Vyriausybės atstovo Panevėžio apskrityje tarnyba"
      2         "submitter": "Vyriausybės atstovo Vilniaus apskrityje tarnyba"
      8         "submitter": "Vytauto Didžiojo Universitetas"
      1         "submitter": "Vytauto Didžiojo universitetas"
      1         "submitter": "Vladas Blažys, Skaistrė Andriulienė ir kt. pareigūnai (200 parašų)"
      3         "submitter": "VšĮ Lietuvos laisvosios rinkos institutas"
      4         "submitter": "VšĮ „Psichikos sveikatos perspektyvos“(2014.12.11), VšĮ Žmogaus teisių stebėjimo institutas (2014.12.11), Asociacija „Lietuvos neįgaliųjų forumas“ (2014.12.12), VšĮ „Paramos vaikams centras“ (2014.12.12), Asociacija „Nacionalinis aktyvių mamų sambūris“ (2014.12.12), Žiburio fondas (2014.12.12), LPF SOS vaikų kaimų Lietuvoje draugija (2014.12.12), VšĮ Šeimos santykių institutas (2014.12.15), Visuomeninė organizacija „Gelbėkit vaikus“ (2014.12.15)"
      7         "submitter": "VšĮ Valstybinis patologijos centras"
      1         "submitter": "VšĮ Vilnaius universiteto ligoninės Santariškių klinikos"
      4         "submitter": "VšĮ Vilniaus universiteto ligoninės Santariškių klinikos"
      1         "submitter": "VšĮ VU Santariškių klinikos"
     10         "submitter": "Žemės savininkų sąjunga ir Miško savininkų asociacija"
      3         "submitter": "Žemės ūkio ministerija"
     13         "submitter": "Žemės ūkio rūmai"
      3         "submitter": "Žmogaus teisių komitetas"
      6         "submitter": "ŽŪM"
      1         "submitter": "Žuvininkystės įmonių asociacija „Lampetra“"
      1         "submitter": "Žuvininkystės ir laivybos tarpšakinės organizacijos l.e.p. Pirmininkas Mindaugas Kulakauskas"
     19         "submitter": "Žuvininkystės tarnyba prie ŽŪM"
      1         "submitter": "Žvejų ir žuvies perdirbėjų asociacija (ŽŽPA) „Baltijos žvejas“"
      1         "submitter": "Žvejų ir žuvies perdirbėjų asociacijos (ŽŽPA) „Baltijos žvejas“ pirmininkas A.Aušra"
mgedmin commented 9 years ago

NB: you'll want to clean your existing DB tables and re-scrape:

$ bin/django shell
In [1]: from manoseimas.mps_v2 import models
In [2]: models.Suggestion.objects.all().delete()

$ bin/scrapy crawl suggestions
2015-10-14 15:22:19+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=441469&p_tr2=2
2015-10-14 15:22:24+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=450796&p_tr2=2

and whoops there are errors because some values are too long for the columns.

mgedmin commented 9 years ago

Ok, I'm seriously confused here.

The 1st time I ran the crawler with the database storage pipeline disabled (not shown in the diff).

When I re-ran the crawler with the DB storage enabled, I got those too long column data errors for values I didn't see in the original JSON result list. And when store the new results in JSON, I see more data than I originally saw (almost 4x more!):

$ grep -c source_url alt-sugs2.json
16551
mgedmin commented 9 years ago

Full set of warnings:

2015-10-14 15:46:27+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=450796&p_tr2=2 2015-10-14 15:47:16+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=464165&p_tr2=2 2015-10-14 15:47:20+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=441469&p_tr2=2 2015-10-14 15:47:37+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=439277&p_tr2=2 2015-10-14 15:47:40+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=440184&p_tr2=2

mgedmin commented 9 years ago

http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=439277&p_tr2=2 is actually getting misparsed, because the columns are shuffled (Eil. Nr. is dropped and instead Pastabos is inserted).

mgedmin commented 9 years ago

With every fix I get more warnings :/

2015-10-14 16:27:03+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=440184&p_tr2=2 2015-10-14 16:28:05+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=464165&p_tr2=2 2015-10-14 16:28:27+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=450796&p_tr2=2 2015-10-14 16:28:40+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=459033&p_tr2=2 2015-10-14 16:28:40+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=458340&p_tr2=2 2015-10-14 16:29:13+0300 [suggestions] WARNING: 2 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=439277&p_tr2=2 2015-10-14 16:29:30+0300 [suggestions] WARNING: 1 empty rows discarded at http://www3.lrs.lt/pls/inter3/dokpaieska.showdoc_l?p_id=441469&p_tr2=2

mgedmin commented 9 years ago

Please see #96 for the latest status (list of warnings and values).