search

google-code-export / amcat

Automatically exported from code.google.com/p/amcat
0 stars 0 forks source link

List of scraper problems #647

Open GoogleCodeExporter opened 9 years ago

GoogleCodeExporter commented 9 years ago 
Ha Toon,

Er zijn weer wat problemen met de scraping, het komt neer op 2 problemen:

1: Artikelenfilter werkt niet:
- NRC Handelsblad vanaf 28 november 2013
- De Telegraaf vanaf 4 december 2013
- Trouw vanaf 30 november
- Algemeen Dagblad vanaf 4 december 2013
- NRC Next vanaf 11 november 2013
- De Volkskrant vanaf 28 november 2013
- Spits vanaf 10 december 2013

Let op: dit zijn indicaties. Misschien gaat het eerder of later mis, maar dit 
is afgaande op de aantallen artikelen waar het mis lijkt te gaan

2. Missende kranten:
- NRC Handelsblad alles vanaf 31 december
- De Telegraaf alles vanaf 2 januari
- NRC Next de nieuwe zaterdageditie vanaf 12 oktober
- NRC Next alles vanaf 31 december

Ik stuur je via de mail nog even een overzicht. De oranje gekleurde cellen is 
waar ik vermoed dat de filter niet werkt, de gele cellen zijn missende kranten.

Groeten,

Joep

Original issue reported on code.google.com by joepscha...@nieuwsmonitor.net on 8 Jan 2014 at 10:46

GoogleCodeExporter commented 9 years ago 
Aanvulling: Metro van 9 december staat er dubbel in.

Original comment by joepscha...@nieuwsmonitor.net on 8 Jan 2014 at 11:05

GoogleCodeExporter commented 9 years ago 
Heren,

De opmerkingen onder 1 kloppen niet. Het is wel zo dat de general index niet 
werkt, maar de artikelen staan wel in project 2. Ik heb zelf een set gemaakt 
van 2013 die klopt. Er zijn wel wat ongeregeldheden, maar dat komt omdat metro 
bv niet in Lexis Nexis staat.

Vanaf 1 januari heb ik het niet gechekt, dus dat wel graag even checken Toon!

Gr,
Nel

Original comment by nelruig...@nieuwsmonitor.net on 8 Jan 2014 at 11:53

GoogleCodeExporter commented 9 years ago 
Toon,
Het komt erop neer, dat je de scraping wel oplost, maar niet controleert. Een 
aantal dagen zijn weer eens dubbel terwijl andere dagen ontbreken!

Graag oplossen en als je bijscraped voortaan even checken wat je doet.

Nel

Original comment by nelruig...@nieuwsmonitor.net on 8 Jan 2014 at 5:34

GoogleCodeExporter commented 9 years ago 
Tot nu toe heb ik 3 dingen ontdekt:

- de pcm scraper geeft lege artikelen mee
- er zijn toch nog een aantal dubbelen, die zijn in andere sets blijven hangen.
- ik kan niet meer als abonnee inloggen op de website van nrc (en .next) dus 
dat is er één voor Nel. ik heb hier over gemaild.

Joep: op zaterdag is er geen nrc.next (toch?) dus dat blijkt geen issue.

Ik ga nog kijken naar de ontbrekende dagen.

Toon

Original comment by Toon.Alfrink@gmail.com on 12 Jan 2014 at 9:11

GoogleCodeExporter commented 9 years ago 
Tegenwoordig, vanaf 12 okt, bestaat de zaterdag nrc next wel, die is nieuw
ingevoerd.

Groet,

Joep

Op zondag 12 januari 2014 schreef (amcat@googlecode.com):

-- 
Researcher | De Nederlandse Nieuwsmonitor

E:  joepschaper@nieuwsmonitor.net
T:  +31 20 598 31 91
M: +31 6 533 55 865

W: www.nieuwsmonitor.net
F:  www.facebook.com/NederlandseNieuwsmonitor
T:  @nieuwsmonitor

Original comment by joepscha...@nieuwsmonitor.net on 13 Jan 2014 at 6:09

GoogleCodeExporter commented 9 years ago 
Inmiddels is probleem 1 opgelost, dus da's mooi. nu nog:

- telegraaf fiksen (prioriteit 1 omdat het maar een week terug werkt)
- de zaterdagen van nrc.next scrapen
- beide edities nrc fixen (abonnementen)

Original comment by Toon.Alfrink@gmail.com on 14 Jan 2014 at 5:39

GoogleCodeExporter commented 9 years ago 
telegraaf is gefixed, maar 1 januari t/m 9 januari is niet meer te krijgen.

Original comment by Toon.Alfrink@gmail.com on 15 Jan 2014 at 5:33

GoogleCodeExporter commented 9 years ago 
- Vanaf 9 januari tm nu ontbreekt ook bij De Telegraaf, of de scraper doet het 
niet, of het gaat mis bij het overzetten naar de article set. 

Probleem 1 ziet er nu inderdaad goed uit, thanks!

Joep

Original comment by joepscha...@nieuwsmonitor.net on 16 Jan 2014 at 1:51

GoogleCodeExporter commented 9 years ago 
nrc en telegraaf werken inmiddels weer, wat rest is de zaterdageditie van next

Original comment by Toon.Alfrink@gmail.com on 22 Jan 2014 at 4:17

GoogleCodeExporter commented 9 years ago 
Top ik heb een verzoek gedaan om het abonnement te veranderen...nog geen 
antwoord. ga er vrijdag nog wel even achteraan
nel

Original comment by nelruig...@nieuwsmonitor.net on 22 Jan 2014 at 4:18