search

edisona / amcat

Automatically exported from code.google.com/p/amcat
1 stars 0 forks source link

Slurping articles from Amcat3 to Amcat2 doesn't work #320

Closed GoogleCodeExporter closed 9 years ago

GoogleCodeExporter commented 9 years ago 
Beste developers,

Het overzetten van artikelen van amcat3 naar amcat2 lukt niet. Ik krijg geen 
foutmelding, alleen steeds de melding dat er 0 artikelen zijn geslurpt, wat gek 
is omdat er in amcat2 toch echt artikelen zijn van de volkskrant in de gezochte 
periode.

Bijgevoegd een screenshot.

Groeten,

Joep

Original issue reported on code.google.com by joepscha...@nieuwsmonitor.net on 18 Feb 2013 at 2:47

GoogleCodeExporter commented 9 years ago 
Ha Joep,

Ik zie geen bijgevoegd screenshot. Welk script gebruik je?

Original comment by Martijn....@gmail.com on 18 Feb 2013 at 4:38

GoogleCodeExporter commented 9 years ago

Original comment by Martijn....@gmail.com on 18 Feb 2013 at 4:38

GoogleCodeExporter commented 9 years ago 
oeps, vergeten. Script zie je in de screenshot!

Original comment by joepscha...@nieuwsmonitor.net on 18 Feb 2013 at 4:41

GoogleCodeExporter commented 9 years ago 
Hmm, via email komen er geen attachments door :-(. Bug in Google Code 
waarschijnlijk.

Kun je het gewoon via de webinterface ( 
https://code.google.com/p/amcat/issues/detail?id=320#makechanges ) proberen?

Original comment by Martijn....@gmail.com on 18 Feb 2013 at 10:30

GoogleCodeExporter commented 9 years ago 
Volgende poging!

Original comment by joepscha...@nieuwsmonitor.net on 19 Feb 2013 at 8:20

Attachments:

GoogleCodeExporter commented 9 years ago 
Ha Joep,

De articleset die je probeert te slurpen (22732) bestaat niet.

Martijn

Original comment by Martijn....@gmail.com on 28 Feb 2013 at 1:22

GoogleCodeExporter commented 9 years ago 
Ha Martijn,

DIt nummer zou de article set van de volkskrant moeten zijn? Of moeten we
tegenwoordig een ander nummer gebruiken? Deze werkte voorheen namelijk wel
gewoon en bij Provenance staat het ook nog aangegeven..

Article Set 2 : Dutch newspaper archive  ID:68  Name: Volkskrant
Provenance: Imported from amcatdb set 22732  Indexed: Fully indexed

Groeten,

Joep

Original comment by joepscha...@nieuwsmonitor.net on 28 Feb 2013 at 1:29

GoogleCodeExporter commented 9 years ago 
Aha, wacht even. Wil je artikelen slurpen uit wat nu de database is van 
amcat-{production,dev}.labs.vu.nl of is er nog een andere?

Original comment by Martijn....@gmail.com on 28 Feb 2013 at 1:32

GoogleCodeExporter commented 9 years ago 
Ik weet niet genoeg van de database en de achterkant van amcat om de vraag
te kunnen beantwoorden. Misschien helpt het als ik uitleg wat de bedoeling
van het slurpscript is: de gescrapte kranten komen niet meer binnen in de
database van amcat2, maar in die van amcat3. Omdat de database van amcat3
nog niet helemaal op orde is, werkt zoeken in het archief van amcat2 nog
even prettiger. Die willen we wel (bijna) dagelijks aanvullen met de nieuwe
kranten. Het slupscript haalt de gescrapte artikelen per medium per periode
op en voegt ze toe aan een batch in amcat2. Tot 22 januari heeft dit script
gewerkt. Daarna niet meer. Ik weet niet of het script nu een verkeerd
mediumid of database aanroept of dat er wat anders speelt.We hebben het
niet meer nodig als alle krantendata vanaf 2008 tm nu goed in amcat3 staat.
Dat is geloof ik al bijna zo, maar ik meen dat er  nog een paar issues op
dit vlak open staan.. misschien is het makkelijker om dat te fixen dan de
sulper, want dat is toch maar een tijdelijke oplossing.

Groeten,

Joep

Original comment by joepscha...@nieuwsmonitor.net on 28 Feb 2013 at 1:40

GoogleCodeExporter commented 9 years ago 
Is dit de articleset die je bedoelt:

http://amcat-dev.labs.vu.nl/navigator/project/2/articleset/68

? En scrapet de scraper daar nu ook naar voor zover jij weet? In dat geval is 
de id vna de articleset 68 geworden. (Het batchnummer blijft hetzelfde.)

Groeten,
Martijn

Original comment by Martijn....@gmail.com on 28 Feb 2013 at 2:02

GoogleCodeExporter commented 9 years ago 
Voor zover ik weet scrapet de scraper daarnaartoe ja. Als ik query zoek en
dan 68 volkskrant vindt ie de nieuwste volkskranten, dus dat lijkt te
kloppen. Het slurpen zal dan weer werken als ik 22732 verander in 68? Ik ga
het testen als ik weer op de VU ben (dat is maandag).

Ik laat het je weten als ik ergens tegenaan loop.

Groeten,

Joep

Original comment by joepscha...@nieuwsmonitor.net on 28 Feb 2013 at 2:10

GoogleCodeExporter commented 9 years ago 
Ja, dat is correct. 68 zou moeten werken!

Martijn

Original comment by Martijn....@gmail.com on 28 Feb 2013 at 2:13

GoogleCodeExporter commented 9 years ago 
Dank je! Consider it fixed!

Original comment by joepscha...@nieuwsmonitor.net on 28 Feb 2013 at 2:16

GoogleCodeExporter commented 9 years ago

Original comment by Martijn....@gmail.com on 28 Feb 2013 at 2:24