--updatedb adds no items.

messenjah commented 5 years ago

Hi,

I did a fresh installation on a fresh debian stretch minimal installation and it seems to be installed all properly.
Then I did the --createdb command and also did not get any error.
But the command "--updatedb" does not populate the database. I think the updatedb command should run for a while at least the first time and download all the data.

This is the output:


messenjah@debianvm:~/src/mediathek$ ./mediathek-worker.pl --updatedb
mediathek-worker.pl[13098]: Fetching http://zdfmediathk.sourceforge.net/update-json.xml --> /home/messenjah/.local/share/applications/mediathek/servers.xml [No: 0/1]
mediathek-worker.pl[13098]: Fetching http://verteiler5.mediathekview.de/Filmliste-akt.xz --> /home/messenjah/.local/share/applications/mediathek/database-json-0.xz [No: 1/8]
mediathek-worker.pl[13098]: Now: 2018-11-24 16:09:48, pruning older than: 2018-11-14 16:09:48
mediathek-worker.pl[13098]: About to delete 0 items.
mediathek-worker.pl[13098]: Added 0 items.

Is there anything I could debug or read a log to find our why it doesn't download the entries?

Kind regards, messenjah

sboehringer commented 5 years ago

What you did looks correct. Could you please run the following and post the output? ./mediathek-worker.pl --updatedb --loglevel 7

messenjah commented 5 years ago

Hi Stefan,

thanks for your reply. Here is the output:

messenjah@debianvm:~/src/mediathek$ ./mediathek-worker.pl --updatedb --loglevel 7
firstFile: ./mediathek.cfg
firstFile: ./mediathek.cfg
firstFile: /home/messenjah/MyLibrary/Configs/mediathek.cfg
firstFile: /home/messenjah/Library/Configs/mediathek.cfg
firstFile: /Library/Configs/mediathek.cfg
firstFile: /MyLibrary/Configs/mediathek.cfg
firstFile: //mediathek.cfg
Fetching http://zdfmediathk.sourceforge.net/update-json.xml --> /home/messenjah/.local/share/applications/mediathek/servers.xml [No: 0/1]
Written to: /home/messenjah/.local/share/applications/mediathek/servers.xml
SeverList fetch: http://verteiler4.mediathekview.de/Filmliste-akt.xz
http://verteiler5.mediathekview.de/Filmliste-akt.xz
http://verteiler6.mediathekview.de/Filmliste-akt.xz
http://download10.onlinetvrecorder.com/mediathekview/Filmliste-akt.xz
http://mediathekview.jankal.me/Filmliste-akt.xz
http://verteiler1.mediathekview.de/Filmliste-akt.xz
http://verteiler2.mediathekview.de/Filmliste-akt.xz
http://verteiler3.mediathekview.de/Filmliste-akt.xz
Number of servers to probe: 1
Fetching http://verteiler1.mediathekview.de/Filmliste-akt.xz --> /home/messenjah/.local/share/applications/mediathek/database-json-0.xz [No: 5/8]
Written to: /home/messenjah/.local/share/applications/mediathek/database-json-0.xz
Now: 2018-11-28 12:16:43, pruning older than: 2018-11-18 12:16:43
About to delete 0 items.
Added 0 items.

Thanks, messenjah

sboehringer commented 5 years ago

Now please xzcat /home/messenjah/.local/share/applications/mediathek/database-json-0.xz | head

messenjah commented 5 years ago

This file is really big (25MB) and this is a piece of the file:

Wie bereitet sich die Schauspielerin auf ihre Sprechrolle vor? Warum ist sie im Synchronstudio ständig in Bewegung? Schaut es euch an!","http://nrodl.zdf.de/none/tivi/14/05/140510_habermann_wic/4/140510_habermann_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1495274400","","","false"],"X":["","","Entspannt euch!","14.04.2017","05:30:00","00:02:58","52","Wie überrascht sind die Wikinger, als Hallgrim sie zu einem Wohlfühl- und Entspannungsort führt mit heißen Quellen, Sauna und viel Spaß beim Ausruhen und Nichtstun. Doch ganz so entspannend wird es für die Wikinger nicht ...","http://nrodl.zdf.de/none/tivi/14/08/140812_folge_49_ausschnitt_wic/4/140812_folge_49_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1492140600","","","false"],"X":["","","Sven und das unschlagbare Schwert","11.12.2016","06:00:00","00:02:59","52","Sven hat Halvar und Wickie in seine Gewalt gebracht und ihnen das unschlagbare Schwert abgenommen. Jetzt will er wissen, wie es funktioniert. Wickie gibt ihm einen Tipp, doch wirklich glücklich wird Sven damit trotzdem nicht...","http://nrodl.zdf.de/none/tivi/14/07/140722_folge_53_ausschnitt_wic/4/140722_folge_53_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Das flutscht!","11.12.2016","06:00:00","00:01:56","34","Urobe hat ein seltsames Stück in seiner Kiste, das man zum Waschen benutzen soll. Doch was hat es damit auf sich? Wickie löst das Rätsel ...","http://nrodl.zdf.de/none/tivi/14/03/140318_folge_10_ausschnitt_wic/6/140318_folge_10_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Niemals aufgeben!","11.12.2016","06:00:00","00:00:34","10","Oh, nein! Das Beiboot ist weg! Doch Wickie besorgt sich Holz und baut ein Brett mit Segel - eine Art \"Windsurfer\". So flitzt er mit Snorre und Tjure übers Wasser.","http://nrodl.zdf.de/none/tivi/14/03/140318_folge_05_ausschnitt_wic/6/140318_folge_05_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Hilfe, ein Ivar!","11.12.2016","06:00:00","00:01:37","28","Der einbeinige Ivar ist nicht ganz ungefährlich ...","http://nrodl.zdf.de/none/tivi/14/04/140424_folge_74_ausschnitt_wic/4/140424_folge_74_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Torero Halvar","11.12.2016","06:00:00","00:01:55","34","Der Spanische Großgrundbesitzer Gaudio hat Halvar gefangen genommen und will ihm sein Drachenboot abknöpfen. Um frei zu kommen muss Halvar gegen einen Stier im Wettrennen gewinnen...","http://nrodl.zdf.de/none/tivi/14/07/140722_folge_40_ausschnitt_wic/4/140722_folge_40_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Der Wasserfall","11.12.2016","06:00:00","00:02:59","52","Das Drachenboot rauscht auf einen Wasserfall zu und nur Gorm befindet sich an Bord. Halvar und Wickie sind auf dem Weg, doch können sie Gorm und das Boot retten?","http://nrodl.zdf.de/none/tivi/14/07/140722_folge_51_ausschnitt_wic/4/140722_folge_51_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Wikinger zahlen keinen Wegezoll!","11.12.2016","06:00:00","00:02:58","52","Die Wickinger wollen ihren Schatz nicht mit den Dänen teilen, um durch den Kanal gelassen zu werden. Wickie hat eine Idee, wie man die Dänen reinlegen könnte ...","http://nrodl.zdf.de/none/tivi/14/07/140722_folge_39_ausschnitt_wic/4/140722_folge_39_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Das fliegende Schiff","11.12.2016","06:00:00","00:02:41","47","Das Schiff der Wikinger wird vom Wirbelsturm nach China getragen und landet dort auf einem Reisfeld. Dabei geht der Handkarren kaputt, mit dem das Mädchen Mingzhu ihrem Vater Medikamente bringen wollte. Aber vielleicht können die Wikinger das Schiff ja erneut zum Fliegen bringen und die Medikamente doch noch zum Vater bringen?","http://nrodl.zdf.de/none/tivi/14/07/140722_folge_57_ausschnitt_wic/4/140722_folge_57_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Flieg, Täubchen!","11.12.2016","06:00:00","00:02:33","45","Gegen die Piraten haben die Wikinger dieses Mal keine Chance. Urobe schickt einen Hilferuf nach Flake. Ob Wickie eine Lösung findet?","http://nrodl.zdf.de/none/tivi/14/03/140327_folge_26_ausschnitt_wic/4/140327_folge_26_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Band MADSEN","11.12.2016","06:00:00","00:02:28","43","Die Gruppe MADSEN nimmt das Wickie-Lied im Tonstudio auf.","http://nrodl.zdf.de/none/tivi/14/03/140304_wickie_madsen_wic/4/140304_wickie_madsen_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","","Wie entsteht der neue Wickie?","11.04.2017","10:30:00","00:07:02","123","Wie wird aus dem bekannten Zeichentrick-Wickie ein computeranimierter Wickie? Beim Besuch in der Produktionsfirma und dem Synchronstudio erfährst du, wie die 78 neuen Folgen animiert und vertont werden.","http://nrodl.zdf.de/none/tivi/14/03/140325_making_of_wickie_wic/6/140325_making_of_wickie_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1491899400","","","false"],"X":["","","Ylvi nervt!","16.08.2016","11:20:00","00:02:57","52","Die Piraten haben Ylvi entführt, aber das bekommt ihnen gar nicht gut ...","http://nrodl.zdf.de/none/tivi/14/04/140402_folge_34_ausschnitt_wic/4/140402_folge_34_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1471339200","","","false"],"X":["","","Keine Langeweile!","11.12.2016","06:00:00","00:01:48","31","Was machen die Wikinger an Bord ihres Schiffes, wenn kein Wind weht? Wickie unterhält die Mannschaft bei Flaute mit einem spannenden Marionetten-Theater.","http://nrodl.zdf.de/none/tivi/14/03/140318_folge_06_ausschnitt_wic/4/140318_folge_06_ausschnitt_wic_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/wickieunddiestarkenmaenner/start/index.html","","","","","","","1481432400","","","false"],"X":["","Wissen","Gangschaltung","11.06.2017","11:05:00","00:01:29","18","Kleiner Gang, große Übersetzung?","http://nrodl.zdf.de/none/tivi/09/09/090928_fahrrad_zahnrad_low/3/090928_fahrrad_zahnrad_low_vh.mp4","http://www.tivi.de/fernsehen/loewenzahn/index/25520/index.html","","","","","","","1497171900","","","false"],"X":["","Zoom - Der weiße Delfin","Marinas Rettungsmission","26.09.2016","16:40:00","00:02:15","39","Marina will die Schildkröteneier in Sicherheit bringen. Dabei trifft sie auf die Gauner Rico und Biff. Was haben die beiden nur vor?","http://nrodl.zdf.de/none/tivi/15/10/151014_folge2_ausschnitt_zoo/2/151014_folge2_ausschnitt_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1474900800","","","false"],"X":["","","Marinas Mittel gegen Jucken","30.09.2016","16:10:00","00:01:02","18","Von Maevas üppigem Abendessen haben alle einen juckenden Ausschlag bekommen. Krankenschwester Marina hat eine tolle Idee, wie sie ihre Patienten daran hindern kann, sich ständig zu kratzen!","http://nrodl.zdf.de/none/tivi/15/09/150917_folge12_ausschnitt_zoo/4/150917_folge12_ausschnitt_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1475244600","","","false"],"X":["","","Die Wette gilt!","01.07.2017","06:40:00","00:01:35","28","Um Timeti zu beeindrucken, schlagen Yann und Auru den angeberischen Zwillingsbrüdern Sam und Tom ein Wettrennen vor...","http://nrodl.zdf.de/none/tivi/15/09/150917_folge21_ausschnitt_zoo/5/150917_folge21_ausschnitt_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1498884000","","","false"],"X":["","","Die Geschichte der Meerjungfrau","26.09.2016","16:25:00","00:01:44","30","Auru sagt, dass er eine echte Meerjungfrau gesehen hat. Doch niemand glaubt ihm. Da erzählt Ramana die Geschichte von der Meerjungfrau Oruwaru ...","http://nrodl.zdf.de/none/tivi/15/10/151014_folge1_ausschnitt2_zoo/3/151014_folge1_ausschnitt2_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1474899900","","","false"],"X":["","","Liebe liegt in der Luft","24.06.2017","06:50:00","00:02:02","35","Onkel Patricks alte Freundin Anita kommt für einige Tage zu Besuch und er wird auf einmal ganz tollpatschig. Ist er etwa verliebt?","http://nrodl.zdf.de/none/tivi/15/09/150917_folge20_ausschnitt_zoo/4/150917_folge20_ausschnitt_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1498279800","","","false"]}

sboehringer commented 5 years ago

The dates of the items are too old. If an item is from before the pruning date, it will not be added. Try removing all xz-files from /home/messenjah/.local/share/applications/mediathek/ and rerun --updatedb. If the file is not re-created there is a problem with fetching the file.

messenjah commented 5 years ago

I have removed the only xz file database-json-0.xz and fetched a recetn file with --updatedb. Unfortunately I still get no results with --search 'topic:%Tatort%'.

This is a snippet from database-json-0.xz:

1:02","18","Von Maevas üppigem Abendessen haben alle einen juckenden Ausschlag bekommen. Krankenschwester Marina hat eine tolle Idee, wie sie ihre Patienten daran hindern kann, sich ständig zu kratzen!","http://nrodl.zdf.de/none/tivi/15/09/150917_folge12_ausschnitt_zoo/4/150917_folge12_ausschnitt_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1475244600","","","false"],"X":["","","Liebe liegt in der Luft","24.06.2017","06:50:00","00:02:02","35","Onkel Patricks alte Freundin Anita kommt für einige Tage zu Besuch und er wird auf einmal ganz tollpatschig. Ist er etwa verliebt?","http://nrodl.zdf.de/none/tivi/15/09/150917_folge20_ausschnitt_zoo/4/150917_folge20_ausschnitt_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1498279800","","","false"],"X":["","","Die Geschichte der Meerjungfrau","26.09.2016","16:25:00","00:01:44","30","Auru sagt, dass er eine echte Meerjungfrau gesehen hat. Doch niemand glaubt ihm. Da erzählt Ramana die Geschichte von der Meerjungfrau Oruwaru ...","http://nrodl.zdf.de/none/tivi/15/10/151014_folge1_ausschnitt2_zoo/3/151014_folge1_ausschnitt2_zoo_2328k_p35v11.mp4","http://www.tivi.de/fernsehen/zoom-der-weisse-delfin/start/index.html ","","","","","","","1474899900

sboehringer commented 5 years ago

I have pushed an update to master which hopefully resolves the problem. Please pull and rerun --updatedb

messenjah commented 5 years ago

Thanks! Wonderful! It works again. At least on a fresh installation on debian buster. I will try it on the initial debianvm system again soon.

This is resolved :)

output: messenjah@debian:~/src/mediathek$ ./mediathek-worker.pl --updatedb mediathek-worker.pl[48167]: Fetching http://zdfmediathk.sourceforge.net/update-json.xml --> /home/messenjah/.local/share/ mediathek-worker.pl[48167]: Fetching http://verteiler4.mediathekview.de/Filmliste-akt.xz --> /home/messenjah/.local/share mediathek-worker.pl[48167]: Now: 2018-12-07 09:48:07, pruning older than: 2018-11-27 09:48:07 mediathek-worker.pl[48167]: About to delete 0 items. mediathek-worker.pl[48167]: 1e3th entry mediathek-worker.pl[48167]: 2e3th entry mediathek-worker.pl[48167]: 3e3th entry ... mediathek-worker.pl[48167]: 167e3th entry mediathek-worker.pl[48167]: 168e3th entry mediathek-worker.pl[48167]: 169e3th entry Use of uninitialized value in substr at /etc/perl/mediathekLogic.pm line 207, <GEN2> line 169582. mediathek-worker.pl[48167]: Added 7743 items.

Thanks!

Kind regards, messenjah

sboehringer / mediathek

--updatedb adds no items. #12