search

mediathekview / MServer

Server zum Steuern des Crawler
https://mediathekview.de
GNU General Public License v3.0
69 stars 19 forks source link

Arte Film Fehlt #169

Closed harbuer closed 7 years ago

harbuer commented 7 years ago

Hallo,

die komplette "Dekalog-Filmreihe" fehlt in der Filmliste. D.h. wenn man die Filmliste z.B. mit "dekalog" filtert, wird der Film nicht gefunden. Auch habe ich die Arte.de-Liste nach "Dauer" sortiert und bin ebenfalls nicht fündig geworden bei Filmen, die in etwa die Dauer der Dekalog-Filme haben.

Hier die URL zum ersten Film der Dekalog-Reihe: http://www.arte.tv/de/videos/002543-001-A/dekalog-eins

Meine Mediathekview-Version ist: 13.0.2 Java-Version: 1.8.0_131 OS: Microsoft Windows 10 Pro, 10.0.14393 Build 14393

Vielen Dank!!!! Harald

zxsd commented 7 years ago

Dein Ansprechpartner wäre ARTE G.E.I.E. Postfach 1980 D-77679 KEHL.

arte-reihe

styroll commented 7 years ago

@harbuer sagte: die komplette "Dekalog-Filmreihe" fehlt in der Filmliste.

Mal abgesehen davon, dass die Sendung offenbar gar nicht online gestellt wurde, gehören solche Probleme ins Forum, nicht hierher.

pidoubleyou commented 7 years ago

Die Sendung ist offensichtlich trotzdem online verfügbar, zumindest kann ich die Filme auf der ARTE-Seite anschauen.

Der Grund für das Fehlen in der Filmliste ist wohl folgender: bei der Suche wird das TV-Programm der letzten 14 Tage durchsucht. Da für die Dekalog-Reihe keine Sendetermine angegeben sind, vermute ich, dass diese nie in den TV-Programmen seit der Mediathek-Umstellung aufgetaucht sind.

@harbuer Weißt du zufällig, wann die Sendung im TV gelaufen ist? Dann würde ich mal prüfen, ob bei einer Vergrößerung des Suchzeitraums die Sendungen gefunden werden.

Georg-J commented 7 years ago

@pidoubleyou Für 2017 habe ich diese Termine gefunden: Mo 24.04.2017 20:15-21:50 (1:35 h = 95 Min.) Die zwei Leben der Veronika Mo 24.04.2017 21:50-23:10 (1:20 h = 80 Min.) Ein kurzer Film über das Töten Sa 06.05.2017 01:50-03:15 (1:25 h = 85 Min.) Ein kurzer Film über das Töten So 07.05.2017 09:35-11:10 (1:35 h = 95 Min.) Die zwei Leben der Veronika

harbuer commented 7 years ago

Die o.g. Filme sind nicht die, die ich meine. Sie sind lediglich vom selben Regisseur.

Leider konnte ich nicht herausfinden, wann die Dekalog-Reihe ausgestrahlt wurde :(

Georg-J commented 7 years ago

@harbuer Stimmt. Ich hatte die EPG-Daten nicht aufmerksam gelesen. @pidoubleyou Die Sendedaten in den letzten zehn Jahren (alle von arte): Sa 15.03.2008 22:35-23:30 (0:55 h = 55 Min.) Dekalog, Eins Sa 15.03.2008 23:30-00:25 (0:55 h = 55 Min.) Dekalog, Zwei Mo 17.03.2008 00:15-01:15 (1:00 h = 60 Min.) Dekalog, Drei Mo 17.03.2008 01:15-02:10 (0:55 h = 55 Min.) Dekalog, Vier Mo 17.03.2008 14:00-14:55 (0:55 h = 55 Min.) Dekalog, Eins Di 18.03.2008 00:05-01:05 (1:00 h = 60 Min.) Dekalog, Fünf Di 18.03.2008 14:00-14:55 (0:55 h = 55 Min.) Dekalog, Zwei Mi 19.03.2008 00:55-01:55 (1:00 h = 60 Min.) Dekalog, Sechs Mi 19.03.2008 14:00-14:55 (0:55 h = 55 Min.) Dekalog, Drei Mi 19.03.2008 22:45-23:40 (0:55 h = 55 Min.) Dekalog, Sieben Mi 19.03.2008 23:40-00:35 (0:55 h = 55 Min.) Dekalog, Acht Do 20.03.2008 14:00-14:55 (0:55 h = 55 Min.) Dekalog, Vier Do 20.03.2008 23:55-00:50 (0:55 h = 55 Min.) Dekalog, Neun Fr 21.03.2008 00:50-01:50 (1:00 h = 60 Min.) Dekalog, Zehn Mo 24.03.2008 14:00-15:00 (1:00 h = 60 Min.) Dekalog, Sechs Di 25.03.2008 14:00-14:55 (0:55 h = 55 Min.) Dekalog, Sieben Mi 26.03.2008 14:00-14:55 (0:55 h = 55 Min.) Dekalog, Acht Do 27.03.2008 14:00-15:00 (1:00 h = 60 Min.) Dekalog, Neun Fr 28.03.2008 14:00-15:00 (1:00 h = 60 Min.) Dekalog, Zehn

pidoubleyou commented 7 years ago

@Georg-J Danke für die Info. Das bestätigt meine Vermutung.

Im Forum wird auch auf andere Sendungen hingewiesen, bei denen ältere Folgen fehlen, obwohl sie noch online sind.

Um diese zu finden, muss die Suche für ARTE erweitert werden.

pidoubleyou commented 7 years ago

Mit dieser Erweiterung sollten auch Filme ohne Sendedatum gefunden werden, wie z.B. in diesem Forums-Eintrag.

pidoubleyou commented 7 years ago

Der Stand im Featurebranch findet jetzt schon viele Filme, die als fehlend angemerkt wurden, wenn der Crawler mit der Einstellung Langaufgerufen wird.

Allerdings gibt es sporadisch noch ein Problem mit offenen Connections, so dass die Liste nie vollständig ist: Jul 22, 2017 1:38:11 AM okhttp3.internal.platform.Platform log WARNING: A connection to http://www.arte.tv/ was leaked. Did you forget to close a response body? To see where this was allocated, set the OkHttpClient logger level to FINE: Logger.getLogger(OkHttpClient.class.getName()).setLevel(Level.FINE);

pidoubleyou commented 7 years ago

Habe das Problem beheben können. Die Implementierung ist fertig. @alex1702 kannst du einen Test durchführen, ob es auch bei dir korrekt funktioniert?

alex1702 commented 7 years ago

werde ich machen.

pidoubleyou commented 7 years ago

Habe noch ein Problem bei Tests gefunden: es treten immer wieder 504er-Fehler bei API-Calls vor. Die Ursache ist vermutlich, dass zu viele parallele Anfragen durchgeführt werden.

alex1702 commented 7 years ago

Ich hatte bei Tests das Problem dass glaub ich von dieser Dialog Serie eine Folge oder so fehlte, kam aber nicht dazu das weiter zu debuggen. Könnte das eventuell mit deinem gefunden 504er Problem zusammen gehangen haben?

alex1702 commented 7 years ago

Ok also beim aktuellen test sind Dekalog 1 - 10 da. Im Log hab ich jetzt auch oft 504 und 502 Fehler gesehen.

pidoubleyou commented 7 years ago

Nachdem ich längere Zeit nicht dazugekommen bin, habe ich jetzt eine Lösung gefunden. Ich habe die Anzahl der parallelen Threads begrenzt. Bei meinen Tests traten die 500er-Fehler nicht mehr auf, die Suche benötigte jeweils ca. 10 Minuten für ARTE.DE und ARTE.FR