Fehlende ZDF-Filme - Githubissues

pidoubleyou commented 7 years ago

Im Forum wird in diversen Posts auf fehlende Filme im ZDF hingewiesen, die

in der Mediathek noch online sind
der Crawler schon einmal gefunden hatte

Beispiele:

Meine Recherchen haben bisher folgendes ergeben:

die Einträge waren bis 05.04. in der Filmliste enthalten
durch die Bereinigung der doppelten Einträge aus #142 sind die Filme entfallen
der Crawler findet die Filme weiterhin, wenn der Tag im Suchzeitraum enthalten ist

Nicklas2751 commented 7 years ago

Besonders den letzten deiner Punkte kann ich bestätigen der Crawler findet alles wenn es im Suchzeitraum liegt. Deshalb habe ich hier bisher auch keinen Handlungsbedarf gesehen.

Was möchtest du denn mit dem Ticket ändern? Ich wüsste nichts was wir hier tun können außer Betroffenen Usern direkt Links im Forum zu geben.

pidoubleyou commented 7 years ago

Da der Crawler die Filme findet, will ich herausfinden, warum diese bei den Suchläufen nach der manuellen Bereinigung der Filmliste nicht wieder hinzugefügt wurden.

Außerdem ist anscheinend in der Logik, die die Filmliste bereinigt, ein Fehler enthalten, denn es hätten nur die Duplikate entfernt werden dürfen.

pidoubleyou commented 7 years ago

Wenn ich die Duplikate mittels mTool bereinige, sind die fehlenden Filme noch in der Liste enthalten. @alex1702 Hast du für die Bereinigung der Duplikate auch mTool verwendet oder eine andere Logik?

lookshe commented 7 years ago

die Einträge waren bis 05.04. in der Filmliste enthalten

Sicher? Filmliste aus dem Archiv:

grep -oiP "\"X\":\[\"\",\"\",\"(\\\\\")?Betty.?[-_ ]*Diagnose(\\\\\")?[^]]*]" 2017-04-05-filme 
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 1: Undercover Boss","06.01.2017","19:25:00","00:43:00","749","Dr. Behring ist von seiner Schussverletzung genesen und leitet die Klinik nun als kommissarischer Chefarzt. Betty sucht eine Gelegenheit, sich bei ihm für seine Rettungstat zu bedanken.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170106_sendung_bet/2/170106_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/undercover-boss-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170106_sendung_bet/2/Bettys_Diagnose_Undercover_Boss_060117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170106_sendung_bet/2/170106_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1483727100","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose: Trailer zu Staffel 3","06.01.2017","12:29:00","00:01:30","26","Holen Sie sich einen Vorgeschmack auf Staffel 3 mit zwölf neuen Folgen der beliebten ZDF-Vorabendseire - zu sehen ab dem 6. Januar 2017 jeweils freitags um 19:25 Uhr im ZDF!","https://rodlzdf-a.akamaihd.net/none/zdf/16/11/161125_trailer_staffel3_bet/1/161125_trailer_staffel3_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/trailer-staffel-3-100.html","","","104|476k_p9v13.mp4","","104|3296k_p15v13.mp4","","1483702140","","","false"]
"X":["","","\"Bettys Diagnose\" backstage","06.01.2017","09:05:00","00:05:02","87","Bettina Lamprecht zeigt, wie es hinter den Kulissen von \"Bettys Diagnose\" zugeht.","https://rodlzdf-a.akamaihd.net/none/zdf/17/01/170106_clip_7_vks/1/170106_clip_7_vks_2328k_p35v13.mp4","https://www.zdf.de/verbraucher/volle-kanne/bettys-diagnose-backstage-102.html","","","84|476k_p9v13.mp4","","84|3296k_p15v13.mp4","","1483689900","","","false"]

Es sieht also spontan so aus, als wäre es auch dort nicht vorhanden. Wenn diese Filme also wirklich gefunden werden, was ich zumindest spontan nicht beurteilen kann, dann werden sie, aus welchen Gründen auch immer, nicht in die Liste übernommen.

lookshe commented 7 years ago

Ok, hab mich wohl bei dem Regex vertan, da die fehlenden Folgen nicht mit dem korrekten Namen beginnen. grep -oiP "\"X\":\[\"\",\"\",\"[^]]*betty.?[ -_]diagnose[^]]*]" ist zielführender und zeigt, dass vom 5.4. auf den 6.4. mehr als 50 Filme weniger in der Liste sind.

Wenn ich das gleiche allerdings mit Listen meines Crawlers gegenprüfe, gibt es diese Diskrepanz nicht. Da es keine Probleme mit doppelten Einträgen gab, habe ich die Liste allerdings auch in keinster Weise bereinigt oder ähnliches, sondern nur die jeweils neuen Versionen der Crawler installiert. Auch sind nach den letzten Läufen die besagten Folgen vorhanden. Evtl. sollten also mal die Crawler überprüft werden, ob diese nicht in irgendwelche Fehler laufen oder so.

Georg-J commented 7 years ago

@pidoubleyou Deine drei Beispiele im ersten Post habe ich auch in meiner Filmliste. Allerdings nicht den Film aus #170, bei dem du die gleiche Fehlerursache vermutest. Ich vermute, dass der Crawler "Ein fliehendes Pferd" nie gefunden hat. Falls ich mich irre, dann ist dieser Film schon aus der Filmliste verschwunden, bevor ich diese geladen hatte. Termine 2017: Sa 25.03.2017 00:00-01:30 (1:30 h = 90 Min.) ZDF So 09.04.2017 21:55-23:25 (1:30 h = 90 Min.) 3sat

Nicklas2751 commented 5 years ago

Weiteres Beispiel: https://forum.mediathekview.de/topic/1758/zdf-die-chefin-s09e01-der-neue-31-08-2018

reisig7 commented 3 years ago

Weiteres Beispiel: ZDF Serie Zarah - Wilde Jahre fehlt in der Filmliste. https://www.zdf.de/serien/zarah-wilde-jahre/zarah---wilde-jahre-100.html

Nicklas2751 commented 3 years ago

@reisig7 Für solche Meldungen haben wir eine eigene Kategorie im Forum: https://forum.mediathekview.de/category/7/fehlende-sendungen

mediathekview / MServer

Fehlende ZDF-Filme #148