search

mediathekview / MServer

Server zum Steuern des Crawler
https://mediathekview.de
GNU General Public License v3.0
70 stars 19 forks source link

Sendungen vom SRF werden nicht gefunden #118

Closed Nicklas2751 closed 7 years ago

Nicklas2751 commented 7 years ago

Beim SRF scheint sich so das ein oder andere getan zu haben wodurch, wie im Forum gemeldet wurde, die ein oder andere Sendung nicht mehr gefunden wird. Wenn ich @styroll hier richtig verstehe hat sich da u.a. an den Subdomains etwas getan. Wenn dies der Fall ist, wäre es ratsam die URLs dynamisch aus zulesen um nicht bei jeder kleinen Subdomain änderung den ganzen Spaß wieder anpassen zu müssen.

styroll commented 7 years ago

@Nicklas2751 sagte: Wenn ich @styroll hier richtig verstehe hat sich da u.a. an den Subdomains etwas getan.

Nur zur Präzisierung: Es gab in der Vergangenheit (d.h. in den letzten 2–3 Jahren) schon immer vereinzelte, d.h. seltene Fälle, wo der DL mit der URL von MV nicht klappte und die Subdomain manuell geändert werden musste. Ich hab das jetzt eben kurz analysiert. Das Problem scheint ausschliesslich die "ausländischen" (ausserhalb DACH-Länder) betreffenden Serien zu betreffen: "Chicago Fire", "Die Brücke – Transit in den Tod", "Grey's Anatomy", "The Catch". Ja und leider fehlt in der MV-Filmliste auch die Serie "House of Cards".

Das Beispiel aus dem Forum zeigt, dass es auch – wie bei #105 schon – SRF-Sendungen gibt, deren Video-URL fälschlicherweise auf das Master-Playlist-File verweist, statt das Video in einer konkreten Qualität aufzurufen (z.B. index_0_av.m3u8 = 640x360). Zudem ist seit längerem dieses Problem hängig:

Falls nur "q40,q10,q20,q30,.mp4.csmil/master.m3u8" in der URL, dann müsste "index_0_av.m3u8" als hohe Auflösung und "index_3_av.m3u8" als geringe Auflösung gewählt werden.

Falls "q40,q10,q20,q30,q50,q60,.mp4.csmil/master.m3u8" in der URL, dann gibt' auch HD und dann scheinen von MV bereits die richtigen Auflösungen gewählt zu werden.

Bsp. mit nur "q40,q10,q20,q30" in der URL (640x360 = beste Auflösung): http://hdvodsrforigin-f.akamaihd.net/i/vod/myschool/2015/09/myschool_20150921_095250_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8

vs. Bsp. mit "q40,q10,q20,q30,q50,q60" in der URL (HD = beste Auflösung): http://srfvodhd-vh.akamaihd.net/i/vod/dok/2017/03/dok_20170312_162458_4586671_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/master.m3u8

xaverW commented 7 years ago

schaus mir mal an

xaverW commented 7 years ago

Falls nur "q40,q10,q20,q30,.mp4.csmil/master.m3u8" in der URL, dann müsste "index_0_av.m3u8" als hohe Auflösung und "index_3_av.m3u8" als geringe Auflösung gewählt werden.

ist geändert, sind gut 100 Filme (kurzer Suchlauf)

die URL aus dem Forum:

https://srfvodhd-vh.akamaihd.net/i/vod/greysanatomy/2017/03/greysanatomy_20170306_201123_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8

ist da:

http://il.srgssr.ch/integrationlayer/1.0/ue/srf/video/play/c38e793e-1a0b-429d-814f-e9f5eca55cb0.jsonp

so drin, da wird keine Subdomain "fest" angefügt. Die kann ich aber nicht laden (Access Denied You don't have permission to access ...), wahrscheinlich wegen "Ausland"?? Deswegen ist dann "nur" die Master-Playlist in der Filmliste. Vielleicht ließe sich das "umgehen", wenn man es dann nochmal mit geänderter URL versucht?? das könnte ich jetzt zB. laden und auslesen:

http://hdvodsrforigin-f.akamaihd.net/i/vod/greysanatomy/2017/03/greysanatomy_20170306_201123_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8

styroll commented 7 years ago

https://srfvodhd-vh.akamaihd.net/i/vod/greysanatomy/2017/03/greysanatomy_20170306_201123_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8 Die kann ich aber nicht laden (Access Denied You don't have permission to access ...), wahrscheinlich wegen "Ausland"??

Ich kriege die gleiche Meldung aus dem Inland. Liegt also nicht an Geoblocking.

Vielleicht ließe sich das "umgehen", wenn man es dann nochmal mit geänderter URL versucht??

Ja. Wenn ich dich richtig verstanden habe, könnten die URLs aller Sendungen mit der Subdomain "srfvodhd-vh" geprüft und falls notwendig modifiziert ("srfvodhd-vh" -> "hdvodsrforigin-f") werden.

xaverW commented 7 years ago

läuft hier: http://37.120.186.206:8000/akt/filme-akt.xz

da werden die Listen angeboten, ist ein langer Lauf ohne Import einer alten Liste mit den Änderungen für den SRF: "master.m3u8" (konnten alle geändert werden) und Auflösung bei "q40,q10,q20,q30,.mp4.csmil/master.m3u8"

styroll commented 7 years ago

Kurzer Test mit "Grey's Anatomy" und "Chicago Fire": Die Qualität ist nun definiert (index_0_av und index_3_av), aber die Subdomain wurde nicht geändert, d.h. der DL ist weiterhin fehlerhaft. Zudem werden die Sendungen nun doppelt aufgeführt (d.h. auch die URL auf das Master-Playlist-File)…

xaverW commented 7 years ago

https://srfvodhd-vh.akamaihd.net/i/vod/greysanatomy/2017/03/greysanatomy_20170306_201123_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8 Die kann ich aber nicht laden (Access Denied You don't have permission to access ...), wahrscheinlich wegen "Ausland"??

stimmt, ich habe die nur bei der Playlist geändert um die Filme lesen zu können, wenn auch die FilmURLs geändert werden müssen, muss ich das noch machen.

styroll commented 7 years ago

@xaverW sagte: wenn auch die FilmURLs geändert werden müssen, muss ich das noch machen.

Ja, das wäre notwendig, damit der DL auch klappt. Besten Dank.

@styroll sagte: Wenn ich dich richtig verstanden habe, könnten die URLs aller Sendungen mit der Subdomain "srfvodhd-vh" geprüft und falls notwendig modifiziert ("srfvodhd-vh" -> "hdvodsrforigin-f") werden.

Sind die Sendung bewusst doppelt aufgeführt (index_0_av.m3u8 und master.m3u8)?

xaverW commented 7 years ago

beschreibe bitte mal genau, was wie geändert werden soll. (und ob das für alle URLs dann gilt oder nur für die mit der vorher geänderten Playlist)? in der aktuellen Filmliste sind keine URLs mehr, die mit "https://srfvodhd-vh.akamaihd.net" beginnen. (gestern waren das nur noch die "alten")

xaverW commented 7 years ago

in der aktuellen Filmliste sind keine URLs mehr, die mit "https://srfvodhd-vh.akamaihd.net" beginnen.

mit "http://srfvodhd-vh.akamaihd.net" gibt es sie und das wird dann bei allen! URLs mit "http://hdvodsrforigin-f.akamaihd.net" ersetzt?

styroll commented 7 years ago

@xaverW sagte: mit "http://srfvodhd-vh.akamaihd.net" gibt es sie und das wird dann bei allen! URLs mit "http://hdvodsrforigin-f.akamaihd.net" ersetzt?

Genau das sollte passieren, passiert aber offenbar noch nicht (gemäss aktueller Filmliste).

xaverW commented 7 years ago

habs geändert (die oben angegebenen Filme lassen sich jetzt abspielen):

http://37.120.186.206:8000/akt/filme-akt.xz

Georg-J commented 7 years ago

Vertauschte Auflösung (neu in der Filmliste vom 22.03.2017 14:17): Titel der Sendung: Weihnachtscomedy vom 25.12.2012

Film-URL angeblich in hoher Auflösung: http://hdvodsrforigin-f.akamaihd.net/i/vod/comedy/2012/12/comedy_20121225_185604_web_h264_16zu9_,lq1,mq1,hq1,.mp4.csmil/index_0_av.m3u8 ist 320 x 194 Film-URL angeblich in niedriger Auflösung: http://hdvodsrforigin-f.akamaihd.net/i/vod/comedy/2012/12/comedy_20121225_185604_web_h264_16zu9_,lq1,mq1,hq1,.mp4.csmil/index_2_av.m3u8 ist 640 x 360

styroll commented 7 years ago

@Georg-J sagte: Titel der Sendung: Weihnachtscomedy vom 25.12.2012

Falls es nur solche alte Sendungen betrifft, liegt nicht wirklich ein Problem vor. Wenn das SRF in der Zwischenzeit das "Auflösungsschema" änderte oder es inkonsistent anwendet, dann gibt's immer "Probleme" mit gewissen Sendungen.

Georg-J commented 7 years ago

Die Sendung erschien ja vor zwei Tagen neu in der Liste - wie viele andere alte Sendungen. Aber vermutlich nach dem alten "Auflösungsschema". Man könnte statt auf dieses unsichere Schema auf die Angabe der Bandbreite oder - falls vorhanden - der Auflösung im Kommentar der master.m3u8 vertrauen:

#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=118000,CODECS="avc1.66.30, mp4a.40.2",CLOSED-CAPTIONS=NONE
http://hdvodsrforigin-f.akamaihd.net/i/vod/comedy/2012/12/comedy_20121225_185604_web_h264_16zu9_,lq1,mq1,hq1,.mp4.csmil/index_0_av.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=739000,CODECS="avc1.77.30, mp4a.40.2",CLOSED-CAPTIONS=NONE
http://hdvodsrforigin-f.akamaihd.net/i/vod/comedy/2012/12/comedy_20121225_185604_web_h264_16zu9_,lq1,mq1,hq1,.mp4.csmil/index_1_av.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1395000,CODECS="avc1.77.30, mp4a.40.2",CLOSED-CAPTIONS=NONE
http://hdvodsrforigin-f.akamaihd.net/i/vod/comedy/2012/12/comedy_20121225_185604_web_h264_16zu9_,lq1,mq1,hq1,.mp4.csmil/index_2_av.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=23000,CODECS="mp4a.40.2",CLOSED-CAPTIONS=NONE
http://hdvodsrforigin-f.akamaihd.net/i/vod/comedy/2012/12/comedy_20121225_185604_web_h264_16zu9_,lq1,mq1,hq1,.mp4.csmil/index_0_a.m3u8

Größte Bandbreite hier ist 1395000 ==> URL dann mit index_2_av.

styroll commented 7 years ago

@Georg-J sagte: Man könnte statt auf dieses unsichere Schema auf die Angabe der Bandbreite oder - falls vorhanden - der Auflösung im Kommentar der master.m3u8 vertrauen:

Ja, aber MV gibt – falls vorhanden – 3 Qualitätsstufen zum Download an: HD, die nächste unter HD und dann eine um VGA-Auflösung herum. Das macht die Situation schon etwas komplexer…

styroll commented 7 years ago

@xaverW sagte: mit "http://srfvodhd-vh.akamaihd.net" gibt es sie und das wird dann bei allen! URLs mit "http://hdvodsrforigin-f.akamaihd.net" ersetzt?

@styroll sagte: Genau das sollte passieren, passiert aber offenbar noch nicht (gemäss aktueller Filmliste).

Das passiert leider immer noch nicht, vgl. "Grey's Anatomy".

xaverW commented 7 years ago

habs wieder geändert, das ging schon mal und ist durch die Änderungen:

https://github.com/mediathekview/MServer/commit/cc2452420d5171d2eb170334bdc67589174661a5#diff-6947e9966e9c6d62f212fa3b2a3bb0b9

entstanden, SRF bietet die Videos mal mit http und mal mit https an??

styroll commented 7 years ago

@xaverW sagte: SRF bietet die Videos mal mit http und mal mit https an??

Solange FFmpeg ohne https-Support kompiliert wird, sollten die URL ohne https in der Filmliste auftauchen.

alex1702 commented 7 years ago

@xaverW stimmt da ist mir ein winziger Fehler unterlaufen.