search

mediathekview / MServer

Server zum Steuern des Crawler
https://mediathekview.de
GNU General Public License v3.0
70 stars 19 forks source link

Neue Crawler Architektur Fortschritt #221

Closed Nicklas2751 closed 3 years ago

Nicklas2751 commented 7 years ago

Um den Fortschritt der neuen Architektur besser darzustellen und einen Vergleich zwischen neuer und alter Funktionalität ziehen zu können noch ein passender Issue.

Umsetzung erfolgt in MServer/cleanup und MLib/mserverCleanup.

Abzulösende Funktionalitäten:

Neue Funktionalitäten:

zxsd commented 6 years ago

Ausschließlicher Einsatz des neuen Film formats.

Erzeugen einer Filmliste im "alten Format"

Mir ist wieder bange ... daß hiermit das Ade von direkten DLs (außer als Podcast veröffentlichten Sendungen) angedeutet wird. (Natürlich mit Übergangszeit.) Wird künftig ffmpeg als Streams-Hilfsprogramm noch 'serienmäßig' eingesetzt, oder wird es ein anderes Programm sein?

@Nicklas2751 schrieb damals:

Kurz gesagt, ist das wirklich sinnvoll hier manuell hoch zu setzen und nich das an zu beiten was das ZDF von sich aus hergibt/listet?

Zum Thema meinte ich:

mit den direkten DLs, denn beim normalen Unterbrechen dürfen diese irgendwann fortgefahren werden, ohne den jeweiligen DL neu starten zu müssen

Ffmpeg scheint immer noch nicht selbst in der Lage zu sein, einen unterbrochenen DL wieder aufzunehmen. (Siehe beispielsweise dieses Posting und Dieses im ffmpeg-Forum, oder dieses Posting im superuser-Forum {bzw. diese Abfrage}!)

Auf BS-Ebene scheint es realisierbar zu sein, sowohl unter Windows als auch Linux. Wenn diese Funktionalität als Teil eines MV-Release-Kandidaten vorhanden wäre, würde ich sie (gerne und) ausführlich unter Windows 7/10, Ubuntu, und Centos testen ...

Im MV-Forum beweist sich immer wieder, daß die Fähigkeit nutzbar ist, einen unterbrochenen DL fortzusetzen (jüngstes Beispiel). Ich bitte daher die Wiederaufnahme eines unterbrochenen DLs mit in Betracht zu ziehen.

\<Edit> Das Justieren der Geschwindigkeit von direkten DLs innerhalb MV ist auch vorteilhaft. Mit meiner bescheidenen ADSL-Verbindung nicht so eich, aber diejenigen mit schnellem Broadband machen bestimmt davon Gebrauch (damit die Sender/CDN nicht verärgert reagieren).

Nicklas2751 commented 6 years ago

@zxsd Hier geht es um die crawler nicht um den client. Beim Filmlistenformat ändert sich nur die Art und weise was wir in die Datei schreiben dadurch ändert sich nichts am Feature Umfang des Clients.

zxsd commented 6 years ago

Ich fürchte mich im Klaren zu sein, worum es geht ... aus Sicht eines Anwenders. Vom Crawling-Verfahren sind viele Vorteile dabei ... mitunter höheren Bitraten von arte- und Funk-Sendungen (wenn der damalige Trend fortgesetzt wurde).

Aber wenn MV-DLs nur indirekt durchgeführt werden können, ist es ja wurscht, was der Client anbietet ... da die besagten Features des MV-Clients nicht bei indirekten DLs eingesetzt werden können. Außer Podcasts beweist sich das SRF tagtäglich ... und tut inzwischen ZDF-ähnlich 'störende' DLs nicht beenden, sondern läßt sie mit 4-8 Kb/Sek weiterbrausen.

Nachdem Ihr Developer ermöglichten, die HD-Sendungen der WDR Mediathek herunterzuladen (worüber ich mich auch gefreut habe), mache ich trotzdem nicht davon Gebrauch. Ich lege zu viel Wert auf den Features 'Geschwindigkeitsregelung' und 'wiederaufnehmbaren unterbrochenen DLs.' Die Mediathek des ARD verfügt über ein Großteil der WDR-Sendungen, die mich interessieren ... also ist diese mein Ziel, damit ich beim unterbrochenen DL nicht von vorne wieder anfangen muß.

(Ich fände es schade, WDR-Sendungen nicht direkt herunterladen zu können. Die MV-Anwender im nicht deutschsprachigen Ausland wissen direkten DLs zu schätzen ... da DLs öfter als sonst unterbrochen werden. Wir sind die Ersten die "shedding" erleben ... kein Meckern, es gehört sich so.)

Wenn ARD- und ZDF-Sendungen über MV nur als Streams herunterzuladen sind, bringt dies eine spürbare und deutliche Änderung in den Gebrauch von MV. Es sei denn etwaige Server-Änderungen mit dem jetzigen Feature-Stand des Clients erst im Einklang gebracht werden. Aus meiner Sicht, soll der Client ermöglichen, was für direkten DLs schon gilt, wenn ZDF- and ARD-Sendungen nur als Streams in der MV-Filmliste erscheinen.

Bitte meine Postings hierin nicht falsch verstehen. Ich will nicht als Undankbarer ("ingrate" auf Englisch, was auch ein Hauch Selbstsucht und Ungläubigkeit beinhaltet) betrachtet werden. Ich versuche nur rechtzeitig zu schildern, etwas das mehrere MV-Anwender künftig empfinden könnten.

Anmerkung: Damals als die Offerierten von allen Mediatheken als Flash-Dateien serviert wurden, pflegte beispielsweise das ZDF DLs zu 'beenden,' als diese zwischen 70%-85% fertig waren. Anstatt der DL konform zu stoppen, erwiderte das ZDF scheinbar kein "ACK" wo eins hätte sein sollen. Daraus resultierte: erstens, der DL mußte neu angefangen werden (um allzuoft wieder in gleicher Weise in einer anderen Stelle unterbrochen zu werden), und zweitens, bis man merkt der DL hängt und der Vorgang mittels Task-Manager killte, 'glaubte' MV der DL immer noch laufen täte. Die verschwendete Zeit bleibt für immer weg.

Nicklas2751 commented 6 years ago

Was den für indirekte Downloads?

Die Crawler sammeln die Direktlinks zu den Video Dateien und der MV Client lädt diese runter.

Da wird nichts gestreamt und nix. Nur wenn es leider mal keine mp4 gibt wird das halt an ffmpeg übergeben aber das war bisher auch schon so.

Ich werde aus deinem Text leider nicht schlau und weiß absolut nicht worauf du hinaus möchtest. Ich kann dir aber sagen, dass sich am Umgang mit Downloads und am Download verhalten nichts ändern wird. Die Crawler werden nur mehr Urls finden und das zuverlässiger.