MSearch & MServer: Crawler

xaverW commented 7 years ago

[x] alles was nicht in der Lib sein soll, wird nach MServer verschoben (MServer:feature/MCrawler)
[x] MSearch wird in MLib umbenannt

Original:

Wie ist das genaue Vorgehen bei Änderungen die (nur) den Crawler betreffen und er neu gebaut werden müsste? Vielleicht wären da ein paar Punkte als Vorlage sinnvoll.

Betrifft Branch zdf-geo-tagging.

Die Zeilen in MediathekZDF.java:

} else {
titel = thema;

habe ich mit bca056d auch wieder entfernt, die sind bei den Umstellungen wieder "zurückgekommen" (im laufendem Crawler sind sie nicht mehr drin, da habe ich die schon mal entfernt).

criztovyl commented 7 years ago

Und mit der Trennung (M?)Server/MSearch meinst du das bspw. alles in mSearch.filmeSuchen.sender nach MServer geht, soweit das möglich ist?

xaverW commented 7 years ago

ja

criztovyl commented 7 years ago

Lt. Plan soll doch MServer aber in MSearch integriert werden, also wäre der Umzug doch sinnlos?

Ich hab den Plan nicht aus Langeweile zum Spaß an der Freude gemacht, da wollt' ich mich schon dran halten. (Geht an alle, nicht an dich spezifisch.)

xaverW commented 7 years ago

ich versteh dein Problem nicht? alles was nicht in der lib sein soll, wird nach server verschoben, msearch wird in lib umbenannt (und enthält dann nur noch das was eben in der lib sein soll) server wird in msearch umbenannt

wo ist jetzt der Unterschied zu oben?

alex1702 commented 7 years ago

Ich finde so wie xaver es schreibt sollten wir es machen.

criztovyl commented 7 years ago

oben wird der Nicht-Crawler-Code verschoben, wobei du den Crawler-Code verschieben möchtest.
oben wird nix umbenannt.

Da liegt der kleine, aber feine, Unterschied.

Ich habe da jetzt kein Problem mit, außer das ich meinen Plan besser find' :D

alex1702 commented 7 years ago

Ja aber ich denke andersrum ist es besser. somit wird auch kein neues Repo erstellt wo man alles neu einstellen muss.

criztovyl commented 7 years ago

In der Zwischenzeit hab' ich mir was für ListeFime#updateListe ausgedacht: https://github.com/mediathekview/MSearch/pull/74

criztovyl commented 7 years ago

Einfach nochmal für's Feedback, ich würde ja gerne noch @Nicklas2751's Meinung hör'n ^^

criztovyl commented 7 years ago

Mein Weg (:+1:)

Neue Lib: MLib: mediathekview/MLib
MSearch-Crawler- und Nicht-Crawler-Code entflechten.
Allen nicht-Crawler-Code von MSearch in MLib kopieren
MView von MSearch auf MLib umstellen
Allen nicht-Crawler-Code aus MSearch entfernen
Allen Crawler-Code aus MServer nach MSearch .
MServer aufgeben & MSearch wird Crawler.

criztovyl commented 7 years ago

Xavers Weg (:+1:)

alles was nicht in der Lib sein soll, wird nach MServer verschoben,
MSearch wird in MLib umbenannt (und enthält dann nur noch das was eben in der Lib sein soll)
MServer wird in MSearch umbenannt

xaverW commented 7 years ago

eigentlich gings doch nur darum, ob es sinnvoll ist, die ganzen Methoden zu zerrupfen nur um die Sendernamen nicht als Konstante in der Lib anzulegen?? MediathekKika.SENDERNAME wir zB. auch in MView verwendet, mit deinem Vorschlag: ListeFilme#updateListeLambda alleine ist es also nicht getan und vielleicht werden die nochmal für was gebraucht. In welcher Reihenfolge dann was aussortiert wird, sollte sich doch dann einfach nach dem geringsten Arbeitsaufwand richten. Das ist mir im Endeffekt egal aber ich würde dringend davor abraten, einfach mal die ganzen Methoden zu ändern. Da wurde viel Zeit rein gesteckt (und auch viel gemessen) um das möglichst effizient zu machen.

criztovyl commented 7 years ago

Ich habe mich da wohl etwas übernommen, ich ziehe mich hier lieber zurück.

xaverW commented 7 years ago

Ich habe mal in feature/MCrawlereinen Anfang gemacht:

MView: da hat sich fast nix geändert
MSearch, MServer: die Sender und die GUI von MSearch sind nach MServer gewechselt (und alles was dazu notwendig war).

MView läuft wie vorher. Die GUI für den Crawler (aus der MServer ZIP entpackt) startet jetzt mit ./bin/MServer -gui und der "normale" Server wie bisher mit ./bin/MServer

Jetzt muss dann noch etwas weiter in die Tiefe gegangen werden um noch alles was nicht in die Lib muss, raus zu nehmen. (GetFileSize ist jetzt zB. doppelt drin, ...)

alex1702 commented 7 years ago

Der Crawler hat ne gui?

xaverW commented 7 years ago

ja, schon immer.

Am Sun, 27 Nov 2016 16:31:54 -0800 schrieb Alexander notifications@github.com:

Der Crawler hat ne gui?

alex1702 commented 7 years ago

Oh ok. Ist die nötig?

derreisende77 commented 7 years ago

Ja

Am 28. November 2016 08:52:54 schrieb Alexander notifications@github.com:

Oh ok. Ist die nötig?

-- You are receiving this because you commented. Reply to this email directly or view it on GitHub: https://github.com/mediathekview/MSearch/issues/45#issuecomment-263204718

xaverW commented 7 years ago

Habe einen Merge beantragt ;)

Die Sachen zum Erstellen der Filmliste habe ich nach MServer verschoben. Bei mir läuft mein Crawler aktuell bereits mit dem neuen Code, es mussten nur die Libs (wie bisher) ausgetauscht werden.

Was mir noch aufgefallen ist: Das Erstellen der Logs wäre noch ein Punkt, würde da aber ein eigenen Feature dafür aufmachen, müsste man auch erst mal schauen, was da sinnvoll ist.

Was die Umbenennung angeht, das sollten die gradle-Spezialisten machen. Wenn ich das Projekt in Netbeans einfach umbenenne, wird's da wahrscheinlich Probleme geben??

Mir ist auch noch ein weiterer Punkt eingefallen wegen der Namen: den jetztigen MServer dann in MSearch umzubenennen könnte vielleicht zu Irritationen führen, vielleicht wäre da MCrawler oder so besser, so dass klar ist, dass es nicht das gleiche ist (nur so eine Idee).

alex1702 commented 7 years ago

Voll nice :) Ja Logs ist noch nicht so geil. Nur falls ich das übersehen hab, man kann aktuell noch nicht einstellen wo die logs abgespeichert werden sollen oder? auch das logrotate im sinne von jeder tag bekommt sein eigenes logfile würde ich gerne überarbeiten. Ich möchte gerne nach /var/log loggen und den logrotate dienst drüber laufen lassen. Ich weiß nicht ob ihr das feature unbedingt braucht zum ausprobieren. ich kann auf diese funktion gut verzichten. Ja denke MCrawler könnte verwirrungen vorbeugen.

xaverW commented 7 years ago

die Logdateien landen im "Basisverzeichnis/log", ist das Konfig vom Verver und das kann man nicht ändern.

Würde dafür aber ein eigenes feature machen, nicht dass der Source zu weit auseinander läuft. So läuft das Programm komplett im Userspace, wenn es nach /var/log schreiben soll, muss es höhere Rechte haben, weiß nicht ob das gut ist??

Am Mon, 28 Nov 2016 10:32:59 -0800 schrieb Alexander notifications@github.com:

Voll nice :) Ja Logs ist noch nicht so geil. Nur falls ich das übersehen hab, man kann aktuell noch nicht einstellen wo die logs abgespeichert werden sollen oder? auch das logrotate im sinne von jeder tag bekommt sein eigenes logfile würde ich gerne überarbeiten. Ich möchte gerne nach /var/log loggen und den logrotate dienst drüber laufen lassen. Ich weiß nicht ob ihr das feature unbedingt braucht zum ausprobieren. ich kann auf diese funktion gut verzichten. Ja denke MCrawler könnte verwirrungen vorbeugen.

alex1702 commented 7 years ago

Wenn man den log Ordner anpasst und die Rechte auf den ausführen User gibt, dass geht es auch so. Man muss halt nur es vorher machen. Ginge auch eher darum, dass man ein logpath angeben kann und wenn keiner gesetzt ist kann er ja trotzdem um basisverzeichnis unter log loggen.

iamhenning commented 7 years ago

Hab die Diskussion nur passiv ab und an verfolgt und bin jetzt nach einigen Änderungen am Repo etwas verwirrt... da fehlt doch jetzt einiges, oder? Beispiel: Egal wo ich reinschau, die Crawler-Logic der Sender findet sich scheinbar nirgends mehr. Ich mag mich irren, aber früher war das doch unter https://github.com/mediathekview/MSearch/tree/master/src/main/java/mSearch/filmeSuchen, jetzt ist es weder in MLib, MServer, MSearch noch sonstwo. Oder ist das in irgendeinen undurchsichtigen Branch abgetaucht? Verwirrte Grüße.

xaverW commented 7 years ago

https://github.com/mediathekview/MServer/tree/master/src/main/java/mServer/crawler

ist nichts verloren. (master)

Nicklas2751 commented 7 years ago

Wie ist denn hier der aktuelle Stand?

xaverW commented 7 years ago

Was die Umbenennung angeht, das sollten die gradle-Spezialisten machen. Wenn ich das Projekt in Netbeans einfach umbenenne, wirds da wahrscheinlich Probleme geben??

ansonsten wäre das vorerst mal erledigt. Kleiner Sachen werden sich schon noch finden, die man umziehen kann/sollte aber das muss ja dann nicht mehr hier rein.

(wie schon angemerkt: log, sollte aber ein eigener Punkt werden)

Nicklas2751 commented 7 years ago

oki thx

mediathekview / MLib

MSearch & MServer: Crawler #45