Mit fehlenden Repos umgehen

linkvt / repo-classifier

Automatische Klassifizierung von Github Repositories für den informatiCup2017

8 stars 2 forks source link

Mit fehlenden Repos umgehen #48

Closed kuznecpl closed 7 years ago

kuznecpl commented 7 years ago

Falls in der importierten List bestimmte Repos nicht mehr existieren, sollten diese beim Trainieren und Klassifizieren übersprungen und (eventuell) eine entsprechende Meldung ausgegeben werden.

linkvt commented 7 years ago

Den Issue verstehe ich nicht so ganz, momentan wird doch nur mit dem trainiert was in der hochgeladenen Datei steht, oder?

BlackDark commented 7 years ago

Ich glaub er meint, wenn 404 oder so kommt. Also sie gelöscht wurden.

BlackDark commented 7 years ago

Ideen:

wir bauen eine Schicht zwischen Classifier - FeatureExtractionPipeline, die repos rausschmeißt die einfach nicht erreichbar (per Request check). Wenn nur der Header gechecked wird, sollte Performanz gut sein.
Bisschen allgemeiner und wir sagen wir haben vllt mehrere Präprozessoren, die vor der extraction ablaufen und Repos anhand von unterschiedlichen Gründen rausnehmen könnten? Vllt auch was ähnliches für PostProcessing. Aber vermutlich overkill für unseren Anwendungsfall.