Load rules from a CSV File on Google Spreadsheets

[alani1]

Darf ich anregen die Rules aus eine Spreadsheet zu laden ? Ev. ein anderes Spreadsheet je nach Sprache. Dann können wir einfach 2-3 Personen Zugriff geben um zusätzliche Rules zu erstellen. Du kannst das Script alle 15 Minuten laufen lassen und schauen ob die Regeln geändert haben.

Ein Tip wie man ein Google Spreadsheet runterladen kann findest du hier : https://github.com/alani1/KALanguageReport/blob/master/LanguageStatistic/utils.py

Funktion get_google_csv

[ulikoehler]

An sich eine gute Idee, aber das Problem ist, dass es viele verschiedene Typen von Regeln gibt, die sich in der Struktur eines Spreadsheets/CSVs nur.

Insbesondere, wenn wir in der Zukunft Ausnahmen hinzufügen müssen, wir die Struktur deutlich komplexer werden. Da die Strings in den POTs keinerlei eindeutige ID haben, muss man verschiedene regelbasierte Ausnahmemöglichkeiten vorsehen.

Aktuell gibt es insbesondere (siehe https://github.com/ulikoehler/KATranslationCheck/blob/master/Rules.py):

• SimpleRegexRule
• SimpleSubstringRule
• TranslationConstraintRule
• NegativeTranslationConstraintRule
• SimpleGlobRule
• ExactCopyRule

und die Kombinatoren (werden aktuell nicht benutzt).

• BooleanNotRule
• BooleanOrRule
• BooleanAndRule

Gerade wenn wir die Regeln optimieren, kann es daher ein Konstrukt geben wie ExceptionListRuleWrapper(BooleanAndRule(BooleanOrRule(...), BooleanOrRule(...)), [...]).

Was ich technisch für machbar halte, ist, nur einen bestimmten Typ von Regeln zu importieren, z.B.:

SimpleRegexRule("Occurrence of untranslated 'is'", r"\b[Ii]s\b")

Alle Occurrence of untranslated... sind ungefähr gleich, allerdings mit kleinen aber sehr wichtigen Unterschieden: Ist der letzte Character optional oder nicht? Hat man am Anfang eine zero-width negative lookbehind assertion wie (?<!\\) (verhindert, dass \to ein hit für Untranslated occ. of 'to' ist)?.

Ich sehe drei Kernprobleme, wenn wir das mit Google Docs machen:

• Flexibilität (wie oben beschrieben)
• Fehlerkontrolle nur schwer möglich, denn GDocs etc. kann nicht autonom Python-Regexe (und schon gar nicht Rules) interpretieren.
• Echte Versionskontrolle (bzw. traceability fehlt) und für externe Contributors gibt es keine Pull Requests

Ich würde daher vorschlagen, dieses Repository mit Travis zu integrieren -- dann werden Pull Requests automatisch auf Fehler überprüft und jeder kann Pull Requests submitten

Ich habe absolut nichts dagegen, allen am Projekt Beteiligten für dieses Repository Commitrechte zu geben. Das wäre auch mein Vorschlag, damit ein "Kernteam" direkt commiten kann und jeder andere Regeln vorschlagen kann. Zusätzlich würde ich noch die eigentlichen Rules in ein eigenes File auslagern, damit klarer wird, wo man editieren/kopieren soll.