Dodatečný preprocessing dat - přidání atribut vs. processing v javascriptu

[hetsko]

V nových datech existuje atributa rozvrhy, což je pole všech možných rozvrhových kombinací, viz #3. Je v tom spousta informací, ale na některé účely by se pro jednoduchost hodilo přidat nové atributy, které by něco z té struktury rozvrhy jakoby shrnuly. T.j. sepsat druhý python skript, který to přidá do toho jsonu. Alternativou ke všemu co vypisuju níže je řešit to on-the-fly v javascriptu - pište názory co by bylo lepší, já jsem pro preprocessing v pythonu.

Konkrétní příklady:

• V #58 jsme narazili na problém dnů v týdnu, hodila by se atributa vsechny_dny nebo tak něco, kde by byly všechny možné dny, kde se jakákoliv verze předmětu vyskytuje.
  • Vyučující - ve výsledcích vypisuju vyučujícího. Hodila by se asi atributa s všechmi přednášejícími (popř. cvičícími, když přednášející nejsou).

Mimo rozvrhy:

• Hodilo by se předem rozkrájet rozsah do dvou atribut na rozsah přednášky a rozsah cvičení, které by v těch obskurních případech stylu "týden" byly prázdné. Tohle konkrétně je už možná hodně triviální problém, který jsem vyřešil v js regexem, ale asi by bylo příjemnější mít to rovnou v datech.

[pakk-minidose]

Souhlasím s řešením v pythonu - bude to přehlednější: data processing v pythonu, GUI s logikou v javascriptu

[agehrtenab]

Není problém cokoli přidat při importu, i když netuším, proč by měl být nutný druhý skript, když totéž může udělat už ten první. Klidně přidám do dat seznam všech dní a všech vyučujících. O lepším parsování rozsahu jsem už také uvažoval. Pokud jde o rozlišování cvičících a přednášejících, musím upozornit na to, že rozlišování přednášek a cvičení je prozatím poněkud křehké a je to jedno z témat, které ve středu proberu s paní Majerovou.

[hetsko]

Chápu tvůj pohled, je mi jasné že z části obdobné věci už děláš přímo při importu. Ale ve jménu kvality kódu a záchrany celého světa bychom to nemuseli cpát všechno do jednoho skriptu. Podle mě by mělo smysl oddělit to do více modulů (souborů), např. jako

• stažení všech špinavých dat a jejich zakládní nutné očištění
• advanced čištění, manuální výjimky a obecně věci, které dost možná budeme měnit (i třeba kvůli novém rozvrhu na začátku semestru)
• preprocesení (už čistých) dat v tom stylu, co jsem napsal výše - tedy přidání nových atribut, které jenom shrnují už existující data

Je to určitě subjektivní téma, co kam dát a jak moc to dělit. Ale přinejmenším bych oddělil tu stahovací/čisticí část, která teď funguje, a libovolné budoucí nadstavby, které teprve budeme testovat a případně často měnit.

Každopádně, ať zvolíš jakýkoliv způsob, tak předem dík, jestli se toho chopíš a ty drobnosti popsané výše přidáš.

[agehrtenab]

Takže se na to díváš jako na zřetězení transformátorů dat. To samozřejmě jde udělat, ale bez ohledu na to, jestli se to tady vyplatí, to pak samozřejmě znamená, že je zapotřebí formalizovat nějaký mechanismus aplikace více skriptů ve správném pořadí a také jejich vzájemné komunikace (pokud to vyloženě nebude třeba roura, což by možná šlo taky).

Prozatím bych tam přidal ty tři řádky, co tenhle požadavek na nová data potřebuje, a pak když tak popřemýšlím, jestli by to nešlo zmodularizovat (samozřejmě transparentně pro konzumenta dat, takže kdybych to pak rozsekal na "nanoprůchody" daty, ani si toho nevšimnete). Jen si prozatím nejsem jistý, jestli všechno to čištění půjde bez přístupu k základním datům. Uvidím.

[pakk-minidose]

Konkrétní příklady:

• V #58 jsme narazili na problém dnů v týdnu, hodila by se atributa vsechny_dny nebo tak něco, kde by byly všechny možné dny, kde se jakákoliv verze předmětu vyskytuje.

Jenom dodám: potřebujeme jak všechny dny kvůli #58, tak i všechny hodinové rozsahy pro #59, aby se dal vyfiltrovat dotaz typu "co je v pondělí 11:30-13:10"