profcomff / dwh-pipelines

Графы работы с данными в Airflow
BSD 3-Clause "New" or "Revised" License
9 stars 0 forks source link

[timetable-DWH] ODS: ods_timetable_act (ods актуального расписания) #55

Open mixx3 opened 2 months ago

mixx3 commented 2 months ago

ALTER TABLE ods_timetable_act ADD PRIMARY KEY (event_text, time_interval_text, group_text);

В идеале эта одска будет перезатираться каждый расчет, поэтому прямо в эирфлоу таске надо реализовать создание / удаление предыдущей таблицы.

mixx3 commented 2 months ago

https://github.com/profcomff/dwh-pipelines/issues/54 блокер

mixx3 commented 1 month ago

Подробное описание тикета: нужно сделать эирфлоу таску На входе данные из "STG_RASPHYSMSU".raw_html там 2 поля: url и raw_html из url можно получить номер группы, из html получить event_text и time interval text в ods будет примерно так: event_text | time_interval_text | group_text Молекулярная физика 5-24 Якута А. А. | 13:30 \n- - - \n15:05 | 102 хороший пример парсинга есть в https://github.com/profcomff/preparation-timetable-data/blob/main/profcomff_parse_lib/timetable/core/parse_name.py#L94