search

Hochfrequenz / kohlrahbi

An Anwendungshandbücher (AHB) scraper that extracts tables from docx files
https://pypi.org/project/kohlrahbi/
GNU General Public License v3.0
5 stars 2 forks source link

Add a further flag to choose the format version #216

Closed hf-krechan closed 7 months ago

hf-krechan commented 10 months ago

with the PR #209 we can now read the concrete file name for each Prüfi. But the file name contains also the version number of the document, which correlates with the format version (e.g. FV2310).

So the Python script collect_pruefis.py should be able to create different format versions of the output all_known_pruefis.toml. I would suggest the following folder setup

|- all_known_pruefis
    |- FV2310_all_known_pruefis
    |- FV2404_all_known_pruefis
    |- FV2410_all_known_pruefis
    |- FV2504_all_known_pruefis
    |- ...

If you than run kohlrahbi you should provide a flag like --format-version / -fv and a format version e.g. FV2310. The total command to read the AHB for the Prüfi 13007 in the format version FV2310 can look like this:

python /src/kohlrahbi/__init__.py --format-version FV2310 -p 13007 --file-type flatahb --file-type csv --file-type
 xlsx --input_path /Users/kevin/workspaces/hochfrequenz/edi_energy_mirror/edi_energy_de/future --output_path /Users/kev
in/workspaces/hochfrequenz/kohlrahbi/output

There should be a default format version. But I am not sure if it should be the current or future format version. @hf-kklein do you have any feelings about this question?

hf-kklein commented 10 months ago

I'm not sure we need a default. Explicit is better than implicit.

hf-krechan commented 10 months ago

This is fine for me, I had the CI pipelines in my mind so that they will not break immediately.

Another issue in my head is, that the input path and the format version must match each other.

hf-kklein commented 10 months ago

I had the CI pipelines in my mind so that they will not break immediately.

they don't break immediatly but only when we want them to - because the versions are pinned :)

hf-krechan commented 10 months ago

clever-boy

hf-kklein commented 10 months ago

the input path and the format version must match each other

yeah, I think this is kind of a legacy issue because kohlrahbi depends on the file/directory structure created by edi_energy_scraper and the scraper just reproduces the structure of edi-energy itself, where the three main sections "archived", "current" and "future" are also implicit. We have a similar issue over at https://github.com/Hochfrequenz/edi_energy_mirror/issues/138

hf-krechan commented 10 months ago

I would like to see in the future that you can just provide the format version and kohlrahbi knows/loads the input data which are necessary to scrape the AHB tablse

hf-krechan commented 10 months ago

Maybe it would make sense to create our typical folder structure in our data repository which contains all edi@energy documents.

|- FV2310
    |- APERAK
    |- MSCONS
    |- UTILMD
        |- utilmd_3.8e.docx
        |- ...
    |- UTILTS
    |- ...
|- FV2404
    |- APERAK
    |- MSCONS
    |- UTILMD
    |- UTILTS
    |- ...
hf-kklein commented 10 months ago

Year, basically you'd have to just parse the reapective from/inclusive to dates from the filename and use a utility function of Maus (which is already a dependency of kohlrahbi):

https://github.com/Hochfrequenz/mig_ahb_utility_stack/blob/390126b78ae116b521421a3a3f81a1a39b63f88a/src/maus/edifact.py#L84

Sounds like an easy first problem? Could you provide some detailed instructions (like: write a function that determines the FV of a given filename etc, write tests...) and we find a newbee to tackle it?

hf-krechan commented 10 months ago

Do you mean that we can derive the format version from the date which is the last part of the filenames?

Here the names of the current files:

AcknowledgementDocumentAWT-informatorischeLesefassung1.0c_20240331_20231001.xlsx
AcknowledgementDocumentAWT-informatorischeLesefassung1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand15.09.2023_20240331_20231001.xlsx
AcknowledgementDocumentAWT1.0c_20240331_20231001.pdf
AcknowledgementDocumentAWT1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand15.09.2023_20240331_20231001.pdf
AcknowledgementDocumentFB1.0c_20240331_20231001.pdf
AcknowledgementDocumentXSD1.0c_20240331_20231001.xsd
ActivationDocumentAWT-informatorischeLesefassung1.1a_20240331_20231001.xlsx
ActivationDocumentAWT1.1a_20240331_20231001.pdf
ActivationDocumentFB1.1a_99991231_20231001.pdf
ActivationDocumentXSD1.1a_99991231_20231001.xsd
AllgemeineFestlegungen-informatorischeLesefassung6.0c_20240331_20231001.docx
AllgemeineFestlegungen6.0c_20240331_20231001.pdf
ÄnderungsantragEBD1.3_99991231_20230815.xlsx
ÄnderungshistoriezudenXML-DatenformatenfürdenRedispatch2.0-informatorischeLesefassung15.09.2023_20240331_20230915.xlsx
ÄnderungshistoriezudenXML-DatenformatenfürdenRedispatch2.015.09.2023_20240331_20230915.pdf
AnwendungsübersichtderPrüfidentifikatoren-informatorischeLesefassung2.2_20240331_20231001.xlsx
AnwendungsübersichtderPrüfidentifikatoren-informatorischeLesefassung2.2KonsolidierteLesefassungmitFehlerkorrekturenStand30.11.2023_20240331_20231130.xlsx
AnwendungsübersichtderPrüfidentifikatoren2.2_20240331_20231001.pdf
AnwendungsübersichtderPrüfidentifikatoren2.2KonsolidierteLesefassungmitFehlerkorrekturenStand30.11.2023_20240331_20231130.pdf
APERAKCONTRLAHB-informatorischeLesefassung2.3m_20240331_20231001.docx
APERAKCONTRLAHB2.3m_20240331_20231001.pdf
APERAKMIG-informatorischeLesefassung2.1h_99991231_20221001.docx
APERAKMIG2.1h_99991231_20221001.pdf
AS4-Profil1.0_99991231_20231001.pdf
AS4-Profil1.0KonsolidierteLesefassungmitFehlerkorrekturenStand29.09.2023_99991231_20231001.pdf
Beschaffungsanforderung_energetischerAusgleichAWT1.0a_99991231_20220401.pdf
Beschaffungsanforderung_energetischerAusgleichFB1.0a_99991231_20220401.pdf
Beschaffungsanforderung_energetischerAusgleichXSD1.0a_99991231_20231001.xsd
BeschaffungsvorbehaltAWT1.0a_99991231_20220401.pdf
BeschaffungsvorbehaltFB1.0a_99991231_20220401.pdf
BeschaffungsvorbehaltXSD1.0a_99991231_20231001.xsd
CodelistederArtikelnummernundArtikel-ID-informatorischeLesefassung5.4_20240331_20231001.docx
CodelistederArtikelnummernundArtikel-ID-informatorischeLesefassung5.4-AußerordentlicheVeröffentlichung_20240331_20231023.docx
CodelistederArtikelnummernundArtikel-ID5.4_20240331_20231001.pdf
CodelistederArtikelnummernundArtikel-ID5.4-AußerordentlicheVeröffentlichung_20240331_20231023.pdf
CodelistedereuropäischenLändercodes1.0_99991231_20171001.pdf
CodelistedereuropäischenLändercodes1.0KonsolidierteLesefassungmitFehlerkorrekturenStand30.03.2023_99991231_20230330.pdf
CodelistederKonfigurationen-informatorischeLesefassung1.1a_20240331_20231001.docx
CodelistederKonfigurationen-informatorischeLesefassung1.1aKonsolidierteLesefassungmitFehlerkorrekturenStand29.06.2023_20240331_20231001.docx
CodelistederKonfigurationen1.1a_20240331_20231001.pdf
CodelistederKonfigurationen1.1aKonsolidierteLesefassungmitFehlerkorrekturenStand29.06.2023_20240331_20231001.pdf
CodelistederOBIS-KennzahlenundMedien-informatorischeLesefassung2.5_20240331_20231001.docx
CodelistederOBIS-KennzahlenundMedien-informatorischeLesefassung2.5KonsolidierteLesefassungmitFehlerkorrekturenStand29.09.2023_20240331_20231001.docx
CodelistederOBIS-KennzahlenundMedien2.5_20240331_20231001.pdf
CodelistederOBIS-KennzahlenundMedien2.5KonsolidierteLesefassungmitFehlerkorrekturenStand29.09.2023_20240331_20231001.pdf
CodelistederStandardlastprofilenachTUMünchen-Verfahren1.1_99991231_20151001.pdf
CodelistederStandardlastprofilenachTUMünchen-Verfahren1.1KonsolidierteLesefassungmitFehlerkorrekturenStand22.05.2015_99991231_20151001.pdf
CodelistederTemperaturanbieter-informatorischeLesefassung1.0i_99991231_20220726.docx
CodelistederTemperaturanbieter1.0i_99991231_20220726.pdf
CodelistederZeitreihentypen1.1d_99991231_20211001.pdf
CodelistederZeitreihentypen1.1dKonsolidierteLesefassungmitFehlerkorrekturenStand16.07.2021_99991231_20211001.pdf
COMDISAHB-informatorischeLesefassung1.0d_20240331_20231001.docx
COMDISAHB-informatorischeLesefassung1.0dKonsolidierteLesefassungmitFehlerkorrekturenStand20.07.2023_20240331_20231001.docx
COMDISAHB1.0d_20240331_20231001.pdf
COMDISAHB1.0dKonsolidierteLesefassungmitFehlerkorrekturenStand20.07.2023_20240331_20231001.pdf
COMDISMIG-informatorischeLesefassung1.0c_20240331_20231001.docx
COMDISMIG1.0c_20240331_20231001.pdf
CONTRLMIG2.0b_99991231_20221001.pdf
CONTRLMIG2.0bKonsolidierteLesefassungmitFehlerkorrekturenStand06.12.2021_99991231_20221001.pdf
EinführungsszenarioBK6-20-1601.8_99991231_20221001.pdf
EinführungsszenariozuAS41.0_99991231_20231001.pdf
Entscheidungsbaum-DiagrammeundCodelisten-informatorischeLesefassung3.4_20240331_20231001.docx
Entscheidungsbaum-DiagrammeundCodelisten-informatorischeLesefassung3.4KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.docx
Entscheidungsbaum-DiagrammeundCodelisten3.4_20240331_20231001.pdf
Entscheidungsbaum-DiagrammeundCodelisten3.4KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.pdf
GruppierungenderEDI@EnergyDokumente2.1_99991231_20221001.pdf
HerkunftsnachweisregisterAHB-informatorischeLesefassung2.3c_20240331_20231001.docx
HerkunftsnachweisregisterAHB-informatorischeLesefassung2.3cKonsolidierteLesefassungmitFehlerkorrekturenStand19.06.2023_20240331_20231001.docx
HerkunftsnachweisregisterAHB2.3c_20240331_20231001.pdf
HerkunftsnachweisregisterAHB2.3cKonsolidierteLesefassungmitFehlerkorrekturenStand19.06.2023_20240331_20231001.pdf
IFTSTAAHB-informatorischeLesefassung2.0e_99991231_20231001.docx
IFTSTAAHB-informatorischeLesefassung2.0eKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_99991231_20231212.docx
IFTSTAAHB2.0e_99991231_20231001.pdf
IFTSTAAHB2.0eKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_99991231_20231212.pdf
IFTSTAMIG-informatorischeLesefassung2.0e_99991231_20231001.docx
IFTSTAMIG-informatorischeLesefassung2.0e-AußerordentlicheVeröffentlichung_99991231_20231001.docx
IFTSTAMIG2.0e_99991231_20231001.pdf
IFTSTAMIG2.0e-AußerordentlicheVeröffentlichung_99991231_20231001.pdf
INSRPTAHB1.1g_99991231_20221001.pdf
INSRPTAHB1.1gKonsolidierteLesefassungmitFehlerkorrekturenStand30.03.2023_99991231_20230330.pdf
INSRPTMIG1.1a_99991231_20221001.pdf
INSRPTMIG1.1aKonsolidierteLesefassungmitFehlerkorrekturenStand30.03.2023_99991231_20230330.pdf
INVOICMIG-informatorischeLesefassung2.8b_20240331_20231001.docx
INVOICMIG-informatorischeLesefassung2.8bKonsolidierteLesefassungmitFehlerkorrekturenStand19.06.2023_20240331_20231001.docx
INVOICMIG2.8b_20240331_20231001.pdf
INVOICMIG2.8bKonsolidierteLesefassungmitFehlerkorrekturenStand19.06.2023_20240331_20231001.pdf
INVOICREMADVAHB-informatorischeLesefassung2.5b_20240331_20231001.docx
INVOICREMADVAHB-informatorischeLesefassung2.5bKonsolidierteLesefassungmitFehlerkorrekturenStand23.10.2023_20240331_20231023.docx
INVOICREMADVAHB2.5b_20240331_20231001.pdf
INVOICREMADVAHB2.5bKonsolidierteLesefassungmitFehlerkorrekturenStand23.10.2023_20240331_20231023.pdf
KostenblattAWT1.0b_99991231_20230401.pdf
KostenblattFB1.0b_99991231_20230401.pdf
KostenblattFB1.0bKonsolidierteLesefassungmitFehlerkorrekturenStand19.01.2023_99991231_20230401.pdf
KostenblattXSD-informatorischeLesefassung1.0b_99991231_20230401.xsd
KostenblattXSD-informatorischeLesefassung1.0bKonsolidierteLesefassungmitFehlerkorrekturenStand19.01.2023_99991231_20230401.xsd
KostenblattXSD1.0b_99991231_20231001.xsd
MSCONSAHB-informatorischeLesefassung3.1c_20240331_20231001.docx
MSCONSAHB-informatorischeLesefassung3.1cKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.docx
MSCONSAHB3.1c_20240331_20231001.pdf
MSCONSAHB3.1cKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.pdf
MSCONSMIG-informatorischeLesefassung2.4b_20240331_20231001.docx
MSCONSMIG2.4b_20240331_20231001.pdf
NetworkConstraintDocumentAWT1.1_99991231_20220401.pdf
NetworkConstraintDocumentAWT1.1KonsolidierteLesefassungmitFehlerkorrekturenStand29.08.2023_99991231_20230829.pdf
NetworkConstraintDocumentFB1.1_99991231_20220401.pdf
NetworkConstraintDocumentFB1.1KonsolidierteLesefassungmitFehlerkorrekturenStand29.08.2023_99991231_20230829.pdf
NetworkConstraintDocumentXSD-informatorischeLesefassung1.1_99991231_20220401.xsd
NetworkConstraintDocumentXSD1.1_99991231_20231001.xsd
NetworkConstraintDocumentXSD1.1KonsolidierteLesefassungmitFehlerkorrekturenStand29.08.2023_99991231_20231001.xsd
ORDCHGMIG-informatorischeLesefassung1.1_99991231_20231001.docx
ORDCHGMIG1.1_99991231_20231001.pdf
ORDERSMIG-informatorischeLesefassung1.3_99991231_20231001.docx
ORDERSMIG-informatorischeLesefassung1.3-AußerordentlicheVeröffentlichung_99991231_20231001.docx
ORDERSMIG1.3_99991231_20231001.pdf
ORDERSMIG1.3-AußerordentlicheVeröffentlichung_99991231_20231001.pdf
ORDERSORDRSPAHBMaBiS-informatorischeLesefassung2.2c_99991231_20231001.docx
ORDERSORDRSPAHBMaBiS2.2c_99991231_20231001.pdf
ORDRSPMIG-informatorischeLesefassung1.3_99991231_20231001.docx
ORDRSPMIG-informatorischeLesefassung1.3-AußerordentlicheVeröffentlichung_99991231_20231001.docx
ORDRSPMIG1.3_99991231_20231001.pdf
ORDRSPMIG1.3-AußerordentlicheVeröffentlichung_99991231_20231001.pdf
PARTINAHB-informatorischeLesefassung1.0c_20240331_20231001.docx
PARTINAHB-informatorischeLesefassung1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand29.09.2023_20240331_20231001.docx
PARTINAHB1.0c_20240331_20231001.pdf
PARTINAHB1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand29.09.2023_20240331_20231001.pdf
PARTINMIG-informatorischeLesefassung1.0c_20240331_20231001.docx
PARTINMIG1.0c_20240331_20231001.pdf
PlannedResourceScheduleDocumentAWT-informatorischeLesefassung1.0c_99991231_20231001.xlsx
PlannedResourceScheduleDocumentAWT-informatorischeLesefassung1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand15.09.2023_99991231_20231001.xlsx
PlannedResourceScheduleDocumentAWT1.0c_99991231_20231001.pdf
PlannedResourceScheduleDocumentAWT1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand15.09.2023_99991231_20231001.pdf
PlannedResourceScheduleDocumentFB1.0c_99991231_20231001.pdf
PlannedResourceScheduleDocumentFB1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand29.08.2023_99991231_20231001.pdf
PlannedResourceScheduleDocumentXSD1.0c_99991231_20231001.xsd
PlannedResourceScheduleDocumentXSD1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand13.06.2023_99991231_20231001.xsd
PRICATAHB-informatorischeLesefassung2.0c_20240331_20231001.docx
PRICATAHB2.0c_20240331_20231001.pdf
PRICATMIG-informatorischeLesefassung2.0c_99991231_20231001.docx
PRICATMIG2.0c_99991231_20231001.pdf
QUOTESMIG-informatorischeLesefassung1.3_99991231_20231001.docx
QUOTESMIG-informatorischeLesefassung1.3KonsolidierteLesefassungmitFehlerkorrekturenStand19.06.2023_99991231_20231001.docx
QUOTESMIG1.3_99991231_20231001.pdf
QUOTESMIG1.3KonsolidierteLesefassungmitFehlerkorrekturenStand19.06.2023_99991231_20231001.pdf
RegelungenzumÜbertragungsweg1.6_20240331_20231001.pdf
RegelungenzumÜbertragungswegfürAS42.0_20240331_20231001.pdf
RegelungenzumÜbertragungswegfürAS42.0KonsolidierteLesefassungmitFehlerkorrekturenStand29.09.2023_20240331_20231001.pdf
REMADVMIG-informatorischeLesefassung2.9b_20240331_20231001.docx
REMADVMIG2.9b_20240331_20231001.pdf
REQOTEMIG-informatorischeLesefassung1.3_99991231_20231001.docx
REQOTEMIG1.3_99991231_20231001.pdf
REQOTEQUOTESORDERSORDRSPORDCHGAHB-informatorischeLesefassung2.2_99991231_20231001.docx
REQOTEQUOTESORDERSORDRSPORDCHGAHB-informatorischeLesefassung2.2-AußerordentlicheVeröffentlichung_99991231_20231001.docx
REQOTEQUOTESORDERSORDRSPORDCHGAHB2.2_99991231_20231001.pdf
REQOTEQUOTESORDERSORDRSPORDCHGAHB2.2-AußerordentlicheVeröffentlichung_99991231_20231001.pdf
StammdatenAWT-informatorischeLesefassung1.2a_20240331_20231001.xlsx
StammdatenAWT1.2a_20240331_20231001.pdf
StammdatenFB1.2a_20240331_20231001.pdf
StammdatenXSD1.2a_20240331_20231001.xsd
StatusRequest_MarketDocumentAWT1.0_99991231_20230401.pdf
StatusRequest_MarketDocumentFB1.0_99991231_20230401.pdf
StatusRequest_MarketDocumentXSD-informatorischeLesefassung1.0_99991231_20230401.xsd
StatusRequest_MarketDocumentXSD1.0_99991231_20231001.xsd
Unavailability_MarketDocumentAWT-informatorischeLesefassung1.0c_20240331_20231001.xlsx
Unavailability_MarketDocumentAWT1.0c_20240331_20231001.pdf
Unavailability_MarketDocumentFB1.0c_20240331_20231001.pdf
Unavailability_MarketDocumentFB1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand13.06.2023_20240331_20231001.pdf
Unavailability_MarketDocumentXSD1.0c_20240331_20231001.xsd
Unavailability_MarketDocumentXSD1.0cKonsolidierteLesefassungmitFehlerkorrekturenStand13.06.2023_20240331_20231001.xsd
UTILMDAHBGas-informatorischeLesefassung1.0a_99991231_20231001.docx
UTILMDAHBGas-informatorischeLesefassung1.0aKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_99991231_20231212.docx
UTILMDAHBGas1.0a_99991231_20231001.pdf
UTILMDAHBGas1.0aKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_99991231_20231212.pdf
UTILMDAHBMaBiS-informatorischeLesefassung4.1_20240331_20231001.docx
UTILMDAHBMaBiS-informatorischeLesefassung4.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.docx
UTILMDAHBMaBiS4.1_20240331_20231001.pdf
UTILMDAHBMaBiS4.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.pdf
UTILMDAHBStrom-informatorischeLesefassung1.1_20240331_20231001.docx
UTILMDAHBStrom-informatorischeLesefassung1.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.docx
UTILMDAHBStrom1.1_20240331_20231001.pdf
UTILMDAHBStrom1.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.pdf
UTILMDMIGGas-informatorischeLesefassungG1.0a_99991231_20231001.docx
UTILMDMIGGas-informatorischeLesefassungG1.0aKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_99991231_20231212.docx
UTILMDMIGGasG1.0a_99991231_20231001.pdf
UTILMDMIGGasG1.0aKonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_99991231_20231212.pdf
UTILMDMIGStrom-informatorischeLesefassungS1.1_20240331_20231001.docx
UTILMDMIGStrom-informatorischeLesefassungS1.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.docx
UTILMDMIGStromS1.1_20240331_20231001.pdf
UTILMDMIGStromS1.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.pdf
UTILTSAHBBerechnungsformel-informatorischeLesefassung1.0e_20240331_20231001.docx
UTILTSAHBBerechnungsformel1.0e_20240331_20231001.pdf
UTILTSAHBDefinitionen-informatorischeLesefassung1.1_20240331_20231001.docx
UTILTSAHBDefinitionen-informatorischeLesefassung1.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.docx
UTILTSAHBDefinitionen1.1_20240331_20231001.pdf
UTILTSAHBDefinitionen1.1KonsolidierteLesefassungmitFehlerkorrekturenStand12.12.2023_20240331_20231212.pdf
UTILTSMIG-informatorischeLesefassung1.1b_20240331_20231001.docx
UTILTSMIG1.1b_20240331_20231001.pdf
hf-krechan commented 10 months ago

So the edi-energy-scraper will sort the documents into the correct folders by itself, right?

hf-kklein commented 10 months ago

So the edi-energy-scraper will sort the documents into the correct folders by itself, right?

yes, so this is blocked by: https://github.com/Hochfrequenz/edi_energy_scraper/issues/106

hf-krechan commented 7 months ago

The format version flag was introduced in #265