specactions Parser readUCI & hdf5 Data Model

[rburghol]

Tasks

• [x] Create testing dataset (see Testing Data below)
  • Download here: https://deq1.bse.vt.edu/hsp2/land_spec.tar.gz
  • Clone branch (psa) here: https://github.com/HARPgroup/HSPsquared/tree/psa
  • Test files also downloadable/visible individually at: https://deq1.bse.vt.edu/hsp2/land_spec/
• [x] Add method def specactions(info, llines): to readUCI.py
  • [x] insert parse stubs for all 12.2 supported specl types in def specactions(info, llines): in readUCI.py:
  • [x] Add speclactions property of UCI class (HSP2/uci.py)
• [ ] Supported Functions: Add parser defs and execution code to HSP2Tools/data/ParseTable.csv
  • [x] ACTIONS (classic variables) see https://github.com/respec/HSPsquared/issues/105
  • [ ] MULT
  • [ ] UVQUAN (SEE #107)
  • [ ] CONDITIONAL
  • [ ] DISTRB
  • [ ] UVNAME (see #106)
• [x] Data Models (see below Data Models and individual ACTIONS for details)

Background

• See Parse SPEC-ACTIONS in UCI: see SUBROUTINE PSPUCI in 12.2

Testing Data

wget https://deq1.bse.vt.edu/hsp2/land_spec.tar.gz
tar -xvf land_spec.tar.gz
cd land_spec
hsp2 import_uci hwmA51800.uci hwmA51800.h5
hsp2 run hwmA51800.h5

Data Models in hdf5

• hdf5 Paths:
  • /SPEC_ACTIONS/ACTIONS/table (see also: https://github.com/respec/HSPsquared/issues/105)
  • /SPEC_ACTIONS/MULT/table
  • /SPEC_ACTIONS/UVQUAN/table
  • /SPEC_ACTIONS/CONDITIONAL/table
  • /SPEC_ACTIONS/DISTRB/table
  • /SPEC_ACTIONS/UVNAME/table (see #106)

Development Notes

• HSP2IO/hdf.py: this loads the hdf5 data into the uci_obj in HSP2/main.py
  • line 41:uci_obj = io_manager.read_uci()
• HSP2Tools/data/ParseTable.csv: this contains the list of column defs for the parser to use when trying to load the SAs (and all the other UCI stuff).
• main.py: Need to access the specactions from the hdf5 file and pass it into other routines, i.e., something like: specactions = uci_obj.specactions
• HSP2/uci.py: this has the basic class shell definition for the UCI, in order to reference the specactions dictionary in main.py, this must be set or an error will be thrown

[rburghol]

Currently the parser completes gaining actions, finds a whole bunch (the test uci is chock full), but they values are all NA, suggesting that the parsing defs for Actions (in either CSV or in code) is not quite right.

rob@deq3:~/working/modeling/hsp2/land_spec$ hsp2 run hwmA51800.h5
2022-09-02 18:15:05.55   Processing started for file ./; saveall=True
Called read_uci()
Trying to access the special actions. Did it get parsed?
      OPERATION  RANGE  DC  DS  YR  MO  DA  HR  MN   D   T  VARI  S1  S2  AC  VALUE  TC  TS  NUM
0           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
2           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
3           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
4           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
...         ...    ...  ..  ..  ..  ..  ..  ..  ..  ..  ..   ...  ..  ..  ..    ...  ..  ..  ...
1330        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1331        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1332        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1333        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1334        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN

[1335 rows x 19 columns]
{'ACTIONS':       OPERATION  RANGE  DC  DS  YR  MO  DA  HR  MN   D   T  VARI  S1  S2  AC  VALUE  TC  TS  NUM
0           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
2           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
3           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
4           NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
...         ...    ...  ..  ..  ..  ..  ..  ..  ..  ..  ..   ...  ..  ..  ..    ...  ..  ..  ...
1330        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1331        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1332        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1333        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN
1334        NaN    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN   NaN NaN NaN NaN    NaN NaN NaN  NaN

[rburghol]

See #105