Closed nj1973 closed 1 week ago
This PR DEBUG logs some elapsed times for key parts of the DVT process.
For example:
$ data-validation -ll DEBUG validate row -sc=ora -tc=pg -tbls=pso_data_validator.dvt_core_types -pk id --concat=col_int16,col_int32 11/11/2024 05:56:40 PM-DEBUG: Build config elapsed: 0.32s 11/11/2024 05:56:41 PM-DEBUG: Target query elapsed: 0.05s 11/11/2024 05:56:41 PM-DEBUG: Source query elapsed: 0.06s 11/11/2024 05:56:41 PM-DEBUG: Generate report elapsed: 0.47s ╒═══════════════════╤═══════════════════╤═══════════════════════════════════╤══════════════════════╤════════════════════╤════════════════════╤══════════════════╤═════════════════════╤══════════════════════════════════════╕ │ validation_name │ validation_type │ source_table_name │ source_column_name │ source_agg_value │ target_agg_value │ pct_difference │ validation_status │ run_id │ ╞═══════════════════╪═══════════════════╪═══════════════════════════════════╪══════════════════════╪════════════════════╪════════════════════╪══════════════════╪═════════════════════╪══════════════════════════════════════╡ │ concat__all │ Row │ pso_data_validator.dvt_core_types │ concat__all │ 11 │ 11 │ │ success │ 98274ddb-d019-421d-93f2-bf732231f820 │ ├───────────────────┼───────────────────┼───────────────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤ │ concat__all │ Row │ pso_data_validator.dvt_core_types │ concat__all │ 22 │ 22 │ │ success │ 98274ddb-d019-421d-93f2-bf732231f820 │ ├───────────────────┼───────────────────┼───────────────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤ │ concat__all │ Row │ pso_data_validator.dvt_core_types │ concat__all │ 33 │ 33 │ │ success │ 98274ddb-d019-421d-93f2-bf732231f820 │ ╘═══════════════════╧═══════════════════╧═══════════════════════════════════╧══════════════════════╧════════════════════╧════════════════════╧══════════════════╧═════════════════════╧══════════════════════════════════════╛
/gcbrun
This PR DEBUG logs some elapsed times for key parts of the DVT process.
For example: