GoogleCloudPlatform / professional-services-data-validator

Utility to compare data between homogeneous or heterogeneous environments to ensure source and target tables match
Apache License 2.0
408 stars 119 forks source link

chore: Add instrumentation on query elapsed times #1326

Closed nj1973 closed 1 week ago

nj1973 commented 2 weeks ago

This PR DEBUG logs some elapsed times for key parts of the DVT process.

For example:

$ data-validation -ll DEBUG validate row -sc=ora -tc=pg -tbls=pso_data_validator.dvt_core_types -pk id  --concat=col_int16,col_int32
11/11/2024 05:56:40 PM-DEBUG: Build config elapsed: 0.32s
11/11/2024 05:56:41 PM-DEBUG: Target query elapsed: 0.05s
11/11/2024 05:56:41 PM-DEBUG: Source query elapsed: 0.06s
11/11/2024 05:56:41 PM-DEBUG: Generate report elapsed: 0.47s
╒═══════════════════╤═══════════════════╤═══════════════════════════════════╤══════════════════════╤════════════════════╤════════════════════╤══════════════════╤═════════════════════╤══════════════════════════════════════╕
│ validation_name   │ validation_type   │ source_table_name                 │ source_column_name   │   source_agg_value │   target_agg_value │ pct_difference   │ validation_status   │ run_id                               │
╞═══════════════════╪═══════════════════╪═══════════════════════════════════╪══════════════════════╪════════════════════╪════════════════════╪══════════════════╪═════════════════════╪══════════════════════════════════════╡
│ concat__all       │ Row               │ pso_data_validator.dvt_core_types │ concat__all          │                 11 │                 11 │                  │ success             │ 98274ddb-d019-421d-93f2-bf732231f820 │
├───────────────────┼───────────────────┼───────────────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ concat__all       │ Row               │ pso_data_validator.dvt_core_types │ concat__all          │                 22 │                 22 │                  │ success             │ 98274ddb-d019-421d-93f2-bf732231f820 │
├───────────────────┼───────────────────┼───────────────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ concat__all       │ Row               │ pso_data_validator.dvt_core_types │ concat__all          │                 33 │                 33 │                  │ success             │ 98274ddb-d019-421d-93f2-bf732231f820 │
╘═══════════════════╧═══════════════════╧═══════════════════════════════════╧══════════════════════╧════════════════════╧════════════════════╧══════════════════╧═════════════════════╧══════════════════════════════════════╛
nj1973 commented 1 week ago

/gcbrun