(SLV-576) Handle csvlint issues, remove scale-specific metrics collector code, update specs

This update includes the following:

replace csvlint with basic CSV validation
update specs with new examples / fixtures
suppress rspec deprecation warnings by writing them to a log file
update puppet-metrics-collector data extraction to handle directory or tar file
update scale-specific metrics-collector code to copy the data from the perf results
update 50_tune/10_puppet_infrastructure_tune.rb pre-suite to run the agent up to 5 times after applying tune

Here are the results from a short scale run (using the soak setup): http://10.234.1.190/gplt/scale/slv-576/2019.1.0/PERF_SCALE_1568825278/

➜  PERF_SCALE_1568825278 git:(SLV-576) ✗ tree                    
.
├── beaker_environment.txt
├── json
│   ├── Scale_1568825278_1_600global_stats.json
│   ├── Scale_1568825278_1_600stats.json
│   ├── Scale_1568825278_2_700global_stats.json
│   └── Scale_1568825278_2_700stats.json
├── log
│   ├── hosts_preserved.yml
│   ├── sut.log
│   ├── tests-run.log
│   └── tests-summary.txt
├── PERF_SCALE_1568825278.csv
├── PERF_SCALE_1568825278.csv.html
├── pe_tune_current.txt
├── puppet_metrics_collector
│   ├── orchestrator
│   │   └── 127.0.0.1
│   │       ├── 20190918T165001Z.json
│   │       ├── ...
│   ├── puppetdb
│   │   └── ip-10-227-3-86.amz-dev.puppet.net
│   │       ├── 20190918T165001Z.json
│   │       ├── ...
│   └── puppetserver
│       └── ip-10-227-3-86.amz-dev.puppet.net
│           ├── 20190918T165001Z.json
│           ├── ...
├── Scale_1568825278_1_600
│   ├── 20190918T164808Z-20190918T171819Z.tar.gz
│   ├── current_tune_settings.json
│   ├── end_epoch
│   ├── master
│   │   ├── atop_log_scale_1568825278_1_600_json.csv
│   │   ├── atop_log_scale_1568825278_1_600_json.detail.csv
│   │   ├── atop_log_scale_1568825278_1_600_json.detail.csv.html
│   │   ├── atop_log_scale_1568825278_1_600_json.log
│   │   ├── atop_log_scale_1568825278_1_600_json.summary.csv
│   │   └── atop_log_scale_1568825278_1_600_json.summary.csv.html
│   ├── metric
│   │   ├── group_perftestlarge-5163d.html
│   │   ├── index.html
│   │   ├── js
│   │   │   ├── ...
│   │   │   ├── global_stats.json
│   │   │   ├── ...
│   │   │   ├── stats.json
│   │   │   ├── ...
│   │   ├── PerfAutoScale-1568825292441.csv
│   │   ├── PerfAutoScale-1568825292441.csv.html
│   │   ├── ...
│   │   ├── simulation.log
│   │   └── style
│   │       ├── arrow_down_black.png
│   │       ├── ...
│   ├── puppet_metrics_collector
│   │   ├── orchestrator
│   │   │   └── 127.0.0.1
│   │   │       ├── 20190918T165001Z.json
│   │   │       ├── ...
│   │   ├── puppetdb
│   │   │   └── ip-10-227-3-86.amz-dev.puppet.net
│   │   │       ├── 20190918T165001Z.json
│   │   │       ├── ...
│   │   └── puppetserver
│   │       └── ip-10-227-3-86.amz-dev.puppet.net
│   │           ├── 20190918T165001Z.json
│   │           ├── ...
│   ├── puppetserver.average.csv
│   ├── puppetserver.average.csv.html
│   ├── puppetserver.csv
│   ├── puppetserver.csv.html
│   └── start_epoch
└── Scale_1568825278_2_700
    ├── 20190918T171825Z-20190918T174157Z.tar.gz
    ├── current_tune_settings.json
    ├── end_epoch
    ├── master
    │   ├── atop_log_scale_1568825278_2_700_json.csv
    │   ├── atop_log_scale_1568825278_2_700_json.detail.csv
    │   ├── atop_log_scale_1568825278_2_700_json.detail.csv.html
    │   ├── atop_log_scale_1568825278_2_700_json.log
    │   ├── atop_log_scale_1568825278_2_700_json.summary.csv
    │   └── atop_log_scale_1568825278_2_700_json.summary.csv.html
    ├── metric
    │   ├── group_perftestlarge-5163d.html
    │   ├── index.html
    │   ├── js
    │   │   ├── ...
    │   │   ├── global_stats.json
    │   │   ├── ....
    │   │   ├── stats.json
    │   │   ├── ...
    │   ├── PerfAutoScale-1568827109757.csv
    │   ├── PerfAutoScale-1568827109757.csv.html
    │   ├── ...
    │   ├── simulation.log
    │   └── style
    │       ├── ...
    ├── puppet_metrics_collector
    │   ├── orchestrator
    │   │   └── 127.0.0.1
    │   │       ├── 20190918T172001Z.json
    │   │       ├── ...
    │   ├── puppetdb
    │   │   └── ip-10-227-3-86.amz-dev.puppet.net
    │   │       ├── 20190918T172001Z.json
    │   │       ├── ...
    │   └── puppetserver
    │       └── ip-10-227-3-86.amz-dev.puppet.net
    │           ├── 20190918T172001Z.json
    │           ├── ...
    ├── puppetserver.average.csv
    ├── puppetserver.average.csv.html
    ├── puppetserver.csv
    ├── puppetserver.csv.html
    └── start_epoch

33 directories, 198 files

puppetlabs / gatling-puppet-load-test

(SLV-576) Handle csvlint issues, remove scale-specific metrics collector code, update specs #334