performanceautofiler[bot]
commented
1 year ago Run Information
| Architecture | x64 |
|---|---|
| OS | ubuntu 18.04 |
| Baseline | f70d8a9663d3d674c453e26d405dc13baa79fd16 |
| Compare | 4c25992c7b25c1ab21dc47e8dcba9f491b5fcb80 |
| Diff | Diff |
Improvements in System.Text.Json.Tests.Perf_Guids
| Benchmark | Baseline | Test | Test/Base | Test Quality | Edge Detector | Baseline IR | Compare IR | IR Ratio | Baseline ETL | Compare ETL |
|---|---|---|---|---|---|---|---|---|---|---|
| [WriteGuids - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_CompliationMode=wasm_RunKind=micro/System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted%3a%20True%2c%20SkipValidation%3a%20True).html>) | 187.14 ms | 78.23 ms | 0.42 | 0.04 | False | |||||
| [WriteGuids - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_CompliationMode=wasm_RunKind=micro/System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted%3a%20False%2c%20SkipValidation%3a%20True).html>) | 173.17 ms | 67.16 ms | 0.39 | 0.06 | False | |||||
| [WriteGuids - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_CompliationMode=wasm_RunKind=micro/System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted%3a%20True%2c%20SkipValidation%3a%20False).html>) | 189.74 ms | 78.67 ms | 0.41 | 0.04 | False | |||||
| [WriteGuids - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_CompliationMode=wasm_RunKind=micro/System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted%3a%20False%2c%20SkipValidation%3a%20False).html>) | 175.95 ms | 70.73 ms | 0.40 | 0.06 | False |
Repro
General Docs link: https://github.com/dotnet/performance/blob/main/docs/benchmarking-workflow-dotnet-runtime.md
Payloads
git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f net8.0 --filter 'System.Text.Json.Tests.Perf_Guids*'
### Payloads
[Baseline]()
[Compare]()
### Histogram
#### System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted: True, SkipValidation: True)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsImprovementWindowed:Marked as improvement because 78.23063453846153 < 177.08636484166664.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 1/12/2023 3:42:01 AM, 2/1/2023 12:50:52 AM, 2/7/2023 2:48:42 AM falls between 1/29/2023 12:56:15 AM and 2/7/2023 2:48:42 AM.
IsImprovementStdDev: Marked as improvement because 110.33980278051064 (T) = (0 -78251711.5401843) / Math.Sqrt((292445234215603.94 / (299)) + (9969650186281.86 / (32))) is greater than 1.9672006833568965 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (299) + (32) - 2, .975) and 0.6155757894817008 = (203555627.869227 - 78251711.5401843) / 203555627.869227 is greater than 0.05.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```#### System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted: False, SkipValidation: True)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsImprovementWindowed:Marked as improvement because 67.16268343333334 < 163.78630160333333.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 1/12/2023 3:42:01 AM, 2/1/2023 12:50:52 AM, 2/7/2023 2:48:42 AM falls between 1/29/2023 12:56:15 AM and 2/7/2023 2:48:42 AM.
IsImprovementStdDev: Marked as improvement because 122.24500895285748 (T) = (0 -68762118.11886162) / Math.Sqrt((222503112983004.38 / (299)) + (5926615012447.296 / (32))) is greater than 1.9672006833568965 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (299) + (32) - 2, .975) and 0.6315209067097447 = (186610636.45393008 - 68762118.11886162) / 186610636.45393008 is greater than 0.05.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```#### System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted: True, SkipValidation: False)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsImprovementWindowed:Marked as improvement because 78.67203569642857 < 179.7986965982143.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 1/12/2023 3:42:01 AM, 2/1/2023 12:50:52 AM, 2/7/2023 2:48:42 AM falls between 1/29/2023 12:56:15 AM and 2/7/2023 2:48:42 AM.
IsImprovementStdDev: Marked as improvement because 119.20870988422581 (T) = (0 -82294221.02527043) / Math.Sqrt((302827382053971.7 / (299)) + (2359482143307.6855 / (32))) is greater than 1.9672006833568965 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (299) + (32) - 2, .975) and 0.6015844904609374 = (206553758.71405905 - 82294221.02527043) / 206553758.71405905 is greater than 0.05.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```#### System.Text.Json.Tests.Perf_Guids.WriteGuids(Formatted: False, SkipValidation: False)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsRegressionBase: Marked as not a regression because the compare was not 5% greater than the baseline, or the value was too small.
IsImprovementBase: Marked as improvement because the compare was 5% less than the baseline, and the value was not too small.
IsImprovementCheck: Marked as improvement because the three check build points were 0.05 less than the baseline.
IsImprovementWindowed:Marked as improvement because 70.73348214285716 < 164.44383620249997.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 1/12/2023 3:42:01 AM, 2/1/2023 12:50:52 AM, 2/7/2023 2:48:42 AM falls between 1/29/2023 12:56:15 AM and 2/7/2023 2:48:42 AM.
IsImprovementStdDev: Marked as improvement because 122.50893642169837 (T) = (0 -72678511.55614877) / Math.Sqrt((240630876037065.16 / (299)) + (3216432849382.3657 / (32))) is greater than 1.9672006833568965 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (299) + (32) - 2, .975) and 0.6159500495005119 = (189242340.64247236 - 72678511.55614877) / 189242340.64247236 is greater than 0.05.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```
### Docs
[Profiling workflow for dotnet/runtime repository](https://github.com/dotnet/performance/blob/master/docs/profiling-workflow-dotnet-runtime.md)
[Benchmarking workflow for dotnet/runtime repository](https://github.com/dotnet/performance/blob/master/docs/benchmarking-workflow-dotnet-runtime.md)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_1.png>)
_2.png>)
_3.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
Run Information
Improvements in System.Collections.ContainsKeyFalse<String, String>
Repro
General Docs link: https://github.com/dotnet/performance/blob/main/docs/benchmarking-workflow-dotnet-runtime.md
Payloads
Baseline Compare