performanceautofiler[bot]
commented
1 year ago Run Information
| Architecture | x64 |
|---|---|
| OS | ubuntu 18.04 |
| Baseline | 9333e468a9bc61950f3c7b25d52338dfd956ce78 |
| Compare | 0b7fd637e93a02942eac1cec903d836194fceb86 |
| Diff | Diff |
Regressions in System.Text.Json.Serialization.Tests.WriteJson<IndexViewModel>
| Benchmark | Baseline | Test | Test/Base | Test Quality | Edge Detector | Baseline IR | Compare IR | IR Ratio | Baseline ETL | Compare ETL |
|---|---|---|---|---|---|---|---|---|---|---|
| [SerializeToUtf8Bytes - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_AOT=true_CompliationMode=wasm_RunKind=micro/System.Text.Json.Serialization.Tests.WriteJson(IndexViewModel).SerializeToUtf8Bytes(Mode%3a%20Reflection).html>) | 99.38 μs | 111.63 μs | 1.12 | 0.04 | False | |||||
| [SerializeToWriter - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_AOT=true_CompliationMode=wasm_RunKind=micro/System.Text.Json.Serialization.Tests.WriteJson(IndexViewModel).SerializeToWriter(Mode%3a%20Reflection).html>) | 94.48 μs | 106.13 μs | 1.12 | 0.06 | False | |||||
| [SerializeToString - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_AOT=true_CompliationMode=wasm_RunKind=micro/System.Text.Json.Serialization.Tests.WriteJson(IndexViewModel).SerializeToString(Mode%3a%20Reflection).html>) | 107.40 μs | 114.87 μs | 1.07 | 0.05 | False | |||||
| [SerializeObjectProperty - Duration of single invocation](<https://pvscmdupload.z22.web.core.windows.net/reports/allTestHistory/refs/heads/main_x64_ubuntu 18.04_AOT=true_CompliationMode=wasm_RunKind=micro/System.Text.Json.Serialization.Tests.WriteJson(IndexViewModel).SerializeObjectProperty(Mode%3a%20Reflection).html>) | 107.84 μs | 115.62 μs | 1.07 | 0.04 | False |
_1.png>)
_2.png>)
_3.png>)
_4.png>)
Repro
git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f net8.0 --filter 'System.Text.Json.Serialization.Tests.WriteJson<IndexViewModel>*'
### Payloads
[Baseline]()
[Compare]()
### Histogram
#### System.Text.Json.Serialization.Tests.WriteJson<IndexViewModel>.SerializeToUtf8Bytes(Mode: Reflection)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsRegressionWindowed: Marked as regression because 111.63297344124699 > 105.00405451035031.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 12/13/2022 5:38:37 AM falls between 12/4/2022 6:53:17 AM and 12/13/2022 5:38:37 AM.
IsRegressionStdDev: Marked as regression because -20.918056438978528 (T) = (0 -108368.59185203358) / Math.Sqrt((2183672.521675753 / (41)) + (1963304.48989756 / (16))) is less than -2.0040447832881556 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (41) + (16) - 2, .025) and -0.08810578658501003 = (99593.8016212058 - 108368.59185203358) / 99593.8016212058 is less than -0.05.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```#### System.Text.Json.Serialization.Tests.WriteJson<IndexViewModel>.SerializeToWriter(Mode: Reflection)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsRegressionWindowed: Marked as regression because 106.1308892777778 > 99.70830029359483.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 12/13/2022 5:38:37 AM falls between 12/4/2022 6:53:17 AM and 12/13/2022 5:38:37 AM.
IsRegressionStdDev: Marked as regression because -16.63085410800288 (T) = (0 -104610.79621610767) / Math.Sqrt((3935143.7675769567 / (41)) + (3266896.5089008897 / (16))) is less than -2.0040447832881556 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (41) + (16) - 2, .025) and -0.09540936638966055 = (95499.27125499434 - 104610.79621610767) / 95499.27125499434 is less than -0.05.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```#### System.Text.Json.Serialization.Tests.WriteJson<IndexViewModel>.SerializeToString(Mode: Reflection)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsRegressionWindowed: Marked as regression because 114.87165955687831 > 112.9491295652239.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 12/13/2022 5:38:37 AM falls between 12/4/2022 6:53:17 AM and 12/13/2022 5:38:37 AM.
IsRegressionStdDev: Marked as regression because -14.536362145439172 (T) = (0 -116841.46837399596) / Math.Sqrt((6072811.70637947 / (41)) + (2959286.045793265 / (16))) is less than -2.0040447832881556 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (41) + (16) - 2, .025) and -0.07735475275495898 = (108452.17703380865 - 116841.46837399596) / 108452.17703380865 is less than -0.05.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```#### System.Text.Json.Serialization.Tests.WriteJson<IndexViewModel>.SerializeObjectProperty(Mode: Reflection)
```log
```
### Description of detection logic
```IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsRegressionBase: Marked as regression because the compare was 5% greater than the baseline, and the value was not too small.
IsRegressionChecked: Marked as regression because the three check build points were 0.05 greater than the baseline.
IsRegressionWindowed: Marked as regression because 115.62234574074074 > 113.44007200520834.
IsChangePoint: Marked as a change because one of 12/9/2022 1:52:32 PM, 12/13/2022 5:38:37 AM falls between 12/4/2022 6:53:17 AM and 12/13/2022 5:38:37 AM.
IsRegressionStdDev: Marked as regression because -15.075369822534814 (T) = (0 -118959.17855603134) / Math.Sqrt((8216460.650581109 / (41)) + (2745912.720176484 / (16))) is less than -2.0040447832881556 = MathNet.Numerics.Distributions.StudentT.InvCDF(0, 1, (41) + (16) - 2, .025) and -0.08377049543538864 = (109764.17890786118 - 118959.17855603134) / 109764.17890786118 is less than -0.05.
IsImprovementBase: Marked as not an improvement because the compare was not 5% less than the baseline, or the value was too small.
IsChangeEdgeDetector: Marked not as a regression because Edge Detector said so.
```
### Docs
[Profiling workflow for dotnet/runtime repository](https://github.com/dotnet/performance/blob/master/docs/profiling-workflow-dotnet-runtime.md)
[Benchmarking workflow for dotnet/runtime repository](https://github.com/dotnet/performance/blob/master/docs/benchmarking-workflow-dotnet-runtime.md)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_42.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_42.png>)
_43.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_1.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_42.png>)
_1.png>)
_2.png>)
_3.png>)
_1.png>)
_1.png>)
_2.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_1.png>)
_2.png>)
_3.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_42.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_1.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_1.png>)
_2.png>)
_1.png>)
_1.png>)
_1.png>)
_2.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_1.png>)
_2.png>)
_1.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
_41.png>)
_1.png>)
_2.png>)
_3.png>)
_4.png>)
_5.png>)
_6.png>)
_7.png>)
_8.png>)
_9.png>)
_10.png>)
_11.png>)
_12.png>)
_13.png>)
_14.png>)
_15.png>)
_16.png>)
_17.png>)
_18.png>)
_19.png>)
_20.png>)
_21.png>)
_22.png>)
_23.png>)
_24.png>)
_25.png>)
_26.png>)
_27.png>)
_28.png>)
_29.png>)
_30.png>)
_31.png>)
_32.png>)
_33.png>)
_34.png>)
_35.png>)
_36.png>)
_37.png>)
_38.png>)
_39.png>)
_40.png>)
lewing
Run Information
Regressions in System.Numerics.Tests.Perf_VectorOf<Int16>
Repro