tatsuru / isucon10-final

ISUCON10決勝 ヌルポインターマリアユニバース
0 stars 0 forks source link

スコア記録会場 #6

Open polamjag opened 4 years ago

polamjag commented 4 years ago
<details>
<summary>analyze</summary>

```__PASTE_HERE__```

</details>
polamjag commented 4 years ago

完全初期状態 (server-1) https://portal.isucon.net/contestant/benchmark_jobs/101

Score: 4343

polamjag commented 4 years ago

完全初期状態 (server-2) https://portal.isucon.net/contestant/benchmark_jobs/119

Score: 4391

polamjag commented 4 years ago

完全初期状態 (server-3) https://portal.isucon.net/contestant/benchmark_jobs/125

Score: 4216

tatsuru commented 4 years ago

Go に変えた (server-1) https://portal.isucon.net/contestant/benchmark_jobs/202 Score: 6490

tatsuru commented 4 years ago

↑ dstat https://gist.github.com/tatsuru/64c72063839e4383a14d999651ea94c7 02:02:27 からがベンチ走行

tatsuru commented 4 years ago

Go server-3 4core https://portal.isucon.net/contestant/benchmark_jobs/214 Score: 7617 dstat https://gist.github.com/tatsuru/64c72063839e4383a14d999651ea94c7#file-dstat-4core

polamjag commented 4 years ago

server-3 https://portal.isucon.net/contestant/benchmark_jobs/321

htop で CPU の様子眺めた、mysqld : app : envoy = 6 : 3 : 1 くらいの雰囲気

tatsuru commented 4 years ago

初期状態 pt-query-digest https://gist.github.com/tatsuru/aab63808c8df4d4bdb1607c2b229921e

tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/477 初期状態Golang server-2 ログ分析 https://gist.github.com/tatsuru/d64f38dcbc5c0657010eb3640b337a01

tatsuru commented 4 years ago

server-3 https://portal.isucon.net/contestant/benchmark_jobs/1365

tatsuru commented 4 years ago

server-3 https://portal.isucon.net/contestant/benchmark_jobs/1406

  667 mysql     20   0 2842444 513472   9068 S 220.7  50.6   9:24.04 mysqld                                                                                                                            
  988 isucon    20   0 1382752  31020  11864 S 107.7   3.1   0:42.81 xsuportal                                                                                                                         
  869 isucon    20   0  135616  30868   8200 S  18.3   3.0   0:09.56 envoy                                                                                                                             
tatsuru commented 4 years ago

server-2 https://portal.isucon.net/contestant/benchmark_jobs/1503

tatsuru commented 4 years ago

server-2 https://portal.isucon.net/contestant/benchmark_jobs/1532

polamjag commented 4 years ago

19 (capacity = 10) server-1

Score: 8837

Score Breakdown: base=8937, deduction=100

https://portal.isucon.net/contestant/benchmark_jobs/1568

scripts/analyze おりたたみ ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+----------+----------+---------+-----------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+----------+----------+---------+-----------+------------+---------------+------------+ | 24515 | 0 | 24267 | 0 | 0 | 0 | GET | /api/audience/dashboard | 7.000 | 2025.000 | 2127298.000 | 86.775 | 1.000 | 2000.000 | 37.000 | 307.839 | 27532.000 | 38890.000 | 621257533.000 | 25341.935 | | 3070 | 0 | 3050 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 6.000 | 1983.000 | 1053467.000 | 343.149 | 455.000 | 458.000 | 469.000 | 248.537 | 0.000 | 80.000 | 92574.000 | 30.154 | | 8228 | 0 | 8224 | 0 | 4 | 0 | GET | /api/contestant/notifications | 1.000 | 3550.000 | 1036825.000 | 126.012 | 6.000 | 174.000 | 1410.000 | 319.977 | 2.000 | 73.000 | 104665.000 | 12.721 | | 2019 | 0 | 1990 | 0 | 4 | 0 | GET | /api/contestant/dashboard | 1.000 | 2016.000 | 266773.000 | 132.131 | 125.000 | 99.000 | 108.000 | 304.244 | 27532.000 | 38890.000 | 39712574.000 | 19669.427 | | 1999 | 0 | 1991 | 0 | 4 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 3291.000 | 220477.000 | 110.294 | 88.000 | 39.000 | 173.000 | 308.264 | 55.000 | 18277.000 | 15077575.000 | 7542.559 | | 1923 | 0 | 1923 | 0 | 0 | 0 | GET | /api/session | 1.000 | 3522.000 | 159730.000 | 83.063 | 8.000 | 3.000 | 42.000 | 332.146 | 34.000 | 473.000 | 708886.000 | 368.635 | | 1054 | 0 | 1044 | 0 | 10 | 0 | POST | /api/contestant/benchmark_jobs | 1.000 | 1664.000 | 127884.000 | 121.332 | 66.000 | 245.000 | 19.000 | 219.709 | 54.000 | 127.000 | 60678.000 | 57.569 | | 1038 | 0 | 1038 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 34.000 | 1591.000 | 123838.000 | 119.304 | 146.000 | 83.000 | 111.000 | 114.645 | 16.000 | 18.000 | 18573.000 | 17.893 | | 468 | 0 | 464 | 0 | 4 | 0 | GET | /api/contestant/clarifications | 1.000 | 3887.000 | 73470.000 | 156.987 | 16.000 | 13.000 | 338.000 | 368.291 | 358.000 | 7595.000 | 1616100.000 | 3453.205 | | 196 | 0 | 192 | 0 | 4 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 3433.000 | 51259.000 | 261.526 | 2.000 | 1942.000 | 138.000 | 429.905 | 61.000 | 487.000 | 83289.000 | 424.944 | | 1030 | 0 | 1026 | 0 | 4 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 2031.000 | 46929.000 | 45.562 | 3.000 | 1674.000 | 3.000 | 150.545 | 61.000 | 311.000 | 283998.000 | 275.726 | | 2947 | 0 | 1118 | 1829 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 225.000 | 42969.000 | 14.581 | 121.000 | 27.000 | 20.000 | 21.060 | 0.000 | 213600.000 | 238804800.000 | 81033.186 | | 2947 | 0 | 1118 | 1829 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 226.000 | 41119.000 | 13.953 | 113.000 | 26.000 | 18.000 | 20.003 | 0.000 | 492294.000 | 550384692.000 | 186761.008 | | 258 | 0 | 254 | 0 | 4 | 0 | GET | /api/admin/clarifications | 8.000 | 4224.000 | 36954.000 | 143.233 | 3.000 | 367.000 | 173.000 | 443.751 | 2973.000 | 43555.000 | 2577931.000 | 9991.981 | | 204 | 0 | 200 | 0 | 4 | 0 | POST | /api/contestant/clarifications | 1.000 | 2699.000 | 31854.000 | 156.147 | 5.000 | 3.000 | 10.000 | 308.378 | 61.000 | 419.000 | 76190.000 | 373.480 | | 2947 | 0 | 1118 | 1829 | 0 | 0 | GET | /favicon.ico | 1.000 | 146.000 | 30980.000 | 10.512 | 0.000 | 8.000 | 21.000 | 14.557 | 0.000 | 1150.000 | 1285700.000 | 436.274 | | 1166 | 0 | 1116 | 50 | 0 | 0 | GET | /packs/audience.js | 1.000 | 242.000 | 21224.000 | 18.202 | 10.000 | 117.000 | 3.000 | 28.293 | 28738.000 | 28738.000 | 32071608.000 | 27505.667 | | 1529 | 0 | 60 | 1469 | 0 | 0 | GET | /packs/contestant.js | 1.000 | 125.000 | 20515.000 | 13.417 | 22.000 | 1.000 | 38.000 | 15.755 | 0.000 | 23940.000 | 1436400.000 | 939.438 | | 44 | 0 | 22 | 0 | 22 | 0 | POST | /api/registration/team | 1.000 | 645.000 | 12560.000 | 285.455 | 1.000 | 645.000 | 181.000 | 217.899 | 2.000 | 91.000 | 1566.000 | 35.591 | | 1026 | 0 | 1026 | 0 | 0 | 0 | GET | / | 13.000 | 151.000 | 11689.000 | 11.393 | 1.000 | 36.000 | 0.000 | 14.748 | 389.000 | 389.000 | 399114.000 | 389.000 | | 1064 | 0 | 40 | 1024 | 0 | 0 | GET | /contestant | 13.000 | 129.000 | 11050.000 | 10.385 | 3.000 | 36.000 | 0.000 | 13.138 | 0.000 | 391.000 | 15640.000 | 14.699 | | 465 | 0 | 20 | 445 | 0 | 0 | GET | /contestant/clarifications | 7.000 | 159.000 | 5775.000 | 12.419 | 10.000 | 1.000 | 27.000 | 16.721 | 0.000 | 391.000 | 7820.000 | 16.817 | | 196 | 0 | 192 | 0 | 4 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 359.000 | 5711.000 | 29.138 | 2.000 | 21.000 | 85.000 | 48.962 | 61.000 | 419.000 | 73195.000 | 373.444 | | 22 | 0 | 22 | 0 | 0 | 0 | GET | /api/registration/session | 2.000 | 549.000 | 3841.000 | 174.591 | 2.000 | 69.000 | 79.000 | 155.385 | 459.000 | 505.000 | 10658.000 | 484.455 | | 94 | 0 | 92 | 0 | 2 | 0 | POST | /api/signup | 11.000 | 114.000 | 3576.000 | 38.043 | 5.000 | 16.000 | 100.000 | 30.250 | 0.000 | 77.000 | 154.000 | 1.638 | | 4 | 0 | 4 | 0 | 0 | 0 | POST | /initialize | 375.000 | 511.000 | 1659.000 | 414.750 | 382.000 | 391.000 | 375.000 | 55.859 | 28.000 | 28.000 | 112.000 | 28.000 | | 48 | 0 | 44 | 0 | 4 | 0 | POST | /api/registration/contestant | 1.000 | 91.000 | 1587.000 | 33.062 | 9.000 | 91.000 | 33.000 | 18.671 | 0.000 | 97.000 | 304.000 | 6.333 | | 252 | 0 | 2 | 250 | 0 | 0 | GET | /packs/admin.js | 2.000 | 107.000 | 1247.000 | 4.948 | 3.000 | 49.000 | 5.000 | 9.932 | 0.000 | 7907.000 | 15814.000 | 62.754 | | 92 | 0 | 90 | 2 | 0 | 0 | GET | /signup | 1.000 | 244.000 | 1145.000 | 12.446 | 4.000 | 98.000 | 243.000 | 37.371 | 389.000 | 389.000 | 35010.000 | 380.543 | | 252 | 0 | 2 | 250 | 0 | 0 | GET | /admin/clarifications | 1.000 | 64.000 | 1124.000 | 4.460 | 1.000 | 13.000 | 2.000 | 8.786 | 0.000 | 386.000 | 772.000 | 3.063 | | 48 | 0 | 48 | 0 | 0 | 0 | GET | /registration | 1.000 | 14.000 | 248.000 | 5.167 | 0.000 | 11.000 | 5.000 | 4.403 | 389.000 | 389.000 | 18672.000 | 389.000 | | 12 | 0 | 8 | 0 | 4 | 0 | POST | /api/login | 0.000 | 7.000 | 12.000 | 1.000 | 0.000 | 0.000 | 1.000 | 2.121 | 0.000 | 137.000 | 548.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+----------+----------+---------+-----------+------------+---------------+------------+ ```
polamjag commented 4 years ago

20

https://portal.isucon.net/contestant/benchmark_jobs/1690

Score: 9559

script/analyze おりたたみ ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+---------+---------+-----------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+---------+---------+-----------+------------+---------------+------------+ | 1610 | 0 | 1600 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 5.000 | 1517.000 | 520691.000 | 323.411 | 456.000 | 56.000 | 465.000 | 230.366 | 0.000 | 80.000 | 52559.000 | 32.645 | | 14793 | 0 | 14793 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 1444.000 | 442271.000 | 29.897 | 13.000 | 55.000 | 174.000 | 66.696 | 116.000 | 40884.000 | 405809476.000 | 27432.534 | | 4757 | 0 | 4755 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 1711.000 | 312041.000 | 65.596 | 4.000 | 44.000 | 73.000 | 166.304 | 2.000 | 74.000 | 60619.000 | 12.743 | | 1106 | 0 | 1104 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 4.000 | 1754.000 | 98343.000 | 88.918 | 92.000 | 17.000 | 486.000 | 185.175 | 61.000 | 40884.000 | 23568932.000 | 21310.065 | | 1096 | 0 | 1094 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 1701.000 | 77961.000 | 71.132 | 53.000 | 1.000 | 75.000 | 179.027 | 55.000 | 20516.000 | 9193670.000 | 8388.385 | | 598 | 0 | 598 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 31.000 | 1276.000 | 64732.000 | 108.247 | 53.000 | 142.000 | 94.000 | 104.164 | 16.000 | 18.000 | 10712.000 | 17.913 | | 604 | 0 | 599 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 1.000 | 1693.000 | 54186.000 | 89.712 | 6.000 | 15.000 | 46.000 | 209.268 | 53.000 | 127.000 | 34753.000 | 57.538 | | 1087 | 0 | 1087 | 0 | 0 | 0 | GET | /api/session | 1.000 | 1721.000 | 40067.000 | 36.860 | 1.000 | 50.000 | 75.000 | 99.273 | 34.000 | 483.000 | 399207.000 | 367.256 | | 1683 | 0 | 643 | 1040 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 156.000 | 27825.000 | 16.533 | 21.000 | 1.000 | 10.000 | 20.696 | 0.000 | 213600.000 | 137344800.000 | 81607.130 | | 1683 | 0 | 643 | 1040 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 156.000 | 26951.000 | 16.014 | 28.000 | 1.000 | 11.000 | 20.208 | 0.000 | 492294.000 | 316545042.000 | 188083.804 | | 263 | 0 | 261 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 4.000 | 736.000 | 22939.000 | 87.221 | 4.000 | 50.000 | 162.000 | 103.555 | 361.000 | 8644.000 | 1019439.000 | 3876.194 | | 1683 | 0 | 643 | 1040 | 0 | 0 | GET | /favicon.ico | 1.000 | 148.000 | 21137.000 | 12.559 | 4.000 | 0.000 | 9.000 | 15.799 | 0.000 | 1150.000 | 739450.000 | 439.364 | | 142 | 0 | 140 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 1415.000 | 19755.000 | 139.120 | 1.000 | 81.000 | 675.000 | 240.872 | 2970.000 | 48279.000 | 1865854.000 | 13139.817 | | 116 | 0 | 114 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 804.000 | 16977.000 | 146.353 | 1.000 | 651.000 | 177.000 | 145.721 | 61.000 | 497.000 | 48407.000 | 417.302 | | 599 | 0 | 597 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 5.000 | 475.000 | 16604.000 | 27.720 | 8.000 | 3.000 | 9.000 | 36.243 | 61.000 | 311.000 | 165212.000 | 275.813 | | 877 | 0 | 30 | 847 | 0 | 0 | GET | /packs/contestant.js | 1.000 | 147.000 | 14363.000 | 16.377 | 10.000 | 10.000 | 16.000 | 18.926 | 0.000 | 23940.000 | 718200.000 | 818.928 | | 667 | 0 | 642 | 25 | 0 | 0 | GET | /packs/audience.js | 1.000 | 156.000 | 12737.000 | 19.096 | 0.000 | 12.000 | 13.000 | 24.216 | 28738.000 | 28738.000 | 18449796.000 | 27660.864 | | 116 | 0 | 114 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 1.000 | 377.000 | 9509.000 | 81.974 | 1.000 | 28.000 | 158.000 | 87.547 | 61.000 | 441.000 | 42374.000 | 365.293 | | 597 | 0 | 597 | 0 | 0 | 0 | GET | / | 2.000 | 150.000 | 8092.000 | 13.554 | 9.000 | 3.000 | 20.000 | 18.458 | 389.000 | 389.000 | 232233.000 | 389.000 | | 613 | 0 | 20 | 593 | 0 | 0 | GET | /contestant | 4.000 | 149.000 | 7624.000 | 12.437 | 4.000 | 0.000 | 13.000 | 16.208 | 0.000 | 391.000 | 7820.000 | 12.757 | | 47 | 0 | 46 | 0 | 1 | 0 | POST | /api/signup | 47.000 | 300.000 | 6938.000 | 147.617 | 19.000 | 237.000 | 55.000 | 83.323 | 0.000 | 77.000 | 77.000 | 1.638 | | 22 | 0 | 11 | 0 | 11 | 0 | POST | /api/registration/team | 2.000 | 381.000 | 5797.000 | 263.500 | 2.000 | 306.000 | 381.000 | 115.692 | 2.000 | 91.000 | 783.000 | 35.591 | | 264 | 0 | 10 | 254 | 0 | 0 | GET | /contestant/clarifications | 1.000 | 212.000 | 4417.000 | 16.731 | 3.000 | 5.000 | 8.000 | 23.144 | 0.000 | 391.000 | 3910.000 | 14.811 | | 116 | 0 | 114 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 201.000 | 2828.000 | 24.379 | 0.000 | 14.000 | 12.000 | 33.828 | 61.000 | 441.000 | 42380.000 | 365.345 | | 11 | 0 | 11 | 0 | 0 | 0 | GET | /api/registration/session | 2.000 | 315.000 | 1671.000 | 151.909 | 2.000 | 232.000 | 25.000 | 94.053 | 440.000 | 514.000 | 5298.000 | 481.636 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 603.000 | 639.000 | 1242.000 | 621.000 | 639.000 | 639.000 | 639.000 | 18.000 | 28.000 | 28.000 | 56.000 | 28.000 | | 139 | 0 | 1 | 138 | 0 | 0 | GET | /packs/admin.js | 2.000 | 89.000 | 861.000 | 6.194 | 3.000 | 1.000 | 44.000 | 12.455 | 0.000 | 7907.000 | 7907.000 | 56.885 | | 24 | 0 | 22 | 0 | 2 | 0 | POST | /api/registration/contestant | 1.000 | 89.000 | 855.000 | 35.625 | 7.000 | 89.000 | 35.000 | 22.732 | 0.000 | 97.000 | 152.000 | 6.333 | | 139 | 0 | 1 | 138 | 0 | 0 | GET | /admin/clarifications | 36.000 | 88.000 | 776.000 | 5.583 | 2.000 | 0.000 | 5.000 | 13.447 | 0.000 | 386.000 | 386.000 | 2.777 | | 46 | 0 | 45 | 1 | 0 | 0 | GET | /signup | 1.000 | 22.000 | 391.000 | 8.500 | 5.000 | 3.000 | 22.000 | 8.982 | 389.000 | 389.000 | 17505.000 | 380.543 | | 24 | 0 | 24 | 0 | 0 | 0 | GET | /registration | 1.000 | 37.000 | 283.000 | 11.792 | 0.000 | 3.000 | 27.000 | 13.395 | 389.000 | 389.000 | 9336.000 | 389.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 0.000 | 139.000 | 141.000 | 23.500 | 0.000 | 0.000 | 2.000 | 51.658 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+---------+---------+-----------+------------+---------------+------------+ ```
tatsuru commented 4 years ago

初期実装 server-2 https://portal.isucon.net/contestant/benchmark_jobs/1586

tatsuru commented 4 years ago
analyze
``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+---------+---------+------------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+---------+---------+------------+------------+---------------+------------+ | 31146 | 0 | 30934 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2018.000 | 1862671.000 | 59.805 | 12.000 | 0.000 | 19.000 | 265.565 | 2699.000 | 47604.000 | 936236386.000 | 30059.603 | | 3286 | 0 | 3266 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 3.000 | 2754.000 | 1073804.000 | 326.781 | 454.000 | 455.000 | 9.000 | 293.087 | 0.000 | 80.000 | 117539.000 | 35.770 | | 9176 | 0 | 9172 | 0 | 4 | 0 | GET | /api/contestant/notifications | 1.000 | 3519.000 | 796955.000 | 86.852 | 2.000 | 114.000 | 58.000 | 285.852 | 2.000 | 74.000 | 130458.000 | 14.217 | | 2351 | 0 | 2328 | 0 | 4 | 0 | GET | /api/contestant/dashboard | 1.000 | 2000.000 | 217994.000 | 92.724 | 18.000 | 44.000 | 669.000 | 238.618 | 61.000 | 47604.000 | 56443932.000 | 24008.478 | | 2338 | 0 | 2324 | 0 | 4 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 3074.000 | 184917.000 | 79.092 | 10.000 | 50.000 | 517.000 | 252.385 | 55.000 | 21291.000 | 22101671.000 | 9453.238 | | 1373 | 0 | 1363 | 0 | 10 | 0 | POST | /api/contestant/benchmark_jobs | 1.000 | 2101.000 | 114483.000 | 83.382 | 21.000 | 27.000 | 295.000 | 197.144 | 54.000 | 127.000 | 78958.000 | 57.508 | | 1358 | 0 | 1358 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 15.000 | 2018.000 | 109736.000 | 80.807 | 49.000 | 35.000 | 43.000 | 118.805 | 16.000 | 18.000 | 24289.000 | 17.886 | | 2352 | 0 | 2352 | 0 | 0 | 0 | GET | /api/session | 1.000 | 3162.000 | 90466.000 | 38.463 | 5.000 | 6.000 | 9.000 | 173.188 | 34.000 | 479.000 | 875252.000 | 372.131 | | 498 | 0 | 494 | 0 | 4 | 0 | GET | /api/contestant/clarifications | 1.000 | 3444.000 | 41139.000 | 82.608 | 3.000 | 41.000 | 574.000 | 246.577 | 420.000 | 8430.000 | 1910052.000 | 3835.446 | | 329 | 0 | 325 | 0 | 4 | 0 | GET | /api/admin/clarifications | 1.000 | 3576.000 | 37858.000 | 115.070 | 1.000 | 136.000 | 226.000 | 300.093 | 3138.000 | 50125.000 | 4685033.000 | 14240.222 | | 226 | 0 | 222 | 0 | 4 | 0 | POST | /api/contestant/clarifications | 1.000 | 3348.000 | 29446.000 | 130.292 | 3.000 | 5.000 | 31.000 | 382.322 | 61.000 | 437.000 | 85786.000 | 379.584 | | 218 | 0 | 214 | 0 | 4 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 1264.000 | 24601.000 | 112.849 | 0.000 | 36.000 | 37.000 | 182.231 | 61.000 | 500.000 | 94187.000 | 432.050 | | 1348 | 0 | 1344 | 0 | 4 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 772.000 | 24489.000 | 18.167 | 2.000 | 9.000 | 9.000 | 49.345 | 61.000 | 311.000 | 371590.000 | 275.660 | | 3694 | 0 | 1446 | 2248 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 194.000 | 24401.000 | 6.606 | 164.000 | 7.000 | 6.000 | 13.609 | 0.000 | 213600.000 | 308865600.000 | 83612.777 | | 3694 | 0 | 1446 | 2248 | 0 | 0 | GET | /packs/vendor.js | 3.000 | 195.000 | 23729.000 | 6.424 | 152.000 | 7.000 | 8.000 | 13.041 | 492294.000 | 492294.000 | 711857124.000 | 192706.314 | | 1494 | 0 | 1444 | 50 | 0 | 0 | GET | /packs/audience.js | 2.000 | 195.000 | 14469.000 | 9.685 | 19.000 | 0.000 | 2.000 | 21.601 | 28738.000 | 28738.000 | 41497672.000 | 27776.220 | | 3694 | 0 | 1446 | 2248 | 0 | 0 | GET | /favicon.ico | 1.000 | 66.000 | 13654.000 | 3.696 | 2.000 | 3.000 | 1.000 | 6.277 | 0.000 | 1150.000 | 1662900.000 | 450.162 | | 1876 | 0 | 60 | 1816 | 0 | 0 | GET | /packs/contestant.js | 1.000 | 102.000 | 10034.000 | 5.349 | 11.000 | 0.000 | 11.000 | 7.820 | 0.000 | 23940.000 | 1436400.000 | 765.672 | | 54 | 0 | 22 | 0 | 32 | 0 | POST | /api/registration/team | 1.000 | 289.000 | 7561.000 | 140.019 | 1.000 | 140.000 | 289.000 | 80.831 | 2.000 | 91.000 | 2236.000 | 41.407 | | 1344 | 0 | 1344 | 0 | 0 | 0 | GET | / | 1.000 | 83.000 | 5446.000 | 4.052 | 9.000 | 0.000 | 2.000 | 5.924 | 389.000 | 389.000 | 522816.000 | 389.000 | | 1381 | 0 | 40 | 1341 | 0 | 0 | GET | /contestant | 1.000 | 52.000 | 5295.000 | 3.834 | 4.000 | 1.000 | 2.000 | 5.686 | 0.000 | 391.000 | 15640.000 | 11.325 | | 104 | 0 | 102 | 0 | 2 | 0 | POST | /api/signup | 3.000 | 200.000 | 5112.000 | 49.154 | 6.000 | 55.000 | 10.000 | 48.650 | 0.000 | 77.000 | 154.000 | 1.481 | | 22 | 0 | 22 | 0 | 0 | 0 | GET | /api/registration/session | 1.000 | 311.000 | 3114.000 | 141.545 | 3.000 | 197.000 | 37.000 | 86.944 | 450.000 | 510.000 | 10691.000 | 485.955 | | 218 | 0 | 214 | 0 | 4 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 41.000 | 2079.000 | 9.537 | 2.000 | 4.000 | 9.000 | 7.029 | 61.000 | 437.000 | 82662.000 | 379.183 | | 495 | 0 | 20 | 475 | 0 | 0 | GET | /contestant/clarifications | 1.000 | 50.000 | 2038.000 | 4.117 | 0.000 | 0.000 | 1.000 | 7.436 | 0.000 | 391.000 | 7820.000 | 15.798 | | 48 | 0 | 44 | 0 | 4 | 0 | POST | /api/registration/contestant | 1.000 | 103.000 | 1494.000 | 31.125 | 8.000 | 33.000 | 10.000 | 23.931 | 0.000 | 97.000 | 304.000 | 6.333 | | 4 | 0 | 4 | 0 | 0 | 0 | POST | /initialize | 223.000 | 366.000 | 1180.000 | 295.000 | 366.000 | 359.000 | 232.000 | 67.620 | 28.000 | 28.000 | 112.000 | 28.000 | | 324 | 0 | 2 | 322 | 0 | 0 | GET | /admin/clarifications | 5.000 | 34.000 | 636.000 | 1.963 | 0.000 | 0.000 | 3.000 | 4.531 | 0.000 | 386.000 | 772.000 | 2.383 | | 324 | 0 | 2 | 322 | 0 | 0 | GET | /packs/admin.js | 6.000 | 36.000 | 597.000 | 1.843 | 0.000 | 6.000 | 8.000 | 4.302 | 0.000 | 7907.000 | 15814.000 | 48.809 | | 102 | 0 | 100 | 2 | 0 | 0 | GET | /signup | 1.000 | 9.000 | 363.000 | 3.559 | 4.000 | 0.000 | 8.000 | 2.767 | 389.000 | 389.000 | 38900.000 | 381.373 | | 48 | 0 | 48 | 0 | 0 | 0 | GET | /registration | 2.000 | 9.000 | 115.000 | 2.396 | 0.000 | 1.000 | 7.000 | 2.430 | 389.000 | 389.000 | 18672.000 | 389.000 | | 12 | 0 | 7 | 0 | 4 | 0 | POST | /api/login | 0.000 | 2.000 | 4.000 | 0.333 | 0.000 | 2.000 | 0.000 | 0.745 | 0.000 | 137.000 | 548.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+---------+---------+------------+------------+---------------+------------+ ```
polamjag commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/1821

c6c3a220343edb8a60ee2c06bfcf886217ca73fa

Score: 10630

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ | 7596 | 0 | 7594 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 2956.000 | 1177729.000 | 155.046 | 22.000 | 68.000 | 183.000 | 286.823 | 2.000 | 74.000 | 62659.000 | 8.249 | | 12119 | 0 | 12098 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2013.000 | 986710.000 | 81.418 | 2.000 | 32.000 | 113.000 | 234.671 | 29784.000 | 40884.000 | 299686590.000 | 24728.657 | | 1469 | 0 | 1456 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 6.000 | 6281.000 | 841015.000 | 572.509 | 689.000 | 521.000 | 492.000 | 405.013 | 0.000 | 80.000 | 41104.000 | 27.981 | | 454 | 0 | 453 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 45.000 | 3309.000 | 337335.000 | 743.029 | 279.000 | 599.000 | 778.000 | 512.917 | 8.000 | 18.000 | 8055.000 | 17.742 | | 1439 | 0 | 1430 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 1.000 | 2033.000 | 295982.000 | 205.686 | 141.000 | 240.000 | 29.000 | 311.438 | 29840.000 | 33820.000 | 29855856.000 | 20747.641 | | 1419 | 0 | 1417 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 2180.000 | 232815.000 | 164.070 | 78.000 | 16.000 | 57.000 | 266.942 | 57.000 | 7960.000 | 4988928.000 | 3515.805 | | 437 | 0 | 435 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 1.000 | 2767.000 | 141900.000 | 324.714 | 15.000 | 38.000 | 1287.000 | 503.155 | 322.000 | 7691.000 | 1620792.000 | 3708.906 | | 1121 | 0 | 1121 | 0 | 0 | 0 | GET | /api/session | 1.000 | 2271.000 | 138059.000 | 123.157 | 2.000 | 284.000 | 648.000 | 245.623 | 34.000 | 473.000 | 420164.000 | 374.812 | | 460 | 0 | 455 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 1.000 | 1014.000 | 53533.000 | 116.376 | 1.000 | 21.000 | 177.000 | 164.217 | 53.000 | 127.000 | 26531.000 | 57.676 | | 168 | 0 | 166 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 1.000 | 2318.000 | 45612.000 | 271.500 | 1.000 | 564.000 | 35.000 | 352.525 | 61.000 | 431.000 | 63267.000 | 376.589 | | 1563 | 0 | 521 | 1042 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 268.000 | 36714.000 | 23.489 | 11.000 | 20.000 | 13.000 | 31.293 | 213600.000 | 213600.000 | 111285600.000 | 71200.000 | | 168 | 0 | 166 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 3213.000 | 35612.000 | 211.976 | 2.000 | 74.000 | 63.000 | 374.498 | 61.000 | 484.000 | 72099.000 | 429.161 | | 1563 | 0 | 521 | 1042 | 0 | 0 | GET | /packs/vendor.js | 2.000 | 267.000 | 34728.000 | 22.219 | 7.000 | 23.000 | 13.000 | 29.896 | 492294.000 | 492294.000 | 256485174.000 | 164098.000 | | 445 | 0 | 443 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 1068.000 | 33433.000 | 75.130 | 17.000 | 51.000 | 131.000 | 124.225 | 61.000 | 310.000 | 122261.000 | 274.744 | | 1563 | 0 | 521 | 1042 | 0 | 0 | GET | /favicon.ico | 0.000 | 124.000 | 25156.000 | 16.095 | 8.000 | 0.000 | 30.000 | 18.387 | 1150.000 | 1150.000 | 599150.000 | 383.333 | | 92 | 0 | 90 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 4379.000 | 23377.000 | 254.098 | 1.000 | 2.000 | 155.000 | 633.207 | 5684.000 | 71971.000 | 1055776.000 | 11475.826 | | 909 | 0 | 60 | 849 | 0 | 0 | GET | /packs/contestant.js | 3.000 | 256.000 | 17912.000 | 19.705 | 26.000 | 27.000 | 54.000 | 23.635 | 0.000 | 23940.000 | 1436400.000 | 1580.198 | | 565 | 0 | 520 | 45 | 0 | 0 | GET | /packs/audience.js | 0.000 | 268.000 | 17265.000 | 30.558 | 0.000 | 9.000 | 27.000 | 38.665 | 28738.000 | 28738.000 | 14943760.000 | 26449.133 | | 443 | 0 | 443 | 0 | 0 | 0 | GET | / | 0.000 | 216.000 | 8714.000 | 19.670 | 6.000 | 27.000 | 14.000 | 22.369 | 389.000 | 389.000 | 172327.000 | 389.000 | | 435 | 0 | 20 | 415 | 0 | 0 | GET | /contestant/clarifications | 4.000 | 269.000 | 8332.000 | 19.154 | 7.000 | 2.000 | 29.000 | 26.265 | 0.000 | 391.000 | 7820.000 | 17.977 | | 474 | 0 | 40 | 434 | 0 | 0 | GET | /contestant | 4.000 | 89.000 | 7492.000 | 15.806 | 3.000 | 17.000 | 35.000 | 17.435 | 0.000 | 391.000 | 15640.000 | 32.996 | | 168 | 0 | 166 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 559.000 | 6071.000 | 36.137 | 1.000 | 23.000 | 23.000 | 50.337 | 61.000 | 431.000 | 63273.000 | 376.625 | | 34 | 0 | 21 | 0 | 13 | 0 | POST | /api/registration/team | 1.000 | 350.000 | 4264.000 | 125.412 | 1.000 | 161.000 | 28.000 | 112.907 | 2.000 | 91.000 | 937.000 | 27.559 | | 79 | 0 | 78 | 0 | 1 | 0 | POST | /api/signup | 4.000 | 295.000 | 3877.000 | 49.076 | 4.000 | 12.000 | 20.000 | 74.834 | 0.000 | 77.000 | 77.000 | 0.975 | | 21 | 0 | 21 | 0 | 0 | 0 | GET | /api/registration/session | 2.000 | 425.000 | 3446.000 | 164.095 | 2.000 | 155.000 | 60.000 | 122.074 | 425.000 | 505.000 | 10209.000 | 486.143 | | 44 | 0 | 42 | 0 | 2 | 0 | POST | /api/registration/contestant | 1.000 | 103.000 | 1340.000 | 30.455 | 5.000 | 25.000 | 15.000 | 17.634 | 0.000 | 97.000 | 152.000 | 3.455 | | 78 | 0 | 77 | 1 | 0 | 0 | GET | /signup | 1.000 | 105.000 | 1302.000 | 16.692 | 3.000 | 9.000 | 34.000 | 17.470 | 389.000 | 389.000 | 29953.000 | 384.013 | | 44 | 0 | 44 | 0 | 0 | 0 | GET | /registration | 1.000 | 109.000 | 809.000 | 18.386 | 0.000 | 17.000 | 29.000 | 16.702 | 389.000 | 389.000 | 17116.000 | 389.000 | | 89 | 0 | 1 | 88 | 0 | 0 | GET | /packs/admin.js | 2.000 | 59.000 | 651.000 | 7.315 | 1.000 | 2.000 | 8.000 | 13.345 | 0.000 | 7907.000 | 7907.000 | 88.843 | | 89 | 0 | 1 | 88 | 0 | 0 | GET | /admin/clarifications | 5.000 | 58.000 | 592.000 | 6.652 | 0.000 | 0.000 | 0.000 | 13.016 | 0.000 | 386.000 | 386.000 | 4.337 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 231.000 | 335.000 | 566.000 | 283.000 | 335.000 | 335.000 | 335.000 | 52.000 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 0.000 | 4.000 | 4.000 | 0.667 | 0.000 | 0.000 | 4.000 | 1.491 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ ```
polamjag commented 4 years ago

16 https://portal.isucon.net/contestant/benchmark_jobs/1894

Score: 6430

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+---------+---------+----------+----------+----------+------------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+---------+---------+----------+----------+----------+------------+------------+---------------+------------+ | 19469 | 0 | 19464 | 0 | 0 | 0 | GET | /api/audience/dashboard | 2.000 | 2034.000 | 2958532.000 | 151.961 | 27.000 | 23.000 | 145.000 | 210.393 | 2.000 | 33820.000 | 385399545.000 | 19795.549 | | 2988 | 0 | 2968 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 3.000 | 1562.000 | 1140590.000 | 381.724 | 455.000 | 456.000 | 454.000 | 194.515 | 0.000 | 80.000 | 67421.000 | 22.564 | | 8007 | 0 | 8003 | 0 | 4 | 0 | GET | /api/contestant/notifications | 1.000 | 2312.000 | 1107771.000 | 138.350 | 4.000 | 9.000 | 755.000 | 233.940 | 2.000 | 74.000 | 74993.000 | 9.366 | | 1721 | 0 | 1715 | 0 | 4 | 0 | GET | /api/contestant/dashboard | 2.000 | 2000.000 | 305118.000 | 177.291 | 53.000 | 127.000 | 91.000 | 240.123 | 61.000 | 26068.000 | 26570189.000 | 15438.808 | | 1701 | 0 | 1697 | 0 | 4 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 1960.000 | 243510.000 | 143.157 | 44.000 | 120.000 | 113.000 | 214.872 | 55.000 | 16491.000 | 9829624.000 | 5778.733 | | 1405 | 0 | 1405 | 0 | 0 | 0 | GET | /api/session | 1.000 | 1675.000 | 140540.000 | 100.028 | 2.000 | 2.000 | 891.000 | 186.161 | 34.000 | 476.000 | 493277.000 | 351.087 | | 339 | 0 | 335 | 0 | 4 | 0 | GET | /api/contestant/clarifications | 2.000 | 4106.000 | 120161.000 | 354.457 | 50.000 | 3043.000 | 1173.000 | 572.604 | 406.000 | 5370.000 | 882228.000 | 2602.442 | | 721 | 0 | 711 | 0 | 10 | 0 | POST | /api/contestant/benchmark_jobs | 1.000 | 975.000 | 88933.000 | 123.347 | 41.000 | 83.000 | 206.000 | 165.860 | 54.000 | 127.000 | 41536.000 | 57.609 | | 204 | 0 | 199 | 0 | 4 | 0 | GET | /api/admin/clarifications | 6.000 | 10000.000 | 58392.000 | 286.235 | 2.000 | 89.000 | 4791.000 | 1089.786 | 33223.000 | 34702.000 | 1105476.000 | 5419.000 | | 710 | 0 | 706 | 0 | 4 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 1154.000 | 58119.000 | 81.858 | 13.000 | 7.000 | 278.000 | 137.474 | 61.000 | 311.000 | 195563.000 | 275.441 | | 707 | 0 | 707 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 16.000 | 619.000 | 42826.000 | 60.574 | 38.000 | 115.000 | 27.000 | 38.568 | 16.000 | 18.000 | 12640.000 | 17.878 | | 152 | 0 | 148 | 0 | 4 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 23.000 | 2531.000 | 34526.000 | 227.145 | 1.000 | 0.000 | 26.000 | 333.082 | 61.000 | 512.000 | 65479.000 | 430.783 | | 2109 | 0 | 798 | 1311 | 0 | 0 | GET | /packs/vendor.css | 3.000 | 143.000 | 30649.000 | 14.532 | 70.000 | 76.000 | 3.000 | 16.318 | 213600.000 | 213600.000 | 170452800.000 | 80821.622 | | 2109 | 0 | 798 | 1311 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 142.000 | 29996.000 | 14.223 | 60.000 | 101.000 | 20.000 | 16.206 | 492294.000 | 492294.000 | 392850612.000 | 186273.405 | | 160 | 0 | 156 | 0 | 4 | 0 | POST | /api/contestant/clarifications | 6.000 | 1437.000 | 25305.000 | 158.156 | 2.000 | 544.000 | 437.000 | 197.050 | 61.000 | 434.000 | 60905.000 | 380.656 | | 2109 | 0 | 798 | 1311 | 0 | 0 | GET | /favicon.ico | 1.000 | 93.000 | 23531.000 | 11.157 | 9.000 | 7.000 | 14.000 | 12.198 | 1150.000 | 1150.000 | 917700.000 | 435.135 | | 1065 | 0 | 60 | 1005 | 0 | 0 | GET | /packs/contestant.js | 3.000 | 117.000 | 15206.000 | 14.278 | 9.000 | 18.000 | 21.000 | 13.735 | 0.000 | 23940.000 | 1436400.000 | 1348.732 | | 846 | 0 | 796 | 50 | 0 | 0 | GET | /packs/audience.js | 8.000 | 153.000 | 14941.000 | 17.661 | 0.000 | 15.000 | 19.000 | 20.615 | 28738.000 | 28738.000 | 22875448.000 | 27039.537 | | 706 | 0 | 706 | 0 | 0 | 0 | GET | / | 1.000 | 73.000 | 8986.000 | 12.728 | 12.000 | 0.000 | 17.000 | 13.147 | 389.000 | 389.000 | 274634.000 | 389.000 | | 730 | 0 | 40 | 690 | 0 | 0 | GET | /contestant | 1.000 | 68.000 | 8815.000 | 12.075 | 5.000 | 4.000 | 18.000 | 13.001 | 0.000 | 391.000 | 15640.000 | 21.425 | | 152 | 0 | 148 | 0 | 4 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 775.000 | 8584.000 | 56.474 | 1.000 | 2.000 | 6.000 | 115.515 | 61.000 | 434.000 | 57793.000 | 380.217 | | 94 | 0 | 92 | 0 | 2 | 0 | POST | /api/signup | 13.000 | 206.000 | 6598.000 | 70.191 | 4.000 | 10.000 | 22.000 | 70.694 | 0.000 | 77.000 | 154.000 | 1.638 | | 44 | 0 | 22 | 0 | 22 | 0 | POST | /api/registration/team | 1.000 | 263.000 | 5525.000 | 125.568 | 1.000 | 168.000 | 163.000 | 66.154 | 2.000 | 91.000 | 1566.000 | 35.591 | | 335 | 0 | 20 | 315 | 0 | 0 | GET | /contestant/clarifications | 6.000 | 95.000 | 4710.000 | 14.060 | 2.000 | 4.000 | 8.000 | 16.412 | 0.000 | 391.000 | 7820.000 | 23.343 | | 22 | 0 | 22 | 0 | 0 | 0 | GET | /api/registration/session | 1.000 | 311.000 | 2671.000 | 121.409 | 2.000 | 56.000 | 139.000 | 84.693 | 428.000 | 507.000 | 10622.000 | 482.818 | | 48 | 0 | 44 | 0 | 4 | 0 | POST | /api/registration/contestant | 1.000 | 86.000 | 1349.000 | 28.104 | 6.000 | 47.000 | 16.000 | 16.962 | 0.000 | 97.000 | 304.000 | 6.333 | | 4 | 0 | 4 | 0 | 0 | 0 | POST | /initialize | 215.000 | 500.000 | 1207.000 | 301.750 | 272.000 | 220.000 | 500.000 | 116.616 | 28.000 | 28.000 | 112.000 | 28.000 | | 198 | 0 | 2 | 196 | 0 | 0 | GET | /packs/admin.js | 12.000 | 53.000 | 750.000 | 3.788 | 1.000 | 4.000 | 12.000 | 7.525 | 0.000 | 7907.000 | 15814.000 | 79.869 | | 198 | 0 | 2 | 196 | 0 | 0 | GET | /admin/clarifications | 4.000 | 67.000 | 733.000 | 3.702 | 0.000 | 8.000 | 8.000 | 7.765 | 0.000 | 386.000 | 772.000 | 3.899 | | 92 | 0 | 90 | 2 | 0 | 0 | GET | /signup | 1.000 | 67.000 | 647.000 | 7.033 | 4.000 | 67.000 | 34.000 | 11.069 | 389.000 | 389.000 | 35010.000 | 380.543 | | 48 | 0 | 48 | 0 | 0 | 0 | GET | /registration | 1.000 | 69.000 | 307.000 | 6.396 | 0.000 | 3.000 | 4.000 | 10.002 | 389.000 | 389.000 | 18672.000 | 389.000 | | 12 | 0 | 8 | 0 | 4 | 0 | POST | /api/login | 0.000 | 3.000 | 5.000 | 0.417 | 0.000 | 0.000 | 1.000 | 0.862 | 0.000 | 137.000 | 548.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+---------+---------+----------+----------+----------+------------+------------+---------------+------------+ ```
polamjag commented 4 years ago

61f5312e8f4023af7da8e3fec8ff22533dd6ceb6 https://portal.isucon.net/contestant/benchmark_jobs/1917

Score: 12118

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ | 15108 | 0 | 15025 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2024.000 | 1451403.000 | 96.069 | 8.000 | 0.000 | 29.000 | 287.263 | 38668.000 | 42080.000 | 481838669.000 | 31892.949 | | 7594 | 0 | 7592 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 3357.000 | 1181632.000 | 155.601 | 51.000 | 13.000 | 1484.000 | 373.692 | 2.000 | 74.000 | 71383.000 | 9.400 | | 1630 | 0 | 1613 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 5.000 | 4303.000 | 813970.000 | 499.368 | 526.000 | 490.000 | 491.000 | 402.041 | 0.000 | 80.000 | 50830.000 | 31.184 | | 574 | 0 | 574 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 59.000 | 3079.000 | 362742.000 | 631.955 | 406.000 | 199.000 | 1450.000 | 526.765 | 9.000 | 18.000 | 10245.000 | 17.848 | | 1529 | 0 | 1509 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 1.000 | 2004.000 | 350871.000 | 229.477 | 187.000 | 89.000 | 23.000 | 400.163 | 38720.000 | 42080.000 | 39574418.000 | 25882.549 | | 1509 | 0 | 1507 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 2794.000 | 294897.000 | 195.425 | 157.000 | 29.000 | 1545.000 | 386.283 | 57.000 | 10116.000 | 6981993.000 | 4626.901 | | 1247 | 0 | 1247 | 0 | 0 | 0 | GET | /api/session | 2.000 | 2666.000 | 154042.000 | 123.530 | 1.000 | 25.000 | 47.000 | 308.829 | 34.000 | 471.000 | 467030.000 | 374.523 | | 421 | 0 | 419 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 1.000 | 2842.000 | 144056.000 | 342.176 | 25.000 | 946.000 | 888.000 | 577.889 | 323.000 | 7769.000 | 1483851.000 | 3524.587 | | 153 | 0 | 151 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 4623.000 | 62308.000 | 407.242 | 1.000 | 83.000 | 28.000 | 808.701 | 61.000 | 483.000 | 65395.000 | 427.418 | | 580 | 0 | 575 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 1.000 | 1163.000 | 52091.000 | 89.812 | 2.000 | 23.000 | 86.000 | 168.314 | 53.000 | 127.000 | 33373.000 | 57.540 | | 1811 | 0 | 654 | 1157 | 0 | 0 | GET | /packs/vendor.css | 5.000 | 275.000 | 40567.000 | 22.400 | 86.000 | 12.000 | 47.000 | 30.436 | 213600.000 | 213600.000 | 139694400.000 | 77136.610 | | 1811 | 0 | 654 | 1157 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 274.000 | 40332.000 | 22.271 | 68.000 | 13.000 | 29.000 | 30.659 | 492294.000 | 492294.000 | 321960276.000 | 177780.384 | | 160 | 0 | 158 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 1.000 | 1970.000 | 36401.000 | 227.506 | 1.000 | 461.000 | 12.000 | 334.717 | 61.000 | 427.000 | 59901.000 | 374.381 | | 567 | 0 | 565 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 16.000 | 875.000 | 35344.000 | 62.335 | 3.000 | 32.000 | 118.000 | 108.870 | 61.000 | 311.000 | 156187.000 | 275.462 | | 1811 | 0 | 654 | 1157 | 0 | 0 | GET | /favicon.ico | 3.000 | 149.000 | 28659.000 | 15.825 | 6.000 | 18.000 | 25.000 | 18.088 | 1150.000 | 1150.000 | 752100.000 | 415.295 | | 100 | 0 | 98 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 5806.000 | 24287.000 | 242.870 | 1.000 | 1.000 | 3028.000 | 873.345 | 5686.000 | 67885.000 | 1086203.000 | 10862.030 | | 698 | 0 | 653 | 45 | 0 | 0 | GET | /packs/audience.js | 2.000 | 275.000 | 21069.000 | 30.185 | 0.000 | 1.000 | 10.000 | 43.634 | 28738.000 | 28738.000 | 18765914.000 | 26885.264 | | 1016 | 0 | 60 | 956 | 0 | 0 | GET | /packs/contestant.js | 34.000 | 220.000 | 19121.000 | 18.820 | 27.000 | 9.000 | 32.000 | 21.086 | 0.000 | 23940.000 | 1436400.000 | 1413.780 | | 596 | 0 | 40 | 556 | 0 | 0 | GET | /contestant | 13.000 | 144.000 | 10431.000 | 17.502 | 12.000 | 27.000 | 13.000 | 19.275 | 0.000 | 391.000 | 15640.000 | 26.242 | | 565 | 0 | 565 | 0 | 0 | 0 | GET | / | 3.000 | 143.000 | 9924.000 | 17.565 | 12.000 | 13.000 | 23.000 | 19.703 | 389.000 | 389.000 | 219785.000 | 389.000 | | 420 | 0 | 20 | 400 | 0 | 0 | GET | /contestant/clarifications | 26.000 | 181.000 | 7673.000 | 18.269 | 4.000 | 42.000 | 0.000 | 24.457 | 0.000 | 391.000 | 7820.000 | 18.619 | | 45 | 0 | 21 | 0 | 24 | 0 | POST | /api/registration/team | 1.000 | 676.000 | 6831.000 | 151.800 | 1.000 | 676.000 | 23.000 | 181.548 | 2.000 | 91.000 | 1674.000 | 37.200 | | 21 | 0 | 21 | 0 | 0 | 0 | GET | /api/registration/session | 2.000 | 563.000 | 6351.000 | 302.429 | 2.000 | 172.000 | 283.000 | 152.509 | 437.000 | 502.000 | 10159.000 | 483.762 | | 153 | 0 | 151 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 256.000 | 5914.000 | 38.654 | 1.000 | 29.000 | 5.000 | 34.300 | 61.000 | 427.000 | 57289.000 | 374.438 | | 90 | 0 | 89 | 0 | 1 | 0 | POST | /api/signup | 9.000 | 282.000 | 4254.000 | 47.267 | 4.000 | 29.000 | 17.000 | 61.559 | 0.000 | 77.000 | 77.000 | 0.856 | | 44 | 0 | 42 | 0 | 2 | 0 | POST | /api/registration/contestant | 1.000 | 127.000 | 1845.000 | 41.932 | 6.000 | 42.000 | 30.000 | 24.769 | 0.000 | 97.000 | 152.000 | 3.455 | | 89 | 0 | 88 | 1 | 0 | 0 | GET | /signup | 2.000 | 41.000 | 1734.000 | 19.483 | 4.000 | 2.000 | 41.000 | 16.589 | 389.000 | 389.000 | 34232.000 | 384.629 | | 97 | 0 | 1 | 96 | 0 | 0 | GET | /admin/clarifications | 24.000 | 53.000 | 810.000 | 8.351 | 0.000 | 3.000 | 0.000 | 12.612 | 0.000 | 386.000 | 386.000 | 3.979 | | 44 | 0 | 44 | 0 | 0 | 0 | GET | /registration | 2.000 | 41.000 | 802.000 | 18.227 | 0.000 | 17.000 | 41.000 | 12.597 | 389.000 | 389.000 | 17116.000 | 389.000 | | 97 | 0 | 1 | 96 | 0 | 0 | GET | /packs/admin.js | 1.000 | 86.000 | 686.000 | 7.072 | 2.000 | 10.000 | 1.000 | 12.125 | 0.000 | 7907.000 | 7907.000 | 81.515 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 212.000 | 310.000 | 522.000 | 261.000 | 310.000 | 310.000 | 310.000 | 49.000 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 1.000 | 5.000 | 6.000 | 1.000 | 0.000 | 0.000 | 5.000 | 1.826 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ ```
tatsuru commented 4 years ago

server3 https://portal.isucon.net/contestant/benchmark_jobs/2183

analyze
``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+----------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+----------------+------------+ | 2025 | 0 | 2008 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 6.000 | 4129.000 | 794583.000 | 392.387 | 815.000 | 474.000 | 458.000 | 366.588 | 0.000 | 80.000 | 79246.000 | 39.134 | | 10111 | 0 | 10109 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 851.000 | 466971.000 | 46.184 | 4.000 | 5.000 | 14.000 | 80.563 | 2.000 | 75.000 | 109704.000 | 10.850 | | 927 | 0 | 927 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 45.000 | 1933.000 | 394364.000 | 425.420 | 125.000 | 77.000 | 1133.000 | 332.986 | 9.000 | 18.000 | 16541.000 | 17.844 | | 26034 | 0 | 26034 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 665.000 | 295872.000 | 11.365 | 0.000 | 0.000 | 10.000 | 33.940 | 5193.000 | 64750.000 | 1206807090.000 | 46355.039 | | 1949 | 0 | 1947 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 1.000 | 970.000 | 152905.000 | 78.453 | 92.000 | 44.000 | 16.000 | 72.698 | 61.000 | 64750.000 | 71389814.000 | 36628.945 | | 531 | 0 | 529 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 3.000 | 1222.000 | 104000.000 | 195.857 | 17.000 | 29.000 | 192.000 | 236.469 | 422.000 | 9766.000 | 2465173.000 | 4642.510 | | 1929 | 0 | 1927 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 2.000 | 656.000 | 79189.000 | 41.052 | 57.000 | 162.000 | 11.000 | 64.203 | 55.000 | 16863.000 | 13384983.000 | 6938.820 | | 1717 | 0 | 1717 | 0 | 0 | 0 | GET | /api/session | 1.000 | 815.000 | 62642.000 | 36.483 | 2.000 | 1.000 | 23.000 | 69.329 | 34.000 | 474.000 | 674305.000 | 392.723 | | 212 | 0 | 210 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 1323.000 | 29777.000 | 140.458 | 1.000 | 205.000 | 46.000 | 198.600 | 61.000 | 504.000 | 91938.000 | 433.670 | | 120 | 0 | 118 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 2250.000 | 26935.000 | 224.458 | 0.000 | 8.000 | 2250.000 | 439.104 | 4628.000 | 91810.000 | 1946724.000 | 16222.700 | | 933 | 0 | 928 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 2.000 | 765.000 | 25385.000 | 27.208 | 28.000 | 31.000 | 13.000 | 38.955 | 54.000 | 127.000 | 53779.000 | 57.641 | | 924 | 0 | 922 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 757.000 | 25097.000 | 27.161 | 9.000 | 19.000 | 52.000 | 53.175 | 61.000 | 311.000 | 254650.000 | 275.595 | | 2638 | 0 | 1001 | 1637 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 118.000 | 11789.000 | 4.469 | 75.000 | 3.000 | 0.000 | 11.174 | 492294.000 | 492294.000 | 492786294.000 | 186802.992 | | 2638 | 0 | 1001 | 1637 | 0 | 0 | GET | /packs/vendor.css | 0.000 | 132.000 | 11778.000 | 4.465 | 88.000 | 4.000 | 0.000 | 11.372 | 213600.000 | 213600.000 | 213813600.000 | 81051.403 | | 212 | 0 | 210 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 1.000 | 469.000 | 9701.000 | 45.759 | 3.000 | 12.000 | 72.000 | 54.292 | 61.000 | 426.000 | 80823.000 | 381.241 | | 212 | 0 | 210 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 322.000 | 8142.000 | 38.406 | 1.000 | 87.000 | 24.000 | 38.545 | 61.000 | 426.000 | 80829.000 | 381.269 | | 1045 | 0 | 1000 | 45 | 0 | 0 | GET | /packs/audience.js | 0.000 | 133.000 | 6966.000 | 6.666 | 0.000 | 5.000 | 0.000 | 18.333 | 28738.000 | 28738.000 | 28738000.000 | 27500.478 | | 2638 | 0 | 1001 | 1637 | 0 | 0 | GET | /favicon.ico | 4.000 | 745.000 | 6738.000 | 2.554 | 4.000 | 2.000 | 0.000 | 15.607 | 1150.000 | 1150.000 | 1151150.000 | 436.372 | | 529 | 0 | 20 | 509 | 0 | 0 | GET | /contestant/clarifications | 1.000 | 505.000 | 6735.000 | 12.732 | 3.000 | 0.000 | 0.000 | 59.492 | 0.000 | 391.000 | 7820.000 | 14.783 | | 1476 | 0 | 60 | 1416 | 0 | 0 | GET | /packs/contestant.js | 3.000 | 69.000 | 4980.000 | 3.374 | 14.000 | 0.000 | 4.000 | 6.908 | 0.000 | 23940.000 | 1436400.000 | 973.171 | | 80 | 0 | 79 | 0 | 1 | 0 | POST | /api/signup | 4.000 | 158.000 | 2928.000 | 36.600 | 4.000 | 130.000 | 54.000 | 32.469 | 0.000 | 77.000 | 77.000 | 0.963 | | 922 | 0 | 922 | 0 | 0 | 0 | GET | / | 2.000 | 746.000 | 2778.000 | 3.013 | 2.000 | 0.000 | 1.000 | 25.126 | 389.000 | 389.000 | 358658.000 | 389.000 | | 35 | 0 | 21 | 0 | 14 | 0 | POST | /api/registration/team | 2.000 | 219.000 | 2710.000 | 77.429 | 2.000 | 92.000 | 76.000 | 48.615 | 2.000 | 91.000 | 1004.000 | 28.686 | | 947 | 0 | 40 | 907 | 0 | 0 | GET | /contestant | 0.000 | 745.000 | 2668.000 | 2.817 | 2.000 | 1.000 | 12.000 | 24.681 | 0.000 | 391.000 | 15640.000 | 16.515 | | 44 | 0 | 42 | 0 | 2 | 0 | POST | /api/registration/contestant | 3.000 | 137.000 | 1883.000 | 42.795 | 6.000 | 22.000 | 23.000 | 34.016 | 0.000 | 97.000 | 152.000 | 3.455 | | 21 | 0 | 21 | 0 | 0 | 0 | GET | /api/registration/session | 5.000 | 181.000 | 1854.000 | 88.286 | 5.000 | 113.000 | 169.000 | 56.885 | 449.000 | 502.000 | 10116.000 | 481.714 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 222.000 | 231.000 | 453.000 | 226.500 | 222.000 | 222.000 | 222.000 | 4.500 | 28.000 | 28.000 | 56.000 | 28.000 | | 79 | 0 | 78 | 1 | 0 | 0 | GET | /signup | 2.000 | 9.000 | 312.000 | 3.949 | 5.000 | 0.000 | 8.000 | 2.560 | 389.000 | 389.000 | 30342.000 | 384.076 | | 44 | 0 | 44 | 0 | 0 | 0 | GET | /registration | 0.000 | 24.000 | 215.000 | 4.886 | 0.000 | 3.000 | 0.000 | 5.741 | 389.000 | 389.000 | 17116.000 | 389.000 | | 117 | 0 | 1 | 116 | 0 | 0 | GET | /admin/clarifications | 0.000 | 35.000 | 113.000 | 0.966 | 0.000 | 4.000 | 0.000 | 3.814 | 0.000 | 386.000 | 386.000 | 3.299 | | 117 | 0 | 1 | 116 | 0 | 0 | GET | /packs/admin.js | 1.000 | 32.000 | 101.000 | 0.863 | 0.000 | 4.000 | 0.000 | 3.194 | 0.000 | 7907.000 | 7907.000 | 67.581 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 0.000 | 4.000 | 10.000 | 1.667 | 3.000 | 1.000 | 4.000 | 1.374 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+----------------+------------+ ```
tatsuru commented 4 years ago

CPUちょっと遊んでる気がするんだよなぁ

server3 (app)

     time     |usr sys idl wai stl| read  writ| recv  send|  in   out | int   csw | used  free  buff  cach| recv  send
03-10 07:34:10| 50  12  38   0   1|   0     0 |6830k   48M|   0     0 |  34k   40k| 533M 52.4M 10.3M  354M|6830k   48M
03-10 07:34:11| 51  15  34   0   1|   0     0 |7939k   61M|   0     0 |  37k   44k| 534M 50.3M 10.3M  356M|7938k   61M
03-10 07:34:12| 53  12  35   0   1|  12k   48k|7008k   61M|   0     0 |  32k   35k| 534M 48.6M 10.3M  357M|7009k   61M
03-10 07:34:13| 49  10  40   0   1|   0     0 |6753k   52M|   0     0 |  30k   33k| 535M 46.2M 10.3M  359M|6755k   52M
03-10 07:34:14| 54  16  29   0   1|   0     0 |7393k   59M|   0     0 |  35k   40k| 535M 43.5M 10.3M  361M|7391k   59M
03-10 07:34:15| 57  13  30   0   1|   0     0 |8217k   61M|   0     0 |  37k   42k| 535M 41.1M 10.3M  363M|8218k   61M
03-10 07:34:16| 54  12  26   8   0|   0    20M|8010k   65M|   0     0 |  33k   36k| 536M 38.2M 10.3M  365M|8011k   65M

server2 (db)

     time     |usr sys idl wai stl| read  writ| recv  send|  in   out | int   csw | used  free  buff  cach| recv  send                                                                                 
03-10 07:34:07| 73  11  14   2   1|   0  3196k|1017k 6939k|   0     0 |  15k   14k| 568M  172M 79.8M 1107M|1017k 6943k                                                                                 
03-10 07:34:08| 66  10  22   2   1|   0  2956k|1175k 6628k|   0     0 |  18k   15k| 568M  172M 79.8M 1107M|1174k 6624k                                                                                 
03-10 07:34:09| 59  12  23   3   2|   0  3812k|1102k 5476k|   0     0 |  19k   16k| 568M  172M 79.8M 1108M|1102k 5476k                                                                                 
03-10 07:34:10| 74  13  11   1   1|   0  4068k|1171k 6985k|   0     0 |  19k   17k| 568M  171M 79.8M 1108M|1171k 6985k                                                                                 
03-10 07:34:11| 69  14  14   1   1|   0  3764k|1214k 7388k|   0     0 |  19k   16k| 569M  171M 79.9M 1108M|1214k 7388k                                                                                 
03-10 07:34:12| 51   9  37   2   2|   0  2172k| 994k 5148k|   0     0 |  17k   14k| 569M  171M 79.9M 1108M| 994k 5150k                                                                                 
03-10 07:34:13| 59  13  25   3   1|   0  4180k|1212k 6644k|   0     0 |  20k   17k| 569M  170M 79.9M 1109M|1212k 6643k                                                                                 
03-10 07:34:14| 60  15  18   3   3|   0  4628k|1171k 6908k|   0     0 |  18k   17k| 570M  169M 79.9M 1109M|1170k 6907k                                                                                 
polamjag commented 4 years ago

22 https://portal.isucon.net/contestant/benchmark_jobs/2324

Score: 13803 (参考)

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ | 8367 | 0 | 8365 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 1932.000 | 988092.000 | 118.094 | 74.000 | 167.000 | 72.000 | 172.535 | 2.000 | 61.000 | 34561.000 | 4.131 | | 1762 | 0 | 1749 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 7.000 | 8794.000 | 810364.000 | 459.911 | 474.000 | 113.000 | 483.000 | 413.178 | 0.000 | 80.000 | 58088.000 | 32.967 | | 19401 | 0 | 19401 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 1918.000 | 566685.000 | 29.209 | 1.000 | 2.000 | 9.000 | 100.771 | 128.000 | 67618.000 | 676337693.000 | 34860.971 | | 662 | 0 | 662 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 84.000 | 2888.000 | 375264.000 | 566.864 | 325.000 | 637.000 | 458.000 | 432.158 | 8.000 | 18.000 | 11784.000 | 17.801 | | 1674 | 0 | 1670 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 1.000 | 1982.000 | 318706.000 | 190.386 | 108.000 | 210.000 | 32.000 | 201.910 | 42082.000 | 47104.000 | 47275573.000 | 28241.083 | | 397 | 0 | 395 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 6.000 | 4321.000 | 232859.000 | 586.547 | 66.000 | 392.000 | 4084.000 | 760.682 | 326.000 | 6618.000 | 1265285.000 | 3187.116 | | 1654 | 0 | 1652 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 2.000 | 1818.000 | 208531.000 | 126.077 | 73.000 | 87.000 | 26.000 | 170.159 | 253.000 | 13540.000 | 8625310.000 | 5214.819 | | 1279 | 0 | 1279 | 0 | 0 | 0 | GET | /api/session | 1.000 | 1257.000 | 122771.000 | 95.990 | 2.000 | 66.000 | 1257.000 | 125.300 | 123.000 | 563.000 | 604553.000 | 472.676 | | 660 | 0 | 658 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 2.000 | 1469.000 | 86429.000 | 130.953 | 4.000 | 87.000 | 27.000 | 182.966 | 61.000 | 311.000 | 182192.000 | 276.048 | | 135 | 0 | 133 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 7371.000 | 61279.000 | 453.919 | 2.000 | 105.000 | 359.000 | 868.130 | 61.000 | 478.000 | 57367.000 | 424.941 | | 668 | 0 | 663 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 2.000 | 664.000 | 33302.000 | 49.853 | 8.000 | 45.000 | 20.000 | 45.660 | 54.000 | 127.000 | 38433.000 | 57.534 | | 1936 | 0 | 736 | 1200 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 209.000 | 28044.000 | 14.486 | 77.000 | 5.000 | 1.000 | 21.442 | 213600.000 | 213600.000 | 157209600.000 | 81203.306 | | 1936 | 0 | 736 | 1200 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 193.000 | 27158.000 | 14.028 | 53.000 | 2.000 | 1.000 | 21.052 | 492294.000 | 492294.000 | 362328384.000 | 187153.091 | | 150 | 0 | 148 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 2.000 | 1332.000 | 24320.000 | 162.133 | 2.000 | 240.000 | 124.000 | 199.751 | 61.000 | 420.000 | 55791.000 | 371.940 | | 80 | 0 | 78 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 5160.000 | 17941.000 | 224.262 | 2.000 | 1.000 | 5160.000 | 688.293 | 387.000 | 62894.000 | 527829.000 | 6597.863 | | 1936 | 0 | 736 | 1200 | 0 | 0 | GET | /favicon.ico | 0.000 | 82.000 | 17358.000 | 8.966 | 4.000 | 5.000 | 3.000 | 12.315 | 1150.000 | 1150.000 | 846400.000 | 437.190 | | 780 | 0 | 735 | 45 | 0 | 0 | GET | /packs/audience.js | 0.000 | 208.000 | 14940.000 | 19.154 | 0.000 | 8.000 | 10.000 | 28.952 | 28738.000 | 28738.000 | 21122430.000 | 27080.038 | | 1079 | 0 | 60 | 1019 | 0 | 0 | GET | /packs/contestant.js | 1.000 | 110.000 | 13317.000 | 12.342 | 31.000 | 52.000 | 2.000 | 15.954 | 0.000 | 23940.000 | 1436400.000 | 1331.233 | | 658 | 0 | 658 | 0 | 0 | 0 | GET | / | 0.000 | 108.000 | 7363.000 | 11.190 | 1.000 | 30.000 | 2.000 | 15.005 | 389.000 | 389.000 | 255962.000 | 389.000 | | 135 | 0 | 133 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 2.000 | 466.000 | 7231.000 | 53.563 | 2.000 | 19.000 | 24.000 | 64.238 | 61.000 | 420.000 | 50142.000 | 371.422 | | 684 | 0 | 40 | 644 | 0 | 0 | GET | /contestant | 1.000 | 97.000 | 7191.000 | 10.513 | 4.000 | 3.000 | 0.000 | 14.340 | 0.000 | 391.000 | 15640.000 | 22.865 | | 60 | 0 | 60 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 9.000 | 122.000 | 3251.000 | 54.183 | 78.000 | 101.000 | 10.000 | 28.699 | 0.000 | 0.000 | 0.000 | 0.000 | | 395 | 0 | 20 | 375 | 0 | 0 | GET | /contestant/clarifications | 2.000 | 81.000 | 3181.000 | 8.053 | 3.000 | 3.000 | 3.000 | 11.815 | 0.000 | 391.000 | 7820.000 | 19.797 | | 79 | 0 | 78 | 0 | 1 | 0 | POST | /api/signup | 1.000 | 153.000 | 2999.000 | 37.962 | 4.000 | 51.000 | 46.000 | 32.495 | 0.000 | 77.000 | 77.000 | 0.975 | | 21 | 0 | 21 | 0 | 0 | 0 | GET | /api/registration/session | 4.000 | 234.000 | 2486.000 | 118.381 | 4.000 | 174.000 | 74.000 | 55.538 | 435.000 | 502.000 | 10098.000 | 480.857 | | 34 | 0 | 21 | 0 | 13 | 0 | POST | /api/registration/team | 1.000 | 153.000 | 2396.000 | 70.471 | 1.000 | 88.000 | 87.000 | 38.047 | 2.000 | 91.000 | 937.000 | 27.559 | | 44 | 0 | 42 | 0 | 2 | 0 | POST | /api/registration/contestant | 2.000 | 89.000 | 1514.000 | 34.409 | 7.000 | 22.000 | 84.000 | 20.193 | 0.000 | 97.000 | 152.000 | 3.455 | | 78 | 0 | 77 | 1 | 0 | 0 | GET | /signup | 1.000 | 139.000 | 1493.000 | 19.141 | 4.000 | 1.000 | 15.000 | 26.411 | 389.000 | 389.000 | 29953.000 | 384.013 | | 44 | 0 | 44 | 0 | 0 | 0 | GET | /registration | 2.000 | 59.000 | 771.000 | 17.523 | 0.000 | 20.000 | 8.000 | 17.963 | 389.000 | 389.000 | 17116.000 | 389.000 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 237.000 | 420.000 | 657.000 | 328.500 | 237.000 | 237.000 | 237.000 | 91.500 | 28.000 | 28.000 | 56.000 | 28.000 | | 77 | 0 | 1 | 76 | 0 | 0 | GET | /admin/clarifications | 1.000 | 51.000 | 314.000 | 4.078 | 0.000 | 0.000 | 0.000 | 10.081 | 0.000 | 386.000 | 386.000 | 5.013 | | 77 | 0 | 1 | 76 | 0 | 0 | GET | /packs/admin.js | 1.000 | 58.000 | 303.000 | 3.935 | 0.000 | 1.000 | 0.000 | 9.000 | 0.000 | 7907.000 | 7907.000 | 102.688 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 1.000 | 7.000 | 12.000 | 2.000 | 1.000 | 1.000 | 7.000 | 2.236 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+---------------+------------+ ```
tatsuru commented 4 years ago

Score: 20855

https://portal.isucon.net/contestant/benchmark_jobs/2360

analyze
``` +-------+-----+-------+------+-----+-----+--------+---------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+----------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+---------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+----------------+------------+ | 33835 | 0 | 33835 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 1644.000 | 653669.000 | 19.319 | 4.000 | 3.000 | 1.000 | 80.601 | 5397.000 | 74868.000 | 1975273551.000 | 58379.594 | | 9552 | 0 | 9550 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 1312.000 | 606140.000 | 63.457 | 9.000 | 37.000 | 28.000 | 125.692 | 2.000 | 73.000 | 39857.000 | 4.173 | | 2104 | 0 | 2102 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 2.000 | 1139.000 | 274851.000 | 130.633 | 116.000 | 57.000 | 45.000 | 127.271 | 61.000 | 74868.000 | 93584478.000 | 44479.315 | | 2084 | 0 | 2082 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 1483.000 | 127084.000 | 60.981 | 87.000 | 95.000 | 4.000 | 103.388 | 251.000 | 20717.000 | 17759327.000 | 8521.750 | | 1870 | 0 | 1870 | 0 | 0 | 0 | GET | /api/session | 1.000 | 1007.000 | 122073.000 | 65.280 | 13.000 | 53.000 | 504.000 | 128.201 | 123.000 | 575.000 | 926403.000 | 495.403 | | 550 | 0 | 548 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 3.000 | 1754.000 | 110662.000 | 201.204 | 60.000 | 43.000 | 275.000 | 277.117 | 368.000 | 9663.000 | 2456679.000 | 4466.689 | | 1088 | 0 | 1083 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 2.000 | 691.000 | 48127.000 | 44.234 | 68.000 | 47.000 | 33.000 | 53.418 | 55.000 | 127.000 | 62597.000 | 57.534 | | 1077 | 0 | 1075 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 815.000 | 47698.000 | 44.288 | 26.000 | 12.000 | 132.000 | 88.585 | 61.000 | 311.000 | 296269.000 | 275.087 | | 190 | 0 | 188 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 2.000 | 2069.000 | 30134.000 | 158.600 | 3.000 | 50.000 | 37.000 | 267.338 | 61.000 | 520.000 | 82532.000 | 434.379 | | 100 | 0 | 98 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 2350.000 | 26863.000 | 268.630 | 1.000 | 44.000 | 1652.000 | 511.177 | 2307.000 | 85457.000 | 1383124.000 | 13831.240 | | 2944 | 0 | 1603 | 1341 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 213.000 | 16865.000 | 5.729 | 140.000 | 1.000 | 2.000 | 15.690 | 213600.000 | 213600.000 | 342400800.000 | 116304.620 | | 198 | 0 | 196 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 2.000 | 1065.000 | 16529.000 | 83.480 | 2.000 | 68.000 | 46.000 | 144.986 | 61.000 | 442.000 | 75525.000 | 381.439 | | 2944 | 0 | 1612 | 1332 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 212.000 | 15357.000 | 5.216 | 127.000 | 1.000 | 0.000 | 13.826 | 492294.000 | 492294.000 | 793577928.000 | 269557.720 | | 2944 | 0 | 1612 | 1332 | 0 | 0 | GET | /favicon.ico | 0.000 | 149.000 | 9699.000 | 3.294 | 1.000 | 0.000 | 1.000 | 6.855 | 1150.000 | 1150.000 | 1853800.000 | 629.688 | | 1197 | 0 | 1165 | 32 | 0 | 0 | GET | /packs/audience.js | 2.000 | 222.000 | 8740.000 | 7.302 | 8.000 | 5.000 | 2.000 | 20.857 | 28738.000 | 28738.000 | 33479770.000 | 27969.733 | | 1650 | 0 | 450 | 1200 | 0 | 0 | GET | /packs/contestant.js | 1.000 | 67.000 | 6260.000 | 3.794 | 26.000 | 0.000 | 2.000 | 6.900 | 0.000 | 23940.000 | 10773000.000 | 6529.091 | | 60 | 0 | 60 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 16.000 | 274.000 | 5801.000 | 96.683 | 40.000 | 33.000 | 23.000 | 91.366 | 0.000 | 0.000 | 0.000 | 0.000 | | 190 | 0 | 188 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 2.000 | 234.000 | 4985.000 | 26.237 | 2.000 | 8.000 | 29.000 | 34.339 | 61.000 | 442.000 | 72478.000 | 381.463 | | 1102 | 0 | 316 | 786 | 0 | 0 | GET | /contestant | 1.000 | 71.000 | 3327.000 | 3.019 | 5.000 | 0.000 | 2.000 | 5.983 | 0.000 | 391.000 | 123556.000 | 112.120 | | 1075 | 0 | 1075 | 0 | 0 | 0 | GET | / | 3.000 | 64.000 | 3055.000 | 2.842 | 14.000 | 0.000 | 1.000 | 5.767 | 389.000 | 389.000 | 418175.000 | 389.000 | | 21 | 0 | 21 | 0 | 0 | 0 | GET | /api/registration/session | 4.000 | 237.000 | 2816.000 | 134.095 | 4.000 | 82.000 | 119.000 | 70.262 | 455.000 | 511.000 | 10276.000 | 489.333 | | 34 | 0 | 21 | 0 | 13 | 0 | POST | /api/registration/team | 2.000 | 447.000 | 2676.000 | 78.706 | 2.000 | 113.000 | 43.000 | 74.153 | 2.000 | 91.000 | 937.000 | 27.559 | | 79 | 0 | 78 | 0 | 1 | 0 | POST | /api/signup | 1.000 | 228.000 | 2397.000 | 30.342 | 7.000 | 26.000 | 57.000 | 30.469 | 0.000 | 77.000 | 77.000 | 0.975 | | 44 | 0 | 42 | 0 | 2 | 0 | POST | /api/registration/contestant | 2.000 | 181.000 | 2056.000 | 46.727 | 7.000 | 33.000 | 32.000 | 37.474 | 0.000 | 97.000 | 152.000 | 3.455 | | 548 | 0 | 148 | 400 | 0 | 0 | GET | /contestant/clarifications | 0.000 | 40.000 | 1394.000 | 2.544 | 3.000 | 0.000 | 1.000 | 4.494 | 391.000 | 391.000 | 57868.000 | 105.599 | | 78 | 0 | 77 | 1 | 0 | 0 | GET | /signup | 1.000 | 150.000 | 892.000 | 11.436 | 4.000 | 3.000 | 20.000 | 21.459 | 389.000 | 389.000 | 29953.000 | 384.013 | | 44 | 0 | 44 | 0 | 0 | 0 | GET | /registration | 0.000 | 32.000 | 759.000 | 17.250 | 6.000 | 20.000 | 19.000 | 8.266 | 389.000 | 389.000 | 17116.000 | 389.000 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 270.000 | 433.000 | 703.000 | 351.500 | 270.000 | 270.000 | 270.000 | 81.500 | 28.000 | 28.000 | 56.000 | 28.000 | | 97 | 0 | 26 | 71 | 0 | 0 | GET | /admin/clarifications | 1.000 | 46.000 | 207.000 | 2.134 | 0.000 | 6.000 | 0.000 | 6.102 | 0.000 | 386.000 | 10036.000 | 103.464 | | 97 | 0 | 22 | 75 | 0 | 0 | GET | /packs/admin.js | 1.000 | 20.000 | 169.000 | 1.742 | 1.000 | 3.000 | 8.000 | 3.667 | 0.000 | 7907.000 | 173954.000 | 1793.340 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 1.000 | 5.000 | 10.000 | 1.667 | 1.000 | 1.000 | 5.000 | 1.491 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+---------------------------------------+---------+----------+------------+---------+---------+---------+----------+---------+------------+------------+----------------+------------+ ```
tatsuru commented 4 years ago
+-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+---------+---------+---------+----------+----------+------------+------------+----------------+------------+
| COUNT | 1XX |  2XX  | 3XX  | 4XX | 5XX | METHOD |                                  URI                                  |   MIN   |    MAX    |     SUM     |   AVG   |   P1    |   P50   |   P99    |  STDDEV  | MIN(BODY)  | MAX(BODY)  |   SUM(BODY)    | AVG(BODY)  |
+-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+---------+---------+---------+----------+----------+------------+------------+----------------+------------+
| 15945 |   0 | 15943 |    0 |   2 |   0 | GET    | /api/contestant/notifications                                         |   2.000 |  4417.000 | 2154862.000 | 135.143 |  27.000 | 134.000 |   95.000 |  215.414 |      2.000 |     97.000 |      78115.000 |      4.899 |
|  2862 |   0 |  2834 |    0 |   0 |   0 | POST   | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob    |   5.000 |  7454.000 | 1693253.000 | 591.633 | 469.000 | 155.000 |  536.000 |  514.933 |      0.000 |     80.000 |      81977.000 |     28.643 |
|  2899 |   0 |  2892 |    0 |   2 |   0 | GET    | /api/contestant/dashboard                                             |   2.000 |  2013.000 |  713240.000 | 246.030 | 312.000 | 103.000 |   42.000 |  240.426 |  61094.000 |  68820.000 |  123182164.000 |  42491.260 |
|   910 |   0 |   910 |    0 |   0 |   0 | POST   | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult |  38.000 |  4617.000 |  665191.000 | 730.979 | 481.000 | 799.000 | 2063.000 |  655.855 |      9.000 |     18.000 |      16185.000 |     17.786 |
| 25932 |   0 | 25928 |    0 |   0 |   0 | GET    | /api/audience/dashboard                                               |   1.000 |  2000.000 |  530255.000 |  20.448 |   0.000 |   2.000 |   12.000 |   97.777 |  61094.000 |  68820.000 | 1318348560.000 |  50838.677 |
|   803 |   0 |   801 |    0 |   2 |   0 | GET    | /api/contestant/clarifications                                        |   2.000 |  5182.000 |  495916.000 | 617.579 |  46.000 | 428.000 | 1013.000 |  754.472 |    415.000 |   8100.000 |    3016983.000 |   3757.139 |
|  2859 |   0 |  2857 |    0 |   2 |   0 | GET    | /api/contestant/benchmark_jobs                                        |   1.000 |  2956.000 |  414841.000 | 145.100 | 194.000 |  80.000 |   99.000 |  214.436 |    249.000 |  13179.000 |   10760826.000 |   3763.843 |
|  2047 |   0 |  2047 |    0 |   0 |   0 | GET    | /api/session                                                          |   1.000 |  2749.000 |  348057.000 | 170.033 |   4.000 | 307.000 |  969.000 |  240.399 |    123.000 |    568.000 |     989178.000 |    483.233 |
|   901 |   0 |   899 |    0 |   2 |   0 | GET    | /api/contestant/benchmark_jobs/[0-9]+                                 |   1.000 |  2868.000 |  152689.000 | 169.466 |  33.000 |  59.000 |   72.000 |  248.915 |     61.000 |    311.000 |     249120.000 |    276.493 |
|   205 |   0 |   202 |    0 |   2 |   0 | PUT    | /api/admin/clarifications/[0-9]+                                      |   1.000 | 10001.000 |  107591.000 | 524.834 |   1.000 | 277.000 |  401.000 | 1233.348 |    328.000 |    499.000 |      88069.000 |    429.605 |
|   916 |   0 |   911 |    0 |   5 |   0 | POST   | /api/contestant/benchmark_jobs                                        |   2.000 |  1197.000 |   69855.000 |  76.261 |  30.000 |  48.000 |  414.000 |  115.161 |     54.000 |    127.000 |      52545.000 |     57.364 |
|   234 |   0 |   232 |    0 |   2 |   0 | POST   | /api/contestant/clarifications                                        |   1.000 |  2724.000 |   53590.000 | 229.017 |   2.000 | 245.000 | 2724.000 |  311.063 |     61.000 |    436.000 |      89036.000 |    380.496 |
|  2945 |   0 |  1505 | 1440 |   0 |   0 | GET    | /packs/vendor.js                                                      |   0.000 |  1048.000 |   33996.000 |  11.544 |  95.000 |   5.000 |    2.000 |   50.129 | 492294.000 | 492294.000 |  740902470.000 | 251579.786 |
|  2945 |   0 |  1527 | 1418 |   0 |   0 | GET    | /packs/vendor.css                                                     |   0.000 |  1063.000 |   29055.000 |   9.866 | 130.000 |   4.000 |    2.000 |   39.143 | 213600.000 | 213600.000 |  326167200.000 | 110752.869 |
|  2945 |   0 |  1533 | 1412 |   0 |   0 | GET    | /favicon.ico                                                          |   0.000 |  1063.000 |   17871.000 |   6.068 |   1.000 |   7.000 |    2.000 |   37.118 |   1150.000 |   1150.000 |    1762950.000 |    598.625 |
|  1754 |   0 |   540 | 1214 |   0 |   0 | GET    | /packs/contestant.js                                                  |   0.000 |   658.000 |   16067.000 |   9.160 |  75.000 |  15.000 |    3.000 |   31.652 |      0.000 |  23940.000 |   12927600.000 |   7370.353 |
|   205 |   0 |   203 |    0 |   2 |   0 | GET    | /api/admin/clarifications/[0-9]+                                      |   1.000 |   333.000 |   12827.000 |  62.571 |   1.000 |  16.000 |   76.000 |   64.326 |     61.000 |    436.000 |      77897.000 |    379.985 |
|   801 |   0 |   227 |  574 |   0 |   0 | GET    | /contestant/clarifications                                            |   0.000 |   717.000 |   11381.000 |  14.208 |   2.000 |   1.000 |    5.000 |   71.466 |      0.000 |    391.000 |      88757.000 |    110.808 |
|  1132 |   0 |  1076 |   56 |   0 |   0 | GET    | /packs/audience.js                                                    |   1.000 |   261.000 |   10663.000 |   9.420 |   6.000 |   0.000 |    3.000 |   27.169 |  28738.000 |  28738.000 |   30922088.000 |  27316.332 |
|   120 |   0 |   120 |    0 |   0 |   0 | POST   | /api/contestant/push_subscriptions                                    |   9.000 |   276.000 |    9290.000 |  77.417 |  48.000 | 267.000 |   83.000 |   68.920 |      0.000 |      0.000 |          0.000 |      0.000 |
|    62 |   0 |    60 |    0 |   2 |   0 | GET    | /api/admin/clarifications                                             |   1.000 |  2413.000 |    8633.000 | 139.242 |   2.000 |   1.000 | 2413.000 |  383.305 |   2278.000 |  99516.000 |     458479.000 |   7394.823 |
|    65 |   0 |    41 |    0 |  24 |   0 | POST   | /api/registration/team                                                |   2.000 |   281.000 |    6481.000 |  99.708 |   2.000 | 127.000 |  160.000 |   53.117 |      2.000 |     91.000 |       1714.000 |     26.369 |
|   953 |   0 |   291 |  662 |   0 |   0 | GET    | /contestant                                                           |   0.000 |   823.000 |    6405.000 |   6.721 |   7.000 |   5.000 |    2.000 |   46.315 |      0.000 |    391.000 |     113781.000 |    119.392 |
|    84 |   0 |    82 |    0 |   2 |   0 | POST   | /api/registration/contestant                                          |   2.000 |   270.000 |    5696.000 |  67.810 |   8.000 |  97.000 |   60.000 |   60.410 |      0.000 |     97.000 |        152.000 |      1.810 |
|    41 |   0 |    41 |    0 |   0 |   0 | GET    | /api/registration/session                                             |   5.000 |   300.000 |    5660.000 | 138.049 |   5.000 |  53.000 |  193.000 |   77.293 |    433.000 |    511.000 |      19895.000 |    485.244 |
|   150 |   0 |   149 |    0 |   1 |   0 | POST   | /api/signup                                                           |   4.000 |   281.000 |    5525.000 |  36.833 |   5.000 |  25.000 |   36.000 |   41.300 |      0.000 |     77.000 |         77.000 |      0.513 |
|   899 |   0 |   899 |    0 |   0 |   0 | GET    | /                                                                     |   0.000 |   909.000 |    5411.000 |   6.019 |   1.000 |   0.000 |    4.000 |   47.432 |    389.000 |    389.000 |     349711.000 |    389.000 |
|   149 |   0 |   148 |    1 |   0 |   0 | GET    | /signup                                                               |   2.000 |   183.000 |    1422.000 |   9.544 |   4.000 |  17.000 |    8.000 |   22.268 |    389.000 |    389.000 |      57572.000 |    386.389 |
|    84 |   0 |    84 |    0 |   0 |   0 | GET    | /registration                                                         |   1.000 |    68.000 |    1095.000 |  13.036 |   8.000 |  16.000 |    2.000 |   14.657 |    389.000 |    389.000 |      32676.000 |    389.000 |
|     2 |   0 |     2 |    0 |   0 |   0 | POST   | /initialize                                                           | 208.000 |   369.000 |     577.000 | 288.500 | 208.000 | 208.000 |  208.000 |   80.500 |     28.000 |     28.000 |         56.000 |     28.000 |
|    59 |   0 |    14 |   45 |   0 |   0 | GET    | /admin/clarifications                                                 |   0.000 |    63.000 |     126.000 |   2.136 |   0.000 |   1.000 |    0.000 |    9.291 |    386.000 |    386.000 |       5404.000 |     91.593 |
|    59 |   0 |    15 |   44 |   0 |   0 | GET    | /packs/admin.js                                                       |   0.000 |    32.000 |     125.000 |   2.119 |   0.000 |   0.000 |    0.000 |    6.700 |      0.000 |   7907.000 |     118605.000 |   2010.254 |
|     6 |   0 |     4 |    0 |   2 |   0 | POST   | /api/login                                                            |   1.000 |     9.000 |      15.000 |   2.500 |   1.000 |   1.000 |    9.000 |    2.930 |      0.000 |    137.000 |        274.000 |     45.667 |
+-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+---------+---------+---------+----------+----------+------------+------------+----------------+------------+
tatsuru commented 4 years ago

pt-query-digest https://gist.github.com/tatsuru/9cff7bd2265e10357f4f1e5767022184

polamjag commented 4 years ago

Score: 25288 https://portal.isucon.net/contestant/benchmark_jobs/2521

24

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+----------+----------+----------+------------+------------+----------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+----------+----------+----------+------------+------------+----------------+------------+ | 2910 | 0 | 2879 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 5.000 | 4551.000 | 1698125.000 | 583.548 | 477.000 | 2013.000 | 199.000 | 473.356 | 0.000 | 80.000 | 88288.000 | 30.340 | | 18015 | 0 | 18013 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 3714.000 | 1500194.000 | 83.275 | 17.000 | 5.000 | 244.000 | 199.644 | 0.000 | 61.000 | 122.000 | 0.007 | | 29843 | 0 | 29809 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2016.000 | 1096971.000 | 36.758 | 1.000 | 852.000 | 101.000 | 161.822 | 66922.000 | 73334.000 | 1664726202.000 | 55782.803 | | 2953 | 0 | 2936 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 1.000 | 2016.000 | 770948.000 | 261.073 | 136.000 | 220.000 | 60.000 | 289.984 | 66922.000 | 73334.000 | 137034636.000 | 46405.227 | | 991 | 0 | 991 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 29.000 | 4598.000 | 655510.000 | 661.463 | 595.000 | 245.000 | 1556.000 | 657.576 | 9.000 | 18.000 | 17654.000 | 17.814 | | 925 | 0 | 923 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 1.000 | 4678.000 | 542250.000 | 586.216 | 22.000 | 726.000 | 40.000 | 823.822 | 351.000 | 9259.000 | 3952285.000 | 4272.741 | | 2913 | 0 | 2911 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 3658.000 | 459005.000 | 157.571 | 48.000 | 204.000 | 92.000 | 282.856 | 57.000 | 10871.000 | 11986250.000 | 4114.744 | | 2259 | 0 | 2259 | 0 | 0 | 0 | GET | /api/session | 1.000 | 3647.000 | 349967.000 | 154.921 | 3.000 | 12.000 | 15.000 | 272.487 | 123.000 | 581.000 | 1102377.000 | 487.993 | | 980 | 0 | 978 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 1.000 | 3519.000 | 163580.000 | 166.918 | 164.000 | 164.000 | 557.000 | 277.139 | 61.000 | 311.000 | 270859.000 | 276.387 | | 241 | 0 | 239 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 6918.000 | 99131.000 | 411.332 | 1.000 | 235.000 | 438.000 | 1034.431 | 61.000 | 495.000 | 104357.000 | 433.017 | | 997 | 0 | 992 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 2.000 | 1231.000 | 83086.000 | 83.336 | 39.000 | 13.000 | 288.000 | 116.786 | 54.000 | 127.000 | 57265.000 | 57.437 | | 268 | 0 | 266 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 1.000 | 3113.000 | 50634.000 | 188.933 | 10.000 | 643.000 | 45.000 | 324.767 | 61.000 | 433.000 | 102157.000 | 381.183 | | 3236 | 0 | 1648 | 1588 | 0 | 0 | GET | /packs/vendor.css | 2.000 | 736.000 | 36396.000 | 11.247 | 10.000 | 9.000 | 152.000 | 48.720 | 213600.000 | 213600.000 | 352012800.000 | 108780.222 | | 3236 | 0 | 1655 | 1581 | 0 | 0 | GET | /packs/vendor.js | 3.000 | 736.000 | 35410.000 | 10.943 | 10.000 | 13.000 | 152.000 | 46.927 | 492294.000 | 492294.000 | 814746570.000 | 251775.825 | | 1966 | 0 | 580 | 1386 | 0 | 0 | GET | /packs/contestant.js | 10.000 | 738.000 | 23143.000 | 11.772 | 47.000 | 3.000 | 35.000 | 51.093 | 0.000 | 23940.000 | 13885200.000 | 7062.665 | | 241 | 0 | 239 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 495.000 | 19242.000 | 79.842 | 3.000 | 368.000 | 272.000 | 87.237 | 61.000 | 433.000 | 91745.000 | 380.685 | | 1210 | 0 | 1146 | 64 | 0 | 0 | GET | /packs/audience.js | 1.000 | 738.000 | 15694.000 | 12.970 | 5.000 | 0.000 | 187.000 | 59.108 | 28738.000 | 28738.000 | 32933748.000 | 27217.974 | | 3236 | 0 | 1645 | 1591 | 0 | 0 | GET | /favicon.ico | 0.000 | 524.000 | 14393.000 | 4.448 | 0.000 | 10.000 | 46.000 | 15.315 | 1150.000 | 1150.000 | 1891750.000 | 584.595 | | 923 | 0 | 261 | 662 | 0 | 0 | GET | /contestant/clarifications | 2.000 | 531.000 | 9631.000 | 10.434 | 3.000 | 0.000 | 34.000 | 47.802 | 0.000 | 391.000 | 102051.000 | 110.564 | | 120 | 0 | 120 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 5.000 | 236.000 | 8219.000 | 68.492 | 37.000 | 14.000 | 9.000 | 60.155 | 0.000 | 0.000 | 0.000 | 0.000 | | 978 | 0 | 978 | 0 | 0 | 0 | GET | / | 0.000 | 713.000 | 7665.000 | 7.837 | 0.000 | 1.000 | 36.000 | 44.931 | 389.000 | 389.000 | 380442.000 | 389.000 | | 63 | 0 | 61 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 1490.000 | 7046.000 | 111.841 | 1.000 | 3.000 | 1368.000 | 286.000 | 3767.000 | 114647.000 | 576071.000 | 9143.984 | | 64 | 0 | 41 | 0 | 23 | 0 | POST | /api/registration/team | 2.000 | 271.000 | 6743.000 | 105.359 | 2.000 | 155.000 | 74.000 | 54.696 | 2.000 | 91.000 | 1647.000 | 25.734 | | 1043 | 0 | 315 | 728 | 0 | 0 | GET | /contestant | 1.000 | 532.000 | 5739.000 | 5.502 | 11.000 | 0.000 | 36.000 | 22.060 | 0.000 | 391.000 | 123165.000 | 118.087 | | 41 | 0 | 41 | 0 | 0 | 0 | GET | /api/registration/session | 5.000 | 343.000 | 5667.000 | 138.220 | 5.000 | 202.000 | 82.000 | 73.203 | 434.000 | 517.000 | 19830.000 | 483.659 | | 149 | 0 | 148 | 0 | 1 | 0 | POST | /api/signup | 1.000 | 146.000 | 4668.000 | 31.329 | 5.000 | 51.000 | 33.000 | 30.047 | 0.000 | 77.000 | 77.000 | 0.517 | | 84 | 0 | 82 | 0 | 2 | 0 | POST | /api/registration/contestant | 3.000 | 129.000 | 4110.000 | 48.929 | 7.000 | 58.000 | 66.000 | 31.369 | 0.000 | 97.000 | 152.000 | 1.810 | | 148 | 0 | 147 | 1 | 0 | 0 | GET | /signup | 1.000 | 214.000 | 3598.000 | 24.311 | 5.000 | 3.000 | 16.000 | 55.762 | 389.000 | 389.000 | 57183.000 | 386.372 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 236.000 | 248.000 | 484.000 | 242.000 | 248.000 | 248.000 | 248.000 | 6.000 | 28.000 | 28.000 | 56.000 | 28.000 | | 84 | 0 | 84 | 0 | 0 | 0 | GET | /registration | 1.000 | 26.000 | 353.000 | 4.202 | 5.000 | 15.000 | 10.000 | 4.992 | 389.000 | 389.000 | 32676.000 | 389.000 | | 60 | 0 | 17 | 43 | 0 | 0 | GET | /packs/admin.js | 1.000 | 31.000 | 135.000 | 2.250 | 1.000 | 0.000 | 9.000 | 5.582 | 0.000 | 7907.000 | 134419.000 | 2240.317 | | 60 | 0 | 14 | 46 | 0 | 0 | GET | /admin/clarifications | 0.000 | 28.000 | 106.000 | 1.767 | 0.000 | 0.000 | 14.000 | 4.731 | 0.000 | 386.000 | 5404.000 | 90.067 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 1.000 | 3.000 | 9.000 | 1.500 | 1.000 | 1.000 | 3.000 | 0.764 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+----------+-------------+---------+---------+----------+----------+----------+------------+------------+----------------+------------+ ```
polamjag commented 4 years ago

Score: 25606

https://portal.isucon.net/contestant/benchmark_jobs/2654

25

tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/2888 Score: 26372

polamjag commented 4 years ago

28 https://portal.isucon.net/contestant/benchmark_jobs/2949

Score: 25974

tatsuru commented 4 years ago

ここから延長戦

tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/5721

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+----------+---------+----------+----------+----------+------------+------------+----------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+----------+---------+----------+----------+----------+------------+------------+----------------+------------+ | 33195 | 0 | 33193 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 9202.000 | 4540309.000 | 136.777 | 235.000 | 6.000 | 150.000 | 310.639 | 0.000 | 61.000 | 122.000 | 0.004 | | 3115 | 0 | 3059 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 9.000 | 7786.000 | 3435763.000 | 1102.974 | 484.000 | 1945.000 | 368.000 | 941.979 | 0.000 | 80.000 | 78629.000 | 25.242 | | 19855 | 0 | 19785 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2026.000 | 2094907.000 | 105.510 | 42.000 | 1244.000 | 40.000 | 217.528 | 70130.000 | 76178.000 | 1181349531.000 | 59498.843 | | 849 | 0 | 847 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 51.000 | 10305.000 | 1679450.000 | 1978.151 | 535.000 | 443.000 | 2863.000 | 1419.270 | 8.000 | 18.000 | 14865.000 | 17.509 | | 4978 | 0 | 4818 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 2.000 | 2049.000 | 1632245.000 | 327.892 | 95.000 | 221.000 | 64.000 | 454.821 | 70332.000 | 76178.000 | 253900488.000 | 51004.517 | | 4888 | 0 | 4886 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 2.000 | 9252.000 | 1261807.000 | 258.144 | 94.000 | 12.000 | 491.000 | 740.432 | 56.000 | 5402.000 | 7503127.000 | 1535.010 | | 1539 | 0 | 1537 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 2.000 | 9252.000 | 1097379.000 | 713.047 | 38.000 | 27.000 | 152.000 | 1460.911 | 913.000 | 8445.000 | 5917058.000 | 3844.742 | | 3831 | 0 | 1826 | 2005 | 0 | 0 | GET | /packs/vendor.css | 0.000 | 9135.000 | 928400.000 | 242.339 | 36.000 | 13.000 | 60.000 | 700.486 | 213600.000 | 213600.000 | 390033600.000 | 101809.867 | | 3831 | 0 | 1804 | 2027 | 0 | 0 | GET | /packs/vendor.js | 0.000 | 9135.000 | 873467.000 | 228.000 | 30.000 | 30.000 | 1843.000 | 663.094 | 492294.000 | 492294.000 | 888098376.000 | 231818.944 | | 2476 | 0 | 836 | 1640 | 0 | 0 | GET | /packs/contestant.js | 1.000 | 9136.000 | 715242.000 | 288.870 | 161.000 | 64.000 | 10.000 | 832.289 | 23940.000 | 23940.000 | 20013840.000 | 8083.134 | | 3015 | 0 | 3015 | 0 | 0 | 0 | GET | /api/session | 1.000 | 9162.000 | 581764.000 | 192.957 | 5.000 | 203.000 | 233.000 | 494.162 | 123.000 | 565.000 | 1412862.000 | 468.611 | | 3831 | 0 | 1807 | 2024 | 0 | 0 | GET | /favicon.ico | 0.000 | 4765.000 | 247428.000 | 64.586 | 6.000 | 60.000 | 16.000 | 198.258 | 1150.000 | 1150.000 | 2078050.000 | 542.430 | | 1311 | 0 | 1172 | 139 | 0 | 0 | GET | /packs/audience.js | 0.000 | 5870.000 | 246127.000 | 187.740 | 31.000 | 24.000 | 334.000 | 427.601 | 28738.000 | 28738.000 | 33680936.000 | 25691.027 | | 303 | 0 | 301 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 2.000 | 9196.000 | 244937.000 | 808.373 | 32.000 | 32.000 | 164.000 | 1957.183 | 61.000 | 429.000 | 115687.000 | 381.805 | | 293 | 0 | 286 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 10011.000 | 217280.000 | 741.570 | 1.000 | 284.000 | 77.000 | 1673.772 | 356.000 | 487.000 | 125021.000 | 426.693 | | 819 | 0 | 817 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 2.000 | 6135.000 | 206087.000 | 251.632 | 111.000 | 35.000 | 771.000 | 520.452 | 61.000 | 311.000 | 225381.000 | 275.190 | | 855 | 0 | 850 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 2.000 | 9180.000 | 184682.000 | 216.002 | 63.000 | 37.000 | 1877.000 | 646.121 | 53.000 | 127.000 | 49211.000 | 57.557 | | 1537 | 0 | 460 | 1077 | 0 | 0 | GET | /contestant/clarifications | 2.000 | 4760.000 | 154438.000 | 100.480 | 73.000 | 0.000 | 11.000 | 351.358 | 0.000 | 391.000 | 179860.000 | 117.020 | | 939 | 0 | 369 | 570 | 0 | 0 | GET | /contestant | 1.000 | 4037.000 | 83664.000 | 89.099 | 6.000 | 49.000 | 92.000 | 333.138 | 0.000 | 391.000 | 144279.000 | 153.652 | | 817 | 0 | 817 | 0 | 0 | 0 | GET | / | 0.000 | 1278.000 | 56150.000 | 68.727 | 27.000 | 15.000 | 29.000 | 105.834 | 389.000 | 389.000 | 317813.000 | 389.000 | | 293 | 0 | 291 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 2.000 | 1178.000 | 48121.000 | 164.235 | 2.000 | 65.000 | 860.000 | 245.510 | 61.000 | 429.000 | 111859.000 | 381.771 | | 270 | 0 | 270 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 6.000 | 551.000 | 23989.000 | 88.848 | 194.000 | 51.000 | 12.000 | 86.915 | 0.000 | 0.000 | 0.000 | 0.000 | | 126 | 0 | 91 | 0 | 35 | 0 | POST | /api/registration/team | 2.000 | 397.000 | 15880.000 | 126.032 | 2.000 | 271.000 | 53.000 | 96.150 | 2.000 | 91.000 | 2551.000 | 20.246 | | 311 | 0 | 310 | 0 | 1 | 0 | POST | /api/signup | 6.000 | 561.000 | 14142.000 | 45.473 | 4.000 | 21.000 | 43.000 | 62.305 | 0.000 | 77.000 | 77.000 | 0.248 | | 91 | 0 | 91 | 0 | 0 | 0 | GET | /api/registration/session | 4.000 | 448.000 | 13715.000 | 150.714 | 4.000 | 248.000 | 30.000 | 111.375 | 460.000 | 508.000 | 44119.000 | 484.824 | | 310 | 0 | 309 | 1 | 0 | 0 | GET | /signup | 1.000 | 566.000 | 12462.000 | 40.200 | 0.000 | 17.000 | 20.000 | 78.634 | 389.000 | 389.000 | 120201.000 | 387.745 | | 184 | 0 | 182 | 0 | 2 | 0 | POST | /api/registration/contestant | 2.000 | 369.000 | 11123.000 | 60.451 | 7.000 | 38.000 | 21.000 | 62.477 | 0.000 | 97.000 | 152.000 | 0.826 | | 47 | 0 | 45 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 2166.000 | 8841.000 | 188.106 | 2.000 | 1.000 | 2105.000 | 458.064 | 5076.000 | 130877.000 | 509843.000 | 10847.723 | | 184 | 0 | 184 | 0 | 0 | 0 | GET | /registration | 1.000 | 577.000 | 5556.000 | 30.196 | 0.000 | 15.000 | 0.000 | 78.974 | 389.000 | 389.000 | 71576.000 | 389.000 | | 44 | 0 | 10 | 34 | 0 | 0 | GET | /packs/admin.js | 21.000 | 219.000 | 835.000 | 18.977 | 0.000 | 0.000 | 33.000 | 41.267 | 0.000 | 7907.000 | 79070.000 | 1797.045 | | 44 | 0 | 11 | 33 | 0 | 0 | GET | /admin/clarifications | 22.000 | 167.000 | 755.000 | 17.159 | 0.000 | 0.000 | 48.000 | 32.794 | 0.000 | 386.000 | 4246.000 | 96.500 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 242.000 | 354.000 | 596.000 | 298.000 | 354.000 | 354.000 | 354.000 | 56.000 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 1.000 | 9.000 | 15.000 | 2.500 | 2.000 | 1.000 | 9.000 | 2.930 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+----------+---------+----------+----------+----------+------------+------------+----------------+------------+ ```
tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/5727

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+----------+---------+----------+-----------+----------+------------+------------+----------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+----------+---------+----------+-----------+----------+------------+------------+----------------+------------+ | 41396 | 0 | 41394 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 7133.000 | 7075421.000 | 170.920 | 21.000 | 104.000 | 32.000 | 502.764 | 0.000 | 61.000 | 122.000 | 0.003 | | 3082 | 0 | 2994 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 13.000 | 15004.000 | 4500242.000 | 1460.169 | 564.000 | 478.000 | 313.000 | 1696.357 | 0.000 | 80.000 | 69250.000 | 22.469 | | 728 | 0 | 725 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 246.000 | 20060.000 | 2327495.000 | 3197.109 | 652.000 | 9160.000 | 17626.000 | 3395.244 | 9.000 | 18.000 | 12711.000 | 17.460 | | 6152 | 0 | 5927 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 3.000 | 2052.000 | 1978988.000 | 321.682 | 83.000 | 412.000 | 57.000 | 438.906 | 73104.000 | 75386.000 | 344031348.000 | 55921.871 | | 6032 | 0 | 6030 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 2.000 | 7087.000 | 1575029.000 | 261.112 | 83.000 | 233.000 | 984.000 | 601.266 | 56.000 | 4982.000 | 6610799.000 | 1095.955 | | 16701 | 0 | 16519 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2077.000 | 1331934.000 | 79.752 | 6.000 | 55.000 | 46.000 | 228.600 | 73104.000 | 75386.000 | 1066469488.000 | 63856.625 | | 3693 | 0 | 1769 | 1924 | 0 | 0 | GET | /packs/vendor.css | 2.000 | 6835.000 | 1122172.000 | 303.865 | 161.000 | 64.000 | 55.000 | 944.091 | 213600.000 | 213600.000 | 377858400.000 | 102317.465 | | 3693 | 0 | 1754 | 1939 | 0 | 0 | GET | /packs/vendor.js | 2.000 | 6835.000 | 1051168.000 | 284.638 | 183.000 | 64.000 | 37.000 | 914.160 | 492294.000 | 492294.000 | 863483676.000 | 233816.322 | | 2288 | 0 | 837 | 1451 | 0 | 0 | GET | /packs/contestant.js | 11.000 | 6835.000 | 933250.000 | 407.889 | 377.000 | 81.000 | 44.000 | 1133.976 | 0.000 | 23940.000 | 20037780.000 | 8757.771 | | 1416 | 0 | 1414 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 3.000 | 7242.000 | 893846.000 | 631.247 | 60.000 | 82.000 | 56.000 | 1099.006 | 476.000 | 7488.000 | 4539693.000 | 3205.998 | | 2990 | 0 | 2990 | 0 | 0 | 0 | GET | /api/session | 1.000 | 7134.000 | 870017.000 | 290.976 | 4.000 | 904.000 | 2843.000 | 763.528 | 123.000 | 572.000 | 1335801.000 | 446.756 | | 247 | 0 | 242 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 10000.000 | 361445.000 | 1463.340 | 1.000 | 413.000 | 4357.000 | 1795.547 | 335.000 | 491.000 | 106032.000 | 429.279 | | 1366 | 0 | 1179 | 187 | 0 | 0 | GET | /packs/audience.js | 1.000 | 5414.000 | 219655.000 | 160.802 | 9.000 | 74.000 | 30.000 | 473.882 | 28738.000 | 28738.000 | 33882102.000 | 24803.881 | | 706 | 0 | 704 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 2.000 | 5920.000 | 219600.000 | 311.048 | 274.000 | 47.000 | 59.000 | 494.890 | 61.000 | 311.000 | 193745.000 | 274.426 | | 3693 | 0 | 1780 | 1913 | 0 | 0 | GET | /favicon.ico | 2.000 | 6356.000 | 205166.000 | 55.555 | 4.000 | 312.000 | 30.000 | 232.767 | 1150.000 | 1150.000 | 2047000.000 | 554.292 | | 1422 | 0 | 441 | 981 | 0 | 0 | GET | /contestant/clarifications | 1.000 | 6196.000 | 187766.000 | 132.044 | 268.000 | 67.000 | 46.000 | 435.130 | 0.000 | 391.000 | 172431.000 | 121.259 | | 254 | 0 | 252 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 2.000 | 6849.000 | 169743.000 | 668.280 | 6.000 | 25.000 | 34.000 | 1323.069 | 61.000 | 437.000 | 96802.000 | 381.110 | | 734 | 0 | 729 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 3.000 | 6868.000 | 160331.000 | 218.435 | 32.000 | 69.000 | 56.000 | 604.234 | 54.000 | 127.000 | 42245.000 | 57.554 | | 866 | 0 | 387 | 479 | 0 | 0 | GET | /contestant | 1.000 | 1811.000 | 74966.000 | 86.566 | 13.000 | 12.000 | 69.000 | 176.841 | 0.000 | 391.000 | 151317.000 | 174.731 | | 247 | 0 | 245 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 2.000 | 3363.000 | 66229.000 | 268.134 | 3.000 | 173.000 | 3347.000 | 510.717 | 61.000 | 437.000 | 94260.000 | 381.619 | | 704 | 0 | 704 | 0 | 0 | 0 | GET | / | 3.000 | 1811.000 | 51114.000 | 72.605 | 1.000 | 207.000 | 31.000 | 147.694 | 389.000 | 389.000 | 273856.000 | 389.000 | | 360 | 0 | 360 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 5.000 | 565.000 | 37298.000 | 103.606 | 89.000 | 39.000 | 10.000 | 99.922 | 0.000 | 0.000 | 0.000 | 0.000 | | 419 | 0 | 418 | 0 | 1 | 0 | POST | /api/signup | 1.000 | 714.000 | 30674.000 | 73.208 | 5.000 | 21.000 | 137.000 | 93.871 | 0.000 | 77.000 | 77.000 | 0.184 | | 121 | 0 | 121 | 0 | 0 | 0 | GET | /api/registration/session | 5.000 | 580.000 | 27285.000 | 225.496 | 5.000 | 184.000 | 55.000 | 153.351 | 432.000 | 514.000 | 58825.000 | 486.157 | | 174 | 0 | 121 | 0 | 53 | 0 | POST | /api/registration/team | 2.000 | 638.000 | 26871.000 | 154.431 | 2.000 | 489.000 | 312.000 | 117.497 | 2.000 | 91.000 | 3817.000 | 21.937 | | 42 | 0 | 39 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 10002.000 | 17421.000 | 414.786 | 3.000 | 1.000 | 2141.000 | 1563.009 | 102523.000 | 109756.000 | 331524.000 | 7893.429 | | 244 | 0 | 242 | 0 | 2 | 0 | POST | /api/registration/contestant | 3.000 | 430.000 | 15651.000 | 64.143 | 13.000 | 109.000 | 41.000 | 63.428 | 0.000 | 97.000 | 152.000 | 0.623 | | 418 | 0 | 417 | 1 | 0 | 0 | GET | /signup | 1.000 | 429.000 | 14431.000 | 34.524 | 0.000 | 37.000 | 17.000 | 49.044 | 389.000 | 389.000 | 162213.000 | 388.069 | | 244 | 0 | 244 | 0 | 0 | 0 | GET | /registration | 4.000 | 429.000 | 8015.000 | 32.848 | 0.000 | 27.000 | 1.000 | 60.572 | 389.000 | 389.000 | 94916.000 | 389.000 | | 39 | 0 | 10 | 29 | 0 | 0 | GET | /admin/clarifications | 3.000 | 376.000 | 1039.000 | 26.641 | 0.000 | 1.000 | 3.000 | 73.784 | 0.000 | 386.000 | 3860.000 | 98.974 | | 39 | 0 | 12 | 27 | 0 | 0 | GET | /packs/admin.js | 3.000 | 91.000 | 544.000 | 13.949 | 0.000 | 4.000 | 3.000 | 22.644 | 0.000 | 7907.000 | 94884.000 | 2432.923 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 208.000 | 234.000 | 442.000 | 221.000 | 234.000 | 234.000 | 234.000 | 13.000 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 1.000 | 6.000 | 12.000 | 2.000 | 2.000 | 1.000 | 6.000 | 1.826 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+-------------+----------+---------+----------+-----------+----------+------------+------------+----------------+------------+ ```
tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/5730

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+--------------+----------+----------+----------+-----------+----------+------------+------------+----------------+------------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+--------------+----------+----------+----------+-----------+----------+------------+------------+----------------+------------+ | 40227 | 0 | 40224 | 0 | 2 | 0 | GET | /api/contestant/notifications | 1.000 | 10004.000 | 16707124.000 | 415.321 | 213.000 | 335.000 | 669.000 | 725.877 | 0.000 | 61.000 | 122.000 | 0.003 | | 3142 | 0 | 3030 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 8.000 | 15023.000 | 6310121.000 | 2008.313 | 469.000 | 6682.000 | 6362.000 | 2255.312 | 0.000 | 80.000 | 71278.000 | 22.686 | | 7018 | 0 | 6077 | 0 | 2 | 0 | GET | /api/contestant/dashboard | 1.000 | 2107.000 | 4808762.000 | 685.204 | 540.000 | 2012.000 | 112.000 | 689.895 | 87806.000 | 91784.000 | 433755372.000 | 61806.123 | | 6838 | 0 | 6835 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 1.000 | 10006.000 | 4651880.000 | 680.298 | 40.000 | 351.000 | 1856.000 | 950.252 | 290.000 | 2743.000 | 4915651.000 | 718.873 | | 753 | 0 | 751 | 0 | 0 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 140.000 | 35398.000 | 3726601.000 | 4949.005 | 1404.000 | 5247.000 | 18171.000 | 4733.604 | 8.000 | 18.000 | 12840.000 | 17.052 | | 13962 | 0 | 13814 | 0 | 0 | 0 | GET | /api/audience/dashboard | 1.000 | 2065.000 | 3372848.000 | 241.573 | 529.000 | 24.000 | 559.000 | 366.070 | 87806.000 | 91784.000 | 1078404274.000 | 77238.524 | | 1277 | 0 | 1260 | 0 | 2 | 0 | GET | /api/contestant/clarifications | 1.000 | 10018.000 | 2600443.000 | 2036.369 | 112.000 | 307.000 | 224.000 | 2473.279 | 3476.000 | 4827.000 | 3726267.000 | 2917.985 | | 3184 | 0 | 3182 | 0 | 0 | 0 | GET | /api/session | 1.000 | 10009.000 | 1921343.000 | 603.437 | 5.000 | 781.000 | 49.000 | 1005.763 | 525.000 | 589.000 | 1337092.000 | 419.941 | | 3882 | 0 | 1924 | 1958 | 0 | 0 | GET | /packs/vendor.css | 1.000 | 4514.000 | 838324.000 | 215.952 | 33.000 | 805.000 | 305.000 | 405.710 | 213600.000 | 213600.000 | 410966400.000 | 105864.606 | | 3882 | 0 | 1960 | 1922 | 0 | 0 | GET | /packs/vendor.js | 1.000 | 4514.000 | 824757.000 | 212.457 | 70.000 | 774.000 | 307.000 | 415.753 | 492294.000 | 492294.000 | 964896240.000 | 248556.476 | | 2217 | 0 | 942 | 1275 | 0 | 0 | GET | /packs/contestant.js | 22.000 | 4513.000 | 616375.000 | 278.022 | 35.000 | 1117.000 | 55.000 | 432.744 | 0.000 | 23940.000 | 22551480.000 | 10172.070 | | 3882 | 0 | 1930 | 1952 | 0 | 0 | GET | /favicon.ico | 1.000 | 4562.000 | 601659.000 | 154.987 | 6.000 | 251.000 | 567.000 | 306.327 | 1150.000 | 1150.000 | 2219500.000 | 571.741 | | 701 | 0 | 699 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 2.000 | 6182.000 | 574685.000 | 819.807 | 346.000 | 57.000 | 542.000 | 1151.845 | 61.000 | 311.000 | 193283.000 | 275.725 | | 290 | 0 | 274 | 0 | 2 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 1.000 | 10011.000 | 419268.000 | 1445.752 | 1.000 | 2156.000 | 4301.000 | 1798.626 | 0.000 | 511.000 | 121357.000 | 418.472 | | 1277 | 0 | 460 | 817 | 0 | 0 | GET | /contestant/clarifications | 3.000 | 4576.000 | 335127.000 | 262.433 | 24.000 | 130.000 | 330.000 | 446.240 | 0.000 | 391.000 | 179860.000 | 140.846 | | 759 | 0 | 754 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 2.000 | 5570.000 | 278253.000 | 366.605 | 39.000 | 303.000 | 951.000 | 586.732 | 55.000 | 127.000 | 43957.000 | 57.914 | | 940 | 0 | 502 | 438 | 0 | 0 | GET | /contestant | 1.000 | 2636.000 | 261818.000 | 278.530 | 1.000 | 611.000 | 3.000 | 353.527 | 0.000 | 391.000 | 196282.000 | 208.811 | | 290 | 0 | 288 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 1.000 | 3820.000 | 242786.000 | 837.193 | 1.000 | 2594.000 | 151.000 | 1147.241 | 61.000 | 437.000 | 111886.000 | 385.814 | | 1632 | 0 | 1356 | 276 | 0 | 0 | GET | /packs/audience.js | 2.000 | 4513.000 | 224262.000 | 137.415 | 16.000 | 300.000 | 59.000 | 286.743 | 28738.000 | 28738.000 | 38968728.000 | 23877.897 | | 292 | 0 | 290 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 1.000 | 6428.000 | 218283.000 | 747.545 | 2.000 | 20.000 | 1255.000 | 934.255 | 61.000 | 437.000 | 112682.000 | 385.897 | | 699 | 0 | 699 | 0 | 0 | 0 | GET | / | 3.000 | 2806.000 | 141620.000 | 202.604 | 32.000 | 0.000 | 541.000 | 320.588 | 389.000 | 389.000 | 271911.000 | 389.000 | | 540 | 0 | 540 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 7.000 | 518.000 | 69555.000 | 128.806 | 61.000 | 128.000 | 39.000 | 125.071 | 0.000 | 0.000 | 0.000 | 0.000 | | 181 | 0 | 181 | 0 | 0 | 0 | GET | /api/registration/session | 5.000 | 693.000 | 48003.000 | 265.210 | 5.000 | 228.000 | 501.000 | 157.219 | 435.000 | 530.000 | 88337.000 | 488.050 | | 570 | 0 | 569 | 0 | 1 | 0 | POST | /api/signup | 4.000 | 590.000 | 37809.000 | 66.332 | 3.000 | 46.000 | 24.000 | 81.995 | 0.000 | 77.000 | 77.000 | 0.135 | | 205 | 0 | 181 | 0 | 24 | 0 | POST | /api/registration/team | 1.000 | 544.000 | 35995.000 | 175.585 | 18.000 | 261.000 | 106.000 | 127.750 | 2.000 | 91.000 | 2047.000 | 9.985 | | 569 | 0 | 568 | 1 | 0 | 0 | GET | /signup | 1.000 | 449.000 | 31332.000 | 55.065 | 0.000 | 6.000 | 21.000 | 109.362 | 389.000 | 389.000 | 220952.000 | 388.316 | | 364 | 0 | 362 | 0 | 2 | 0 | POST | /api/registration/contestant | 2.000 | 444.000 | 23436.000 | 64.385 | 3.000 | 32.000 | 21.000 | 59.822 | 0.000 | 97.000 | 152.000 | 0.418 | | 35 | 0 | 32 | 0 | 2 | 0 | GET | /api/admin/clarifications | 1.000 | 10001.000 | 22233.000 | 635.229 | 1.000 | 475.000 | 10001.000 | 1911.327 | 120493.000 | 120493.000 | 198884.000 | 5682.400 | | 364 | 0 | 364 | 0 | 0 | 0 | GET | /registration | 0.000 | 428.000 | 9791.000 | 26.898 | 0.000 | 21.000 | 3.000 | 53.507 | 389.000 | 389.000 | 141596.000 | 389.000 | | 33 | 0 | 7 | 26 | 0 | 0 | GET | /packs/admin.js | 31.000 | 849.000 | 2122.000 | 64.303 | 1.000 | 8.000 | 743.000 | 189.216 | 0.000 | 7907.000 | 55349.000 | 1677.242 | | 33 | 0 | 10 | 23 | 0 | 0 | GET | /admin/clarifications | 11.000 | 779.000 | 1222.000 | 37.030 | 0.000 | 7.000 | 779.000 | 133.682 | 386.000 | 386.000 | 3860.000 | 116.970 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 209.000 | 228.000 | 437.000 | 218.500 | 228.000 | 228.000 | 228.000 | 9.500 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 3 | 0 | 2 | 0 | POST | /api/login | 0.000 | 52.000 | 58.000 | 9.667 | 2.000 | 1.000 | 52.000 | 18.944 | 0.000 | 137.000 | 274.000 | 45.667 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+---------+-----------+--------------+----------+----------+----------+-----------+----------+------------+------------+----------------+------------+ ```
tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/5855

analyze ``` +-------+-----+-------+------+-----+-----+--------+---------------------------------------+-------+--------+----------+-------+-------+-------+-------+--------+------------+------------+----------------+-----------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+---------------------------------------+-------+--------+----------+-------+-------+-------+-------+--------+------------+------------+----------------+-----------+ | 40499 | 0 | 40497 | 0 | 2 | 0 | GET | /api/contestant/notifications | 0.001 | 9.075 | 7501.376 | 0.185 | 0.055 | 0.023 | 0.374 | 0.416 | 0.000 | 61.000 | 122.000 | 0.003 | | 6103 | 0 | 5897 | 0 | 206 | 0 | GET | /api/contestant/dashboard | 0.003 | 2.105 | 2537.439 | 0.416 | 0.243 | 0.276 | 0.084 | 0.487 | 72783.000 | 75195.000 | 339938297.000 | 55700.196 | | 5983 | 0 | 5981 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 0.002 | 6.670 | 1979.491 | 0.331 | 0.407 | 0.626 | 0.872 | 0.542 | 73.000 | 4711.000 | 6473352.000 | 1081.958 | | 567 | 0 | 562 | 0 | 5 | 0 | GET | /api/contestant/clarifications | 0.002 | 10.000 | 954.780 | 1.684 | 0.063 | 0.033 | 1.517 | 2.159 | 2233.000 | 3485.000 | 986850.000 | 1740.476 | | 2095 | 0 | 2094 | 0 | 1 | 0 | GET | /api/session | 0.001 | 10.000 | 878.031 | 0.419 | 0.008 | 0.254 | 0.777 | 0.758 | 136.000 | 578.000 | 853566.000 | 407.430 | | 21177 | 0 | 21170 | 0 | 7 | 0 | GET | /api/audience/dashboard | 0.001 | 2.001 | 634.836 | 0.030 | 0.089 | 0.028 | 0.043 | 0.084 | 72782.000 | 75195.000 | 1355968119.000 | 64030.227 | | 693 | 0 | 691 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 0.002 | 7.052 | 256.313 | 0.370 | 0.008 | 0.024 | 0.046 | 0.639 | 61.000 | 311.000 | 190953.000 | 275.545 | | 197 | 0 | 191 | 0 | 6 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 0.001 | 10.006 | 210.456 | 1.068 | 0.001 | 2.408 | 4.040 | 1.685 | 322.000 | 490.000 | 83308.000 | 422.883 | | 2785 | 0 | 1408 | 1377 | 0 | 0 | GET | /favicon.ico | 0.008 | 0.520 | 135.028 | 0.048 | 0.021 | 0.001 | 0.003 | 0.071 | 1150.000 | 1150.000 | 1619200.000 | 581.400 | | 724 | 0 | 719 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 0.002 | 4.804 | 131.392 | 0.181 | 0.050 | 0.037 | 0.027 | 0.344 | 54.000 | 127.000 | 41703.000 | 57.601 | | 197 | 0 | 195 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 0.003 | 3.781 | 99.632 | 0.506 | 0.003 | 0.094 | 1.879 | 0.564 | 61.000 | 442.000 | 74875.000 | 380.076 | | 360 | 0 | 360 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 0.004 | 0.625 | 42.725 | 0.119 | 0.017 | 0.150 | 0.039 | 0.101 | 0.000 | 0.000 | 0.000 | 0.000 | | 842 | 0 | 366 | 476 | 0 | 0 | GET | /contestant | 0.001 | 0.406 | 34.085 | 0.040 | 0.002 | 0.027 | 0.005 | 0.058 | 0.000 | 268.000 | 98088.000 | 116.494 | | 197 | 0 | 195 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 0.002 | 1.712 | 32.538 | 0.165 | 0.003 | 0.533 | 0.328 | 0.264 | 61.000 | 442.000 | 74881.000 | 380.107 | | 691 | 0 | 691 | 0 | 0 | 0 | GET | / | 0.035 | 0.406 | 29.805 | 0.043 | 0.005 | 0.001 | 0.016 | 0.068 | 268.000 | 268.000 | 185188.000 | 268.000 | | 408 | 0 | 407 | 0 | 1 | 0 | POST | /api/signup | 0.002 | 0.508 | 25.841 | 0.063 | 0.006 | 0.018 | 0.016 | 0.076 | 0.000 | 77.000 | 77.000 | 0.189 | | 38 | 0 | 35 | 0 | 3 | 0 | GET | /api/admin/clarifications | 0.001 | 10.004 | 25.610 | 0.674 | 0.001 | 0.003 | 8.792 | 2.150 | 80695.000 | 85065.000 | 216783.000 | 5704.816 | | 407 | 0 | 407 | 0 | 0 | 0 | GET | /signup | 0.001 | 0.314 | 21.085 | 0.052 | 0.002 | 0.061 | 0.166 | 0.055 | 268.000 | 268.000 | 109076.000 | 268.000 | | 163 | 0 | 121 | 0 | 42 | 0 | POST | /api/registration/team | 0.003 | 0.612 | 20.722 | 0.127 | 0.003 | 0.070 | 0.109 | 0.102 | 2.000 | 91.000 | 3080.000 | 18.896 | | 244 | 0 | 242 | 0 | 2 | 0 | POST | /api/registration/contestant | 0.003 | 0.542 | 20.663 | 0.085 | 0.010 | 0.042 | 0.016 | 0.085 | 0.000 | 97.000 | 152.000 | 0.623 | | 121 | 0 | 121 | 0 | 0 | 0 | GET | /api/registration/session | 0.005 | 0.591 | 19.720 | 0.163 | 0.005 | 0.256 | 0.317 | 0.116 | 437.000 | 517.000 | 58695.000 | 485.083 | | 566 | 0 | 207 | 359 | 0 | 0 | GET | /contestant/clarifications | 0.001 | 0.140 | 12.080 | 0.021 | 0.048 | 0.005 | 0.025 | 0.036 | 0.000 | 268.000 | 55476.000 | 98.014 | | 244 | 0 | 244 | 0 | 0 | 0 | GET | /registration | 0.001 | 0.460 | 10.140 | 0.042 | 0.000 | 0.008 | 0.020 | 0.069 | 268.000 | 268.000 | 65392.000 | 268.000 | | 35 | 0 | 6 | 29 | 0 | 0 | GET | /admin/clarifications | 0.001 | 0.394 | 1.094 | 0.031 | 0.000 | 0.002 | 0.001 | 0.079 | 0.000 | 265.000 | 1590.000 | 45.429 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 0.207 | 0.239 | 0.446 | 0.223 | 0.239 | 0.239 | 0.239 | 0.016 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 0.001 | 0.033 | 0.043 | 0.007 | 0.003 | 0.001 | 0.033 | 0.012 | 0.000 | 137.000 | 274.000 | 45.667 | | 2785 | 0 | 1098 | 1687 | 0 | 0 | GET | /packs/vendor.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 128536.000 | 128536.000 | 141132528.000 | 50675.953 | | 1408 | 0 | 360 | 1048 | 0 | 0 | GET | /packs/contestant.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 7148.000 | 2573280.000 | 1827.614 | | 2785 | 0 | 1098 | 1687 | 0 | 0 | GET | /packs/vendor.css | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 37471.000 | 37471.000 | 41143158.000 | 14773.127 | | 1342 | 0 | 1097 | 245 | 0 | 0 | GET | /packs/audience.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 7357.000 | 7357.000 | 8070629.000 | 6013.882 | | 35 | 0 | 1 | 34 | 0 | 0 | GET | /packs/admin.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 2677.000 | 2677.000 | 76.486 | +-------+-----+-------+------+-----+-----+--------+---------------------------------------+-------+--------+----------+-------+-------+-------+-------+--------+------------+------------+----------------+-----------+ ```
tatsuru commented 4 years ago

https://portal.isucon.net/contestant/benchmark_jobs/5869

analyze ``` +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+-------+--------+----------+-------+-------+-------+-------+--------+------------+------------+----------------+-----------+ | COUNT | 1XX | 2XX | 3XX | 4XX | 5XX | METHOD | URI | MIN | MAX | SUM | AVG | P1 | P50 | P99 | STDDEV | MIN(BODY) | MAX(BODY) | SUM(BODY) | AVG(BODY) | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+-------+--------+----------+-------+-------+-------+-------+--------+------------+------------+----------------+-----------+ | 38929 | 0 | 38927 | 0 | 2 | 0 | GET | /api/contestant/notifications | 0.001 | 7.282 | 7199.193 | 0.185 | 0.217 | 0.013 | 0.758 | 0.332 | 0.000 | 61.000 | 122.000 | 0.003 | | 659 | 0 | 655 | 0 | 4 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkReport/ReportBenchmarkResult | 0.237 | 20.093 | 3411.298 | 5.176 | 0.680 | 6.249 | 7.830 | 4.157 | 9.000 | 18.000 | 11259.000 | 17.085 | | 1842 | 0 | 1777 | 0 | 65 | 0 | POST | /xsuportal.proto.services.bench.BenchmarkQueue/ReceiveBenchmarkJob | 0.010 | 15.472 | 3302.722 | 1.793 | 0.548 | 2.850 | 0.250 | 2.003 | 0.000 | 80.000 | 58010.000 | 31.493 | | 6259 | 0 | 6147 | 0 | 112 | 0 | GET | /api/contestant/dashboard | 0.001 | 2.073 | 2250.089 | 0.359 | 0.121 | 0.204 | 0.065 | 0.399 | 69762.000 | 71304.000 | 341183800.000 | 54510.912 | | 6139 | 0 | 6137 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs | 0.001 | 7.203 | 1825.253 | 0.297 | 0.234 | 0.470 | 0.335 | 0.458 | 56.000 | 3447.000 | 6101500.000 | 993.892 | | 1037 | 0 | 1029 | 0 | 8 | 0 | GET | /api/contestant/clarifications | 0.002 | 10.006 | 1602.519 | 1.545 | 0.077 | 0.032 | 4.701 | 2.035 | 3976.000 | 5333.000 | 3081964.000 | 2972.000 | | 2509 | 0 | 2509 | 0 | 0 | 0 | GET | /api/session | 0.001 | 7.629 | 809.486 | 0.323 | 0.008 | 0.431 | 1.317 | 0.525 | 123.000 | 581.000 | 1081004.000 | 430.851 | | 18919 | 0 | 18909 | 0 | 10 | 0 | GET | /api/audience/dashboard | 0.001 | 2.039 | 686.303 | 0.036 | 0.210 | 0.027 | 0.019 | 0.089 | 69762.000 | 71304.000 | 1169620934.000 | 61822.556 | | 263 | 0 | 254 | 0 | 9 | 0 | PUT | /api/admin/clarifications/[0-9]+ | 0.001 | 10.040 | 258.108 | 0.981 | 0.001 | 1.131 | 4.063 | 1.880 | 404.000 | 511.000 | 111478.000 | 423.871 | | 3131 | 0 | 1366 | 1765 | 0 | 0 | GET | /favicon.ico | 0.001 | 1.026 | 177.586 | 0.057 | 0.003 | 0.049 | 0.002 | 0.074 | 1150.000 | 1150.000 | 1570900.000 | 501.725 | | 625 | 0 | 623 | 0 | 2 | 0 | GET | /api/contestant/benchmark_jobs/[0-9]+ | 0.001 | 3.756 | 165.794 | 0.265 | 0.042 | 0.063 | 0.817 | 0.367 | 61.000 | 311.000 | 173020.000 | 276.832 | | 665 | 0 | 660 | 0 | 5 | 0 | POST | /api/contestant/benchmark_jobs | 0.002 | 2.610 | 106.912 | 0.161 | 0.009 | 0.456 | 0.105 | 0.237 | 55.000 | 127.000 | 38273.000 | 57.553 | | 263 | 0 | 261 | 0 | 2 | 0 | POST | /api/contestant/clarifications | 0.001 | 3.266 | 101.282 | 0.385 | 0.008 | 0.434 | 0.007 | 0.371 | 61.000 | 434.000 | 100888.000 | 383.605 | | 263 | 0 | 261 | 0 | 2 | 0 | GET | /api/admin/clarifications/[0-9]+ | 0.002 | 1.515 | 62.148 | 0.236 | 0.002 | 0.216 | 0.185 | 0.264 | 61.000 | 434.000 | 100894.000 | 383.627 | | 1035 | 0 | 247 | 788 | 0 | 0 | GET | /contestant/clarifications | 0.002 | 0.439 | 61.361 | 0.059 | 0.216 | 0.001 | 0.004 | 0.085 | 0.000 | 256.000 | 63232.000 | 61.094 | | 360 | 0 | 360 | 0 | 0 | 0 | POST | /api/contestant/push_subscriptions | 0.005 | 0.604 | 57.401 | 0.159 | 0.039 | 0.128 | 0.025 | 0.128 | 0.000 | 0.000 | 0.000 | 0.000 | | 782 | 0 | 319 | 463 | 0 | 0 | GET | /contestant | 0.001 | 0.431 | 47.661 | 0.061 | 0.021 | 0.036 | 0.001 | 0.070 | 256.000 | 256.000 | 81664.000 | 104.430 | | 623 | 0 | 623 | 0 | 0 | 0 | GET | / | 0.001 | 0.439 | 42.807 | 0.069 | 0.023 | 0.276 | 0.012 | 0.080 | 256.000 | 256.000 | 159488.000 | 256.000 | | 244 | 0 | 242 | 0 | 2 | 0 | POST | /api/registration/contestant | 0.003 | 0.604 | 33.084 | 0.136 | 0.007 | 0.604 | 0.031 | 0.131 | 0.000 | 97.000 | 152.000 | 0.623 | | 415 | 0 | 414 | 1 | 0 | 0 | GET | /signup | 0.001 | 0.437 | 32.950 | 0.079 | 0.000 | 0.269 | 0.011 | 0.104 | 256.000 | 256.000 | 105984.000 | 255.383 | | 416 | 0 | 415 | 0 | 1 | 0 | POST | /api/signup | 0.002 | 0.601 | 30.158 | 0.072 | 0.006 | 0.065 | 0.053 | 0.092 | 0.000 | 77.000 | 77.000 | 0.185 | | 171 | 0 | 121 | 0 | 50 | 0 | POST | /api/registration/team | 0.003 | 0.635 | 26.270 | 0.154 | 0.003 | 0.121 | 0.069 | 0.134 | 2.000 | 91.000 | 3616.000 | 21.146 | | 121 | 0 | 121 | 0 | 0 | 0 | GET | /api/registration/session | 0.004 | 0.699 | 25.553 | 0.211 | 0.006 | 0.217 | 0.303 | 0.149 | 447.000 | 518.000 | 58992.000 | 487.537 | | 35 | 0 | 32 | 0 | 3 | 0 | GET | /api/admin/clarifications | 0.001 | 10.000 | 24.396 | 0.697 | 0.002 | 0.006 | 7.145 | 2.110 | 110050.000 | 114456.000 | 338775.000 | 9679.286 | | 244 | 0 | 244 | 0 | 0 | 0 | GET | /registration | 0.001 | 0.437 | 10.217 | 0.042 | 0.001 | 0.038 | 0.011 | 0.069 | 256.000 | 256.000 | 62464.000 | 256.000 | | 32 | 0 | 5 | 27 | 0 | 0 | GET | /admin/clarifications | 0.001 | 0.350 | 1.967 | 0.061 | 0.001 | 0.000 | 0.010 | 0.101 | 0.000 | 254.000 | 1270.000 | 39.688 | | 2 | 0 | 2 | 0 | 0 | 0 | POST | /initialize | 0.208 | 0.216 | 0.424 | 0.212 | 0.216 | 0.216 | 0.216 | 0.004 | 28.000 | 28.000 | 56.000 | 28.000 | | 6 | 0 | 4 | 0 | 2 | 0 | POST | /api/login | 0.001 | 0.007 | 0.015 | 0.003 | 0.002 | 0.001 | 0.007 | 0.002 | 0.000 | 137.000 | 274.000 | 45.667 | | 32 | 0 | 1 | 31 | 0 | 0 | GET | /packs/admin.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 2665.000 | 2665.000 | 83.281 | | 1817 | 0 | 360 | 1457 | 0 | 0 | GET | /packs/contestant.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 7135.000 | 2568600.000 | 1413.649 | | 3131 | 0 | 1038 | 2093 | 0 | 0 | GET | /packs/vendor.css | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 37450.000 | 38873100.000 | 12415.554 | | 1282 | 0 | 1037 | 245 | 0 | 0 | GET | /packs/audience.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 7344.000 | 7344.000 | 7615728.000 | 5940.505 | | 3131 | 0 | 1038 | 2093 | 0 | 0 | GET | /packs/vendor.js | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 128491.000 | 133373658.000 | 42597.783 | +-------+-----+-------+------+-----+-----+--------+-----------------------------------------------------------------------+-------+--------+----------+-------+-------+-------+-------+--------+------------+------------+----------------+-----------+ ```