[Fix]add set thread num config for wg flush pool

[wangbo]

Proposed changes

calculate workload group's mem table flush pool 's thread num by cpu and disk num, other wise it may cause mem table flush cost more memory than not enable workload group.

[doris-robot]

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

[wangbo]

run buildall

[wangbo]

@liaoxin01 please add merge branch label for this pr.

[doris-robot]

TPC-H: Total hot run time: 40079 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit 05b668263f8d05902f195a857f24cda530807dc8, data reload: false ------ Round 1 ---------------------------------- q1 17610 4411 4314 4314 q2 2017 191 196 191 q3 10483 1201 1145 1145 q4 10195 863 827 827 q5 7555 2655 2700 2655 q6 215 133 134 133 q7 952 595 604 595 q8 9227 2118 2078 2078 q9 8954 6476 6502 6476 q10 9028 3717 3758 3717 q11 460 233 233 233 q12 455 237 231 231 q13 17774 2981 2976 2976 q14 268 239 232 232 q15 524 468 483 468 q16 531 378 382 378 q17 973 750 663 663 q18 8037 7497 7400 7400 q19 5592 1430 1537 1430 q20 661 325 336 325 q21 4958 3266 3899 3266 q22 409 350 346 346 Total cold run time: 116878 ms Total hot run time: 40079 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4404 4251 4254 4251 q2 380 289 265 265 q3 2999 3006 2879 2879 q4 1945 1694 1772 1694 q5 5640 5479 5460 5460 q6 224 127 135 127 q7 2187 1907 1851 1851 q8 3253 3406 3440 3406 q9 8752 8711 8827 8711 q10 4131 3805 3723 3723 q11 598 498 514 498 q12 826 638 651 638 q13 17192 3170 3171 3170 q14 300 310 279 279 q15 519 490 470 470 q16 531 426 439 426 q17 1852 1523 1520 1520 q18 8146 8017 7853 7853 q19 2236 1655 1768 1655 q20 2881 1869 1850 1850 q21 5118 4982 4858 4858 q22 645 581 580 580 Total cold run time: 74759 ms Total hot run time: 56164 ms ```

[doris-robot]

TPC-DS: Total hot run time: 174362 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools TPC-DS sf100 test result on commit 05b668263f8d05902f195a857f24cda530807dc8, data reload: false query1 929 387 371 371 query2 6460 2492 2385 2385 query3 6637 207 209 207 query4 19381 17672 17189 17189 query5 3682 460 462 460 query6 277 156 156 156 query7 4593 319 295 295 query8 315 295 302 295 query9 8640 2454 2414 2414 query10 551 302 271 271 query11 10588 10064 9827 9827 query12 110 83 81 81 query13 1633 364 370 364 query14 8791 7814 7788 7788 query15 243 190 190 190 query16 7640 264 266 264 query17 1917 559 535 535 query18 1706 273 276 273 query19 197 144 156 144 query20 93 80 86 80 query21 218 127 127 127 query22 4488 4194 4052 4052 query23 34087 33611 33752 33611 query24 10794 2916 2791 2791 query25 587 371 367 367 query26 724 156 158 156 query27 2293 325 338 325 query28 6044 2185 2186 2185 query29 902 615 628 615 query30 257 159 158 158 query31 980 751 758 751 query32 93 54 54 54 query33 735 317 332 317 query34 890 501 496 496 query35 731 621 604 604 query36 1167 991 981 981 query37 142 74 73 73 query38 2976 2794 2810 2794 query39 863 817 819 817 query40 223 128 136 128 query41 55 78 54 54 query42 105 99 109 99 query43 618 539 544 539 query44 1188 748 729 729 query45 193 168 169 168 query46 1072 714 701 701 query47 1875 1779 1765 1765 query48 371 296 295 295 query49 817 413 417 413 query50 758 376 375 375 query51 6826 6713 6744 6713 query52 108 90 94 90 query53 359 292 284 284 query54 937 454 483 454 query55 76 75 75 75 query56 276 264 254 254 query57 1122 1031 1045 1031 query58 235 228 235 228 query59 3579 3424 3323 3323 query60 298 271 285 271 query61 94 94 94 94 query62 619 439 426 426 query63 317 291 286 286 query64 8545 2229 1794 1794 query65 3158 3094 3100 3094 query66 722 322 323 322 query67 15333 14981 14794 14794 query68 6060 552 536 536 query69 564 510 408 408 query70 1197 1142 1138 1138 query71 467 291 278 278 query72 7634 5632 5293 5293 query73 778 325 317 317 query74 5869 5607 5446 5446 query75 3792 2657 2635 2635 query76 3738 974 974 974 query77 624 300 300 300 query78 10791 9766 9712 9712 query79 2569 515 520 515 query80 1509 470 462 462 query81 555 218 220 218 query82 1422 109 105 105 query83 190 168 171 168 query84 271 87 90 87 query85 1277 290 274 274 query86 458 327 309 309 query87 3279 3099 3046 3046 query88 3938 2374 2381 2374 query89 479 391 372 372 query90 1793 197 197 197 query91 142 113 113 113 query92 61 50 51 50 query93 3065 525 518 518 query94 1078 201 200 200 query95 417 330 332 330 query96 602 272 271 271 query97 3249 3018 3023 3018 query98 226 200 197 197 query99 1284 839 846 839 Total cold run time: 272611 ms Total hot run time: 174362 ms ```

[doris-robot]

ClickBench: Total hot run time: 30.91 s

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools ClickBench test result on commit 05b668263f8d05902f195a857f24cda530807dc8, data reload: false query1 0.04 0.03 0.03 query2 0.08 0.04 0.04 query3 0.23 0.05 0.05 query4 1.68 0.07 0.07 query5 0.52 0.49 0.50 query6 1.16 0.72 0.72 query7 0.02 0.01 0.02 query8 0.05 0.04 0.05 query9 0.56 0.50 0.49 query10 0.53 0.54 0.54 query11 0.16 0.11 0.11 query12 0.15 0.12 0.12 query13 0.58 0.59 0.60 query14 0.78 0.77 0.78 query15 0.83 0.81 0.82 query16 0.37 0.36 0.38 query17 1.05 1.03 1.06 query18 0.22 0.27 0.23 query19 1.82 1.80 1.75 query20 0.01 0.01 0.01 query21 15.44 0.75 0.66 query22 4.99 6.77 2.14 query23 18.24 1.31 1.20 query24 2.10 0.23 0.22 query25 0.15 0.09 0.09 query26 0.27 0.18 0.16 query27 0.08 0.07 0.08 query28 13.18 1.02 0.99 query29 12.64 3.27 3.26 query30 0.25 0.06 0.06 query31 2.87 0.39 0.38 query32 3.28 0.48 0.49 query33 2.91 2.92 2.92 query34 16.96 4.41 4.41 query35 4.56 4.53 4.53 query36 0.65 0.48 0.48 query37 0.19 0.15 0.15 query38 0.15 0.14 0.15 query39 0.05 0.03 0.04 query40 0.18 0.15 0.16 query41 0.09 0.05 0.04 query42 0.05 0.05 0.05 query43 0.05 0.04 0.04 Total cold run time: 110.17 s Total hot run time: 30.91 s ```

[wangbo]

run buildall

[doris-robot]

TPC-H: Total hot run time: 41367 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit 3828097539251540210f87f1d75d42f3dc4eecba, data reload: false ------ Round 1 ---------------------------------- q1 17621 4942 4414 4414 q2 2032 197 194 194 q3 10441 1262 1120 1120 q4 10187 787 845 787 q5 7496 2732 2703 2703 q6 221 138 140 138 q7 951 602 615 602 q8 9231 2129 2107 2107 q9 9116 6588 6599 6588 q10 9031 3791 3814 3791 q11 464 253 247 247 q12 410 240 232 232 q13 18997 3014 3032 3014 q14 268 231 231 231 q15 542 496 492 492 q16 533 384 392 384 q17 1016 640 671 640 q18 8389 7696 7663 7663 q19 7567 1398 1471 1398 q20 651 320 342 320 q21 5101 3960 3999 3960 q22 399 346 342 342 Total cold run time: 120664 ms Total hot run time: 41367 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4478 4281 4277 4277 q2 370 258 270 258 q3 3031 2749 2748 2748 q4 1884 1607 1619 1607 q5 5272 5347 5323 5323 q6 223 132 134 132 q7 2165 1779 1767 1767 q8 3246 3357 3347 3347 q9 8505 8496 8404 8404 q10 3884 3710 3658 3658 q11 584 497 493 493 q12 779 642 587 587 q13 17644 3038 2984 2984 q14 302 272 268 268 q15 531 497 491 491 q16 482 417 417 417 q17 1840 1494 1478 1478 q18 7891 7615 7557 7557 q19 1690 1471 1558 1471 q20 2036 1810 1794 1794 q21 5095 4945 4882 4882 q22 647 567 581 567 Total cold run time: 72579 ms Total hot run time: 54510 ms ```

[doris-robot]

TPC-DS: Total hot run time: 173154 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools TPC-DS sf100 test result on commit 3828097539251540210f87f1d75d42f3dc4eecba, data reload: false query1 916 390 385 385 query2 6461 2457 2510 2457 query3 6653 207 213 207 query4 19043 17630 17196 17196 query5 4212 513 495 495 query6 267 166 168 166 query7 4591 287 299 287 query8 301 279 288 279 query9 8690 2428 2395 2395 query10 622 308 283 283 query11 10474 10004 10011 10004 query12 133 82 79 79 query13 1634 379 362 362 query14 9476 6961 7274 6961 query15 230 187 192 187 query16 7807 265 265 265 query17 1490 529 527 527 query18 1956 267 276 267 query19 195 166 156 156 query20 92 84 88 84 query21 222 141 130 130 query22 4359 4035 4033 4033 query23 33959 33023 33063 33023 query24 12430 2799 2871 2799 query25 675 365 369 365 query26 1846 157 156 156 query27 3062 309 310 309 query28 7355 2065 2057 2057 query29 1196 622 614 614 query30 287 157 152 152 query31 975 747 769 747 query32 98 54 53 53 query33 766 289 287 287 query34 983 475 474 474 query35 737 620 618 618 query36 1114 944 941 941 query37 293 78 75 75 query38 2890 2720 2781 2720 query39 862 826 817 817 query40 282 124 126 124 query41 54 53 52 52 query42 120 102 106 102 query43 611 579 571 571 query44 1261 733 739 733 query45 192 158 164 158 query46 1080 743 748 743 query47 1842 1760 1745 1745 query48 391 289 295 289 query49 1206 421 411 411 query50 773 390 403 390 query51 6900 6821 6772 6772 query52 104 94 99 94 query53 370 301 308 301 query54 946 440 441 440 query55 78 71 74 71 query56 285 260 295 260 query57 1136 1092 1077 1077 query58 271 273 255 255 query59 3653 3332 3099 3099 query60 314 277 276 276 query61 93 91 93 91 query62 646 447 456 447 query63 324 300 294 294 query64 9858 2237 1822 1822 query65 3164 3109 3135 3109 query66 1396 353 341 341 query67 15583 14883 15060 14883 query68 6125 546 541 541 query69 655 430 393 393 query70 1240 1176 1171 1171 query71 490 285 275 275 query72 7086 5332 5903 5332 query73 793 326 324 324 query74 5820 5449 5487 5449 query75 4001 2675 2625 2625 query76 4394 996 937 937 query77 657 312 321 312 query78 10385 10073 9791 9791 query79 2201 510 534 510 query80 1702 484 473 473 query81 580 220 221 220 query82 875 112 113 112 query83 263 171 174 171 query84 266 86 88 86 query85 1429 282 270 270 query86 467 308 316 308 query87 3281 3082 3057 3057 query88 3550 2375 2387 2375 query89 474 390 410 390 query90 1866 189 191 189 query91 127 100 100 100 query92 63 50 51 50 query93 2056 509 498 498 query94 1158 193 191 191 query95 408 319 329 319 query96 592 274 268 268 query97 3215 3019 3025 3019 query98 221 208 195 195 query99 1197 841 852 841 Total cold run time: 279922 ms Total hot run time: 173154 ms ```

[doris-robot]

ClickBench: Total hot run time: 31.92 s

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools ClickBench test result on commit 3828097539251540210f87f1d75d42f3dc4eecba, data reload: false query1 0.04 0.04 0.04 query2 0.08 0.04 0.04 query3 0.22 0.05 0.05 query4 1.67 0.09 0.08 query5 0.50 0.48 0.49 query6 1.13 0.73 0.72 query7 0.03 0.02 0.02 query8 0.05 0.04 0.04 query9 0.57 0.50 0.49 query10 0.55 0.56 0.53 query11 0.15 0.12 0.11 query12 0.14 0.12 0.12 query13 0.60 0.60 0.60 query14 0.78 0.78 0.78 query15 0.85 0.81 0.82 query16 0.35 0.38 0.36 query17 0.98 0.98 0.97 query18 0.21 0.26 0.26 query19 1.79 1.69 1.79 query20 0.01 0.01 0.02 query21 15.46 0.75 0.66 query22 4.71 5.39 3.27 query23 18.27 1.36 1.25 query24 2.03 0.25 0.22 query25 0.16 0.08 0.09 query26 0.27 0.18 0.18 query27 0.08 0.08 0.07 query28 13.25 1.02 1.00 query29 12.64 3.26 3.31 query30 0.25 0.06 0.05 query31 2.87 0.40 0.38 query32 3.25 0.48 0.48 query33 2.93 2.91 2.87 query34 16.91 4.44 4.43 query35 4.48 4.50 4.46 query36 0.64 0.48 0.47 query37 0.18 0.15 0.15 query38 0.16 0.14 0.15 query39 0.04 0.03 0.04 query40 0.18 0.15 0.14 query41 0.10 0.05 0.05 query42 0.06 0.05 0.04 query43 0.05 0.04 0.04 Total cold run time: 109.67 s Total hot run time: 31.92 s ```

[wangbo]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40404 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit 0803305d59dbf9342ce57cb9f68d5b93feca0bb5, data reload: false ------ Round 1 ---------------------------------- q1 18057 4543 4413 4413 q2 2848 191 202 191 q3 11435 1238 1238 1238 q4 10360 870 792 792 q5 7516 2764 2802 2764 q6 225 141 143 141 q7 977 627 614 614 q8 9353 2111 2086 2086 q9 9058 6511 6493 6493 q10 8802 3768 3729 3729 q11 453 243 238 238 q12 400 241 234 234 q13 17768 2984 3004 2984 q14 274 224 215 215 q15 529 477 491 477 q16 527 376 378 376 q17 978 668 709 668 q18 8185 7549 7486 7486 q19 4244 1445 1501 1445 q20 665 322 334 322 q21 4996 3803 3158 3158 q22 395 340 345 340 Total cold run time: 118045 ms Total hot run time: 40404 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4355 4280 4259 4259 q2 379 267 269 267 q3 2958 2696 2658 2658 q4 1884 1610 1656 1610 q5 5265 5289 5310 5289 q6 221 132 131 131 q7 2153 1748 1714 1714 q8 3183 3371 3307 3307 q9 8447 8431 8405 8405 q10 3950 3637 3683 3637 q11 578 489 482 482 q12 804 598 608 598 q13 16625 2976 3020 2976 q14 289 268 264 264 q15 523 479 489 479 q16 467 408 426 408 q17 1787 1459 1478 1459 q18 7634 7591 7398 7398 q19 1685 1732 1530 1530 q20 2003 1779 1764 1764 q21 4858 4758 4744 4744 q22 615 537 556 537 Total cold run time: 70663 ms Total hot run time: 53916 ms ```

[wangbo]

run buildall

[github-actions[bot]]

PR approved by at least one committer and no changes requested.

[github-actions[bot]]

PR approved by anyone and no changes requested.

[doris-robot]

TPC-H: Total hot run time: 40207 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit 97f7c6a443589fca80c434bbc141b776d2ade2dc, data reload: false ------ Round 1 ---------------------------------- q1 17605 4646 4313 4313 q2 2018 195 195 195 q3 10434 1290 1048 1048 q4 10200 865 722 722 q5 7522 2694 2674 2674 q6 225 143 141 141 q7 966 611 612 611 q8 9234 2106 2102 2102 q9 9022 6552 6538 6538 q10 9089 3773 3704 3704 q11 460 248 250 248 q12 524 242 244 242 q13 17761 3039 3023 3023 q14 273 221 226 221 q15 529 478 478 478 q16 495 389 378 378 q17 1045 728 753 728 q18 8008 7492 7445 7445 q19 7361 1413 1480 1413 q20 674 328 333 328 q21 5168 3959 3316 3316 q22 407 342 339 339 Total cold run time: 119020 ms Total hot run time: 40207 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4423 4345 4307 4307 q2 380 266 273 266 q3 3135 2862 2892 2862 q4 2042 1807 1746 1746 q5 5544 5527 5511 5511 q6 260 142 137 137 q7 2299 1859 1893 1859 q8 3368 3492 3491 3491 q9 8774 8819 8802 8802 q10 4196 3711 3865 3711 q11 601 485 506 485 q12 815 669 668 668 q13 16421 3179 3170 3170 q14 317 280 291 280 q15 544 487 482 482 q16 487 466 444 444 q17 1841 1561 1543 1543 q18 8257 8065 7901 7901 q19 1774 1525 1488 1488 q20 2614 1872 1851 1851 q21 5258 5074 4847 4847 q22 658 538 585 538 Total cold run time: 74008 ms Total hot run time: 56389 ms ```

[doris-robot]

TPC-DS: Total hot run time: 173694 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools TPC-DS sf100 test result on commit 97f7c6a443589fca80c434bbc141b776d2ade2dc, data reload: false query1 905 389 376 376 query2 6479 2355 2277 2277 query3 6620 214 224 214 query4 19303 17511 17431 17431 query5 3714 472 482 472 query6 263 177 162 162 query7 4596 297 288 288 query8 332 298 295 295 query9 8509 2394 2368 2368 query10 579 303 276 276 query11 10623 10185 10225 10185 query12 117 90 82 82 query13 1644 367 357 357 query14 9563 6181 6262 6181 query15 223 184 187 184 query16 7494 271 278 271 query17 1397 565 532 532 query18 1890 289 281 281 query19 209 159 155 155 query20 92 84 86 84 query21 210 135 129 129 query22 4340 4428 4090 4090 query23 33894 33797 33812 33797 query24 11170 2868 2887 2868 query25 671 398 408 398 query26 973 161 158 158 query27 2404 335 335 335 query28 5882 2162 2151 2151 query29 921 648 685 648 query30 238 157 153 153 query31 1008 781 785 781 query32 99 54 57 54 query33 785 302 307 302 query34 994 484 487 484 query35 775 648 635 635 query36 1127 991 979 979 query37 151 83 82 82 query38 2989 2830 2896 2830 query39 887 863 853 853 query40 227 150 128 128 query41 56 55 53 53 query42 124 106 110 106 query43 662 553 543 543 query44 1194 724 739 724 query45 202 166 163 163 query46 1079 729 727 727 query47 1876 1799 1807 1799 query48 355 297 290 290 query49 851 399 427 399 query50 770 381 390 381 query51 6854 6752 6741 6741 query52 103 92 90 90 query53 357 284 292 284 query54 921 439 439 439 query55 74 72 73 72 query56 284 268 256 256 query57 1116 1051 1063 1051 query58 240 256 250 250 query59 3435 3137 3113 3113 query60 324 267 280 267 query61 88 96 90 90 query62 605 432 446 432 query63 317 293 284 284 query64 8675 2194 1714 1714 query65 3179 3297 3122 3122 query66 769 327 322 322 query67 15835 15183 15185 15183 query68 7733 543 546 543 query69 658 484 351 351 query70 1222 1165 1170 1165 query71 511 286 265 265 query72 8489 5818 4947 4947 query73 799 326 322 322 query74 5914 5607 5609 5607 query75 4697 2682 2702 2682 query76 4687 980 937 937 query77 733 304 303 303 query78 10424 9736 9721 9721 query79 7864 525 515 515 query80 1163 492 466 466 query81 583 219 229 219 query82 764 103 106 103 query83 279 168 169 168 query84 278 82 86 82 query85 1314 275 313 275 query86 420 285 324 285 query87 3333 3133 3135 3133 query88 4787 2376 2352 2352 query89 491 392 385 385 query90 1888 190 187 187 query91 130 98 99 98 query92 59 52 49 49 query93 5784 501 509 501 query94 1102 186 184 184 query95 403 305 322 305 query96 606 271 265 265 query97 3332 3004 3047 3004 query98 229 209 199 199 query99 1144 855 860 855 Total cold run time: 286462 ms Total hot run time: 173694 ms ```

[doris-robot]

ClickBench: Total hot run time: 31.1 s

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools ClickBench test result on commit 97f7c6a443589fca80c434bbc141b776d2ade2dc, data reload: false query1 0.04 0.04 0.03 query2 0.08 0.04 0.04 query3 0.22 0.05 0.06 query4 1.68 0.08 0.08 query5 0.49 0.48 0.49 query6 1.15 0.74 0.73 query7 0.02 0.01 0.02 query8 0.05 0.04 0.05 query9 0.56 0.49 0.49 query10 0.55 0.55 0.54 query11 0.15 0.12 0.11 query12 0.16 0.12 0.13 query13 0.59 0.58 0.61 query14 0.78 0.78 0.78 query15 0.83 0.80 0.82 query16 0.37 0.37 0.35 query17 0.97 0.98 1.01 query18 0.24 0.25 0.26 query19 1.88 1.75 1.73 query20 0.01 0.01 0.02 query21 15.45 0.74 0.66 query22 4.62 5.84 2.28 query23 18.25 1.38 1.22 query24 2.16 0.22 0.23 query25 0.16 0.09 0.08 query26 0.27 0.17 0.18 query27 0.08 0.08 0.08 query28 13.17 1.03 1.02 query29 12.64 3.33 3.30 query30 0.25 0.06 0.06 query31 2.85 0.38 0.38 query32 3.27 0.47 0.48 query33 2.83 2.92 2.93 query34 17.07 4.47 4.47 query35 4.53 4.51 4.58 query36 0.65 0.46 0.48 query37 0.18 0.16 0.16 query38 0.16 0.15 0.16 query39 0.04 0.03 0.04 query40 0.19 0.14 0.16 query41 0.09 0.05 0.04 query42 0.05 0.05 0.04 query43 0.04 0.05 0.04 Total cold run time: 109.82 s Total hot run time: 31.1 s ```