[feature](sql-block-rule) sql block rule support external table

[morningman]

Let SQL Block rule feature support external table:

create sql_block_rule r1 properties("partition_num" = "100", "global" = "true");

[doris-robot]

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

[morningman]

run buildall

[morningman]

run buildall

[doris-robot]

TPC-H: Total hot run time: 39628 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit b218c934a18598f80066b74d4000c70c12c0ea50, data reload: false ------ Round 1 ---------------------------------- q1 17601 4296 4278 4278 q2 2005 190 199 190 q3 10461 1249 1028 1028 q4 10187 692 818 692 q5 7486 2655 2630 2630 q6 218 139 143 139 q7 943 598 612 598 q8 9225 2087 2068 2068 q9 8964 6477 6507 6477 q10 8976 3668 3714 3668 q11 449 233 229 229 q12 516 244 230 230 q13 17766 3042 2995 2995 q14 273 236 237 236 q15 527 485 489 485 q16 514 381 379 379 q17 965 554 698 554 q18 7933 7510 7414 7414 q19 9679 1537 1543 1537 q20 672 319 332 319 q21 4874 3144 3932 3144 q22 398 339 338 338 Total cold run time: 120632 ms Total hot run time: 39628 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4405 4210 4231 4210 q2 371 271 272 271 q3 3163 2951 2902 2902 q4 1968 1746 1712 1712 q5 5460 5473 5480 5473 q6 237 146 143 143 q7 2246 1860 1822 1822 q8 3324 3410 3421 3410 q9 8673 8809 8696 8696 q10 4103 3769 3856 3769 q11 593 490 494 490 q12 858 669 619 619 q13 15919 3152 3215 3152 q14 294 284 259 259 q15 547 483 481 481 q16 500 444 450 444 q17 1858 1537 1523 1523 q18 8153 7877 7715 7715 q19 1800 1703 1585 1585 q20 2132 1868 1848 1848 q21 10195 4906 4781 4781 q22 623 543 582 543 Total cold run time: 77422 ms Total hot run time: 55848 ms ```

[doris-robot]

TPC-DS: Total hot run time: 175078 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools TPC-DS sf100 test result on commit b218c934a18598f80066b74d4000c70c12c0ea50, data reload: false query1 918 384 377 377 query2 6458 2393 2443 2393 query3 6654 208 211 208 query4 19872 17774 17301 17301 query5 3691 483 481 481 query6 255 168 171 168 query7 4596 295 288 288 query8 321 290 286 286 query9 8707 2393 2373 2373 query10 581 324 298 298 query11 10690 10119 10216 10119 query12 114 84 81 81 query13 1647 378 352 352 query14 9598 7365 7771 7365 query15 249 189 188 188 query16 7762 260 282 260 query17 1603 542 535 535 query18 1948 288 268 268 query19 203 149 156 149 query20 89 83 83 83 query21 211 133 124 124 query22 4375 4054 3969 3969 query23 34024 33703 33706 33703 query24 10949 2922 2870 2870 query25 613 382 374 374 query26 715 161 159 159 query27 2289 320 326 320 query28 5987 2159 2123 2123 query29 900 642 653 642 query30 262 153 160 153 query31 987 784 769 769 query32 94 52 55 52 query33 676 298 291 291 query34 918 477 494 477 query35 763 642 666 642 query36 1132 984 967 967 query37 140 80 91 80 query38 2923 2922 2843 2843 query39 914 848 814 814 query40 206 125 121 121 query41 58 51 51 51 query42 119 108 107 107 query43 603 553 510 510 query44 1123 713 726 713 query45 196 163 162 162 query46 1071 724 730 724 query47 1854 1762 1752 1752 query48 365 300 294 294 query49 835 420 415 415 query50 774 392 382 382 query51 6866 6859 6792 6792 query52 106 96 100 96 query53 361 281 293 281 query54 897 457 452 452 query55 75 75 75 75 query56 285 264 266 264 query57 1122 1059 1040 1040 query58 261 248 256 248 query59 3728 3232 3186 3186 query60 307 302 271 271 query61 96 91 93 91 query62 605 450 451 450 query63 331 295 295 295 query64 8514 2249 1747 1747 query65 3191 3107 3095 3095 query66 749 321 331 321 query67 15285 15064 15199 15064 query68 4921 521 546 521 query69 619 489 336 336 query70 1205 1131 1104 1104 query71 456 289 282 282 query72 7658 5571 5593 5571 query73 767 321 320 320 query74 5916 5597 5562 5562 query75 3650 2680 2691 2680 query76 3548 936 989 936 query77 660 327 320 320 query78 10302 9939 9869 9869 query79 2298 510 514 510 query80 1823 473 479 473 query81 563 223 216 216 query82 1425 113 103 103 query83 309 169 177 169 query84 262 87 87 87 query85 1314 288 270 270 query86 479 323 338 323 query87 3319 3124 3097 3097 query88 4104 2388 2362 2362 query89 473 393 373 373 query90 1794 182 192 182 query91 129 98 97 97 query92 60 48 51 48 query93 2203 507 497 497 query94 1080 188 186 186 query95 402 312 315 312 query96 585 273 263 263 query97 3235 3054 3054 3054 query98 228 199 199 199 query99 1147 864 812 812 Total cold run time: 271745 ms Total hot run time: 175078 ms ```

[doris-robot]

ClickBench: Total hot run time: 31.02 s

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools ClickBench test result on commit b218c934a18598f80066b74d4000c70c12c0ea50, data reload: false query1 0.04 0.03 0.03 query2 0.08 0.04 0.04 query3 0.23 0.06 0.05 query4 1.67 0.07 0.07 query5 0.52 0.49 0.49 query6 1.15 0.72 0.72 query7 0.02 0.01 0.01 query8 0.05 0.04 0.05 query9 0.55 0.50 0.49 query10 0.54 0.55 0.55 query11 0.16 0.11 0.11 query12 0.15 0.12 0.12 query13 0.60 0.58 0.59 query14 0.80 0.78 0.78 query15 0.84 0.80 0.82 query16 0.38 0.38 0.37 query17 0.97 1.02 1.04 query18 0.24 0.21 0.27 query19 1.80 1.74 1.72 query20 0.02 0.01 0.01 query21 15.43 0.77 0.66 query22 4.10 6.45 2.43 query23 18.31 1.33 1.20 query24 2.09 0.23 0.24 query25 0.16 0.10 0.08 query26 0.26 0.18 0.17 query27 0.07 0.07 0.07 query28 13.18 1.01 1.01 query29 12.63 3.27 3.25 query30 0.25 0.06 0.06 query31 2.88 0.40 0.39 query32 3.28 0.48 0.46 query33 2.88 2.94 2.89 query34 17.04 4.44 4.45 query35 4.47 4.44 4.48 query36 0.65 0.46 0.49 query37 0.18 0.15 0.14 query38 0.15 0.15 0.14 query39 0.04 0.03 0.04 query40 0.19 0.14 0.14 query41 0.09 0.04 0.04 query42 0.06 0.05 0.04 query43 0.05 0.04 0.04 Total cold run time: 109.25 s Total hot run time: 31.02 s ```

[morningman]

run buildall

[doris-robot]

TPC-H: Total hot run time: 39811 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit 60e6c7d9cb96e9e62099bc2a25f45aaf06624ef7, data reload: false ------ Round 1 ---------------------------------- q1 18104 4507 4375 4375 q2 2612 195 192 192 q3 12216 1200 1070 1070 q4 10360 764 860 764 q5 7720 2647 2655 2647 q6 226 142 140 140 q7 960 604 619 604 q8 9343 2078 2066 2066 q9 9000 6483 6469 6469 q10 8853 3692 3710 3692 q11 432 237 236 236 q12 433 227 228 227 q13 17860 2964 2973 2964 q14 254 224 218 218 q15 527 493 489 489 q16 523 375 373 373 q17 962 611 639 611 q18 7992 7460 7371 7371 q19 4857 1431 1434 1431 q20 651 332 335 332 q21 4915 3209 3352 3209 q22 392 340 331 331 Total cold run time: 119192 ms Total hot run time: 39811 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4354 4223 4267 4223 q2 364 273 259 259 q3 2980 2739 2677 2677 q4 1851 1564 1590 1564 q5 5278 5254 5290 5254 q6 216 128 130 128 q7 2131 1742 1732 1732 q8 3182 3318 3293 3293 q9 8330 8310 8359 8310 q10 3887 3651 3711 3651 q11 586 493 491 491 q12 793 608 573 573 q13 16310 2998 2959 2959 q14 292 252 273 252 q15 528 466 480 466 q16 464 413 414 413 q17 1765 1470 1482 1470 q18 7642 7612 7524 7524 q19 1693 1594 1482 1482 q20 1981 1815 1790 1790 q21 4918 4762 4693 4693 q22 607 528 572 528 Total cold run time: 70152 ms Total hot run time: 53732 ms ```

[doris-robot]

TPC-DS: Total hot run time: 170400 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools TPC-DS sf100 test result on commit 60e6c7d9cb96e9e62099bc2a25f45aaf06624ef7, data reload: false query1 926 375 372 372 query2 6469 2355 2356 2355 query3 6651 210 210 210 query4 19975 17627 17236 17236 query5 4188 500 505 500 query6 283 198 173 173 query7 4603 291 292 291 query8 328 290 292 290 query9 8599 2364 2378 2364 query10 636 298 300 298 query11 10508 10025 10009 10009 query12 136 89 86 86 query13 1639 369 384 369 query14 8546 7329 7020 7020 query15 231 192 186 186 query16 7838 266 269 266 query17 1903 549 527 527 query18 1966 269 269 269 query19 198 158 151 151 query20 94 83 82 82 query21 207 132 122 122 query22 4397 4077 4091 4077 query23 33834 33228 33232 33228 query24 11080 2829 2807 2807 query25 608 360 364 360 query26 1227 149 147 147 query27 3002 317 322 317 query28 7321 2035 2041 2035 query29 890 628 617 617 query30 270 151 154 151 query31 953 769 737 737 query32 100 53 54 53 query33 800 294 287 287 query34 949 463 470 463 query35 783 642 596 596 query36 1092 910 955 910 query37 159 73 76 73 query38 2842 2737 2763 2737 query39 873 827 789 789 query40 203 130 126 126 query41 61 53 52 52 query42 121 104 104 104 query43 581 562 545 545 query44 1169 722 731 722 query45 197 172 170 170 query46 1062 733 716 716 query47 1865 1753 1761 1753 query48 387 302 295 295 query49 1091 410 413 410 query50 767 379 388 379 query51 6783 6874 6737 6737 query52 112 89 96 89 query53 359 297 306 297 query54 916 445 444 444 query55 76 73 76 73 query56 289 278 269 269 query57 1114 1068 1024 1024 query58 257 246 269 246 query59 3372 3116 3046 3046 query60 323 290 290 290 query61 94 91 92 91 query62 662 468 458 458 query63 318 310 297 297 query64 8958 2257 1774 1774 query65 3177 3112 3122 3112 query66 804 332 329 329 query67 15320 14841 14914 14841 query68 4578 531 541 531 query69 464 313 318 313 query70 1177 1156 1142 1142 query71 411 296 282 282 query72 7195 5725 2773 2773 query73 734 324 323 323 query74 6016 5541 5491 5491 query75 3503 2703 2768 2703 query76 2837 1009 856 856 query77 470 321 370 321 query78 10257 9729 9723 9723 query79 1783 513 521 513 query80 1775 480 477 477 query81 573 215 221 215 query82 709 112 107 107 query83 254 168 176 168 query84 277 82 81 81 query85 1380 288 287 287 query86 416 325 319 319 query87 3265 3092 3108 3092 query88 3553 2384 2372 2372 query89 489 390 387 387 query90 1898 186 187 186 query91 124 98 102 98 query92 59 50 52 50 query93 2491 509 511 509 query94 1160 185 184 184 query95 410 310 320 310 query96 597 269 269 269 query97 3221 3024 3085 3024 query98 217 211 201 201 query99 1258 853 844 844 Total cold run time: 271093 ms Total hot run time: 170400 ms ```

[doris-robot]

ClickBench: Total hot run time: 30.84 s

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools ClickBench test result on commit 60e6c7d9cb96e9e62099bc2a25f45aaf06624ef7, data reload: false query1 0.04 0.04 0.03 query2 0.08 0.04 0.04 query3 0.22 0.05 0.05 query4 1.67 0.09 0.08 query5 0.50 0.49 0.50 query6 1.14 0.73 0.73 query7 0.02 0.02 0.01 query8 0.05 0.05 0.04 query9 0.55 0.49 0.50 query10 0.54 0.54 0.54 query11 0.16 0.11 0.11 query12 0.15 0.13 0.12 query13 0.59 0.59 0.60 query14 0.77 0.77 0.81 query15 0.86 0.81 0.82 query16 0.38 0.35 0.37 query17 1.05 0.96 1.04 query18 0.25 0.25 0.24 query19 1.94 1.81 1.70 query20 0.02 0.01 0.00 query21 15.47 0.74 0.66 query22 5.01 6.10 2.17 query23 18.25 1.39 1.33 query24 2.17 0.22 0.21 query25 0.15 0.10 0.08 query26 0.26 0.17 0.17 query27 0.08 0.07 0.09 query28 13.19 1.02 1.00 query29 12.58 3.30 3.25 query30 0.27 0.06 0.05 query31 2.86 0.40 0.39 query32 3.25 0.48 0.48 query33 2.94 2.91 2.94 query34 17.14 4.39 4.42 query35 4.48 4.48 4.50 query36 0.65 0.48 0.47 query37 0.18 0.16 0.15 query38 0.14 0.14 0.15 query39 0.04 0.03 0.03 query40 0.18 0.14 0.16 query41 0.10 0.04 0.06 query42 0.07 0.05 0.04 query43 0.05 0.04 0.04 Total cold run time: 110.49 s Total hot run time: 30.84 s ```

[morningman]

run buildall

[doris-robot]

TPC-H: Total hot run time: 39911 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools Tpch sf100 test result on commit 2eacdaf84eb8dddbe001198a6551817e9b86a584, data reload: false ------ Round 1 ---------------------------------- q1 17825 4444 4349 4349 q2 2357 185 187 185 q3 10472 1185 1132 1132 q4 10199 757 783 757 q5 7505 2640 2605 2605 q6 213 133 132 132 q7 952 593 602 593 q8 9227 2051 2057 2051 q9 8876 6463 6461 6461 q10 8981 3755 3687 3687 q11 472 227 232 227 q12 398 230 229 229 q13 18678 3028 2976 2976 q14 246 234 212 212 q15 525 500 498 498 q16 527 375 379 375 q17 959 617 646 617 q18 8064 7436 7401 7401 q19 6610 1419 1417 1417 q20 664 327 328 327 q21 5003 3351 3900 3351 q22 385 331 329 329 Total cold run time: 119138 ms Total hot run time: 39911 ms ----- Round 2, with runtime_filter_mode=off ----- q1 4352 4270 4198 4198 q2 369 265 276 265 q3 2937 2810 2749 2749 q4 1840 1596 1552 1552 q5 5264 5253 5218 5218 q6 217 132 129 129 q7 2103 1742 1712 1712 q8 3181 3302 3259 3259 q9 8309 8328 8318 8318 q10 3841 3667 3643 3643 q11 572 500 475 475 q12 790 589 605 589 q13 17260 2997 2983 2983 q14 291 252 265 252 q15 521 499 487 487 q16 468 420 404 404 q17 1779 1450 1446 1446 q18 7690 7529 7366 7366 q19 1655 1445 1614 1445 q20 1951 1767 1776 1767 q21 4856 4664 4669 4664 q22 622 518 514 514 Total cold run time: 70868 ms Total hot run time: 53435 ms ```

[doris-robot]

TPC-DS: Total hot run time: 170295 ms

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools TPC-DS sf100 test result on commit 2eacdaf84eb8dddbe001198a6551817e9b86a584, data reload: false query1 912 370 362 362 query2 6451 2368 2323 2323 query3 6653 210 218 210 query4 19601 17464 17196 17196 query5 4149 498 483 483 query6 255 190 169 169 query7 4603 294 290 290 query8 306 279 286 279 query9 8638 2375 2348 2348 query10 602 288 281 281 query11 10692 10102 10039 10039 query12 135 88 83 83 query13 1641 367 367 367 query14 10126 7407 7147 7147 query15 228 186 197 186 query16 7769 279 270 270 query17 1888 552 555 552 query18 1827 284 282 282 query19 195 155 160 155 query20 94 83 86 83 query21 220 135 128 128 query22 4499 4268 4218 4218 query23 33756 32986 33062 32986 query24 11881 2828 2831 2828 query25 690 387 444 387 query26 1760 145 163 145 query27 2923 312 317 312 query28 7218 2067 2037 2037 query29 1087 608 602 602 query30 284 150 151 150 query31 967 757 760 757 query32 94 51 54 51 query33 793 288 286 286 query34 957 467 472 467 query35 763 615 630 615 query36 1067 962 962 962 query37 211 76 75 75 query38 2881 2758 2754 2754 query39 896 796 784 784 query40 280 123 122 122 query41 52 50 51 50 query42 120 96 101 96 query43 570 548 514 514 query44 1248 722 713 713 query45 202 161 159 159 query46 1076 753 720 720 query47 1867 1800 1778 1778 query48 354 295 297 295 query49 1192 402 403 402 query50 772 386 392 386 query51 6789 6661 6740 6661 query52 109 90 97 90 query53 360 297 290 290 query54 1065 448 433 433 query55 73 74 72 72 query56 275 265 273 265 query57 1170 1064 1043 1043 query58 247 241 239 239 query59 3300 3237 3079 3079 query60 305 279 273 273 query61 91 92 92 92 query62 651 463 452 452 query63 324 284 287 284 query64 9824 2269 1750 1750 query65 3193 3095 3097 3095 query66 1353 340 319 319 query67 15342 15266 15083 15083 query68 4729 552 548 548 query69 629 393 326 326 query70 1216 1165 1106 1106 query71 427 278 284 278 query72 7601 2749 2604 2604 query73 747 320 323 320 query74 5900 5452 5426 5426 query75 4254 2679 2692 2679 query76 3140 962 917 917 query77 689 312 294 294 query78 10411 9971 9779 9779 query79 2247 517 508 508 query80 1487 467 460 460 query81 563 218 218 218 query82 854 103 101 101 query83 295 171 173 171 query84 264 94 93 93 query85 2052 277 314 277 query86 474 341 328 328 query87 3300 3102 3075 3075 query88 3943 2377 2364 2364 query89 473 390 392 390 query90 1936 187 184 184 query91 129 97 98 97 query92 61 49 48 48 query93 2269 506 505 505 query94 1324 188 185 185 query95 405 314 315 314 query96 589 274 266 266 query97 3225 3025 2999 2999 query98 226 198 200 198 query99 1132 846 833 833 Total cold run time: 278907 ms Total hot run time: 170295 ms ```

[doris-robot]

ClickBench: Total hot run time: 30.41 s

``` machine: 'aliyun_ecs.c7a.8xlarge_32C64G' scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools ClickBench test result on commit 2eacdaf84eb8dddbe001198a6551817e9b86a584, data reload: false query1 0.03 0.03 0.03 query2 0.08 0.04 0.05 query3 0.22 0.05 0.04 query4 1.68 0.07 0.07 query5 0.48 0.48 0.49 query6 1.13 0.72 0.72 query7 0.02 0.02 0.01 query8 0.05 0.05 0.05 query9 0.56 0.48 0.49 query10 0.54 0.54 0.54 query11 0.16 0.12 0.11 query12 0.14 0.12 0.12 query13 0.59 0.59 0.59 query14 0.80 0.78 0.77 query15 0.84 0.80 0.82 query16 0.36 0.36 0.36 query17 1.04 0.95 0.98 query18 0.22 0.25 0.26 query19 1.91 1.71 1.70 query20 0.01 0.00 0.00 query21 15.41 0.80 0.65 query22 4.17 7.23 1.74 query23 18.36 1.37 1.28 query24 2.13 0.24 0.23 query25 0.16 0.09 0.08 query26 0.27 0.18 0.18 query27 0.08 0.08 0.08 query28 13.22 1.01 1.00 query29 12.64 3.29 3.32 query30 0.25 0.05 0.06 query31 2.89 0.38 0.38 query32 3.29 0.47 0.47 query33 2.88 2.90 2.95 query34 17.18 4.44 4.42 query35 4.45 4.52 4.49 query36 0.65 0.47 0.46 query37 0.18 0.15 0.16 query38 0.16 0.15 0.15 query39 0.04 0.04 0.03 query40 0.16 0.14 0.15 query41 0.10 0.04 0.04 query42 0.06 0.05 0.05 query43 0.04 0.04 0.04 Total cold run time: 109.63 s Total hot run time: 30.41 s ```