Closed arosemanhellmann closed 1 month ago
cardigliano
commented
1 month ago Please run the below tests:
Toggle the Hourly switch
Run clickhouse-client from CLI and provide the output of the below query:
SELECT table, partition, partition_id, name, rows, bytes_on_disk FROM system.parts WHERE database = 'ntopng' AND table = 'hourly_flows' ORDER BY partition;
Thank you
arosemanhellmann
commented
1 month ago Also with the "hourly" checkbox, it still shows only data from the past 30 days max..
Here comes the output from the SQL...
emea-mon-a06p.hwl-family.net :) SELECT table, partition, partition_id, name, rows, bytes_on_disk FROM system.parts WHERE database = 'ntopng' AND table = 'hourly_flows' ORDER BY partition;
SELECT table, partition, partition_id, name, rows, bytes_on_disk FROM system.parts WHERE (database = 'ntopng') AND (table = 'hourly_flows') ORDER BY partition ASC
Query id: 58a2e978-3a04-4613-adef-7413933b4d8a
┌─table────────┬─partition─┬─partition_id─┬─name──────────────────────────┬────rows─┬─bytes_on_disk─┐ │ hourly_flows │ 20240523 │ 20240523 │ 20240523_3038566_3051961_925 │ 726199 │ 22057058 │ │ hourly_flows │ 20240523 │ 20240523 │ 20240523_3051962_3060996_912 │ 485880 │ 14504244 │ │ hourly_flows │ 20240523 │ 20240523 │ 20240523_3060997_3061005_2 │ 1025 │ 40707 │ │ hourly_flows │ 20240524 │ 20240524 │ 20240524_3061006_3075499_1000 │ 771362 │ 22484937 │ │ hourly_flows │ 20240524 │ 20240524 │ 20240524_3075500_3083506_812 │ 410242 │ 12076120 │ │ hourly_flows │ 20240524 │ 20240524 │ 20240524_3083507_3083542_7 │ 1656 │ 60919 │ │ hourly_flows │ 20240525 │ 20240525 │ 20240525_3083397_3101010_933 │ 821492 │ 22875110 │ │ hourly_flows │ 20240525 │ 20240525 │ 20240525_3101011_3106279_1011 │ 238655 │ 6844620 │ │ hourly_flows │ 20240525 │ 20240525 │ 20240525_3106280_3106284_1 │ 194 │ 8557 │ │ hourly_flows │ 20240526 │ 20240526 │ 20240526_3106285_3122889_927 │ 751423 │ 20710104 │ │ hourly_flows │ 20240526 │ 20240526 │ 20240526_3122890_3129061_816 │ 278917 │ 7945806 │ │ hourly_flows │ 20240526 │ 20240526 │ 20240526_3129062_3129069_2 │ 329 │ 14006 │ │ hourly_flows │ 20240527 │ 20240527 │ 20240527_3129070_3151275_1338 │ 1089366 │ 31152681 │ │ hourly_flows │ 20240527 │ 20240527 │ 20240527_3151276_3151283_2 │ 253 │ 13811 │ │ hourly_flows │ 20240528 │ 20240528 │ 20240528_3151284_3173317_1120 │ 1106745 │ 32527257 │ │ hourly_flows │ 20240528 │ 20240528 │ 20240528_3173318_3173318_0 │ 1 │ 3704 │ │ hourly_flows │ 20240529 │ 20240529 │ 20240529_3173319_3189184_842 │ 820211 │ 24062989 │ │ hourly_flows │ 20240529 │ 20240529 │ 20240529_3189185_3195288_1155 │ 297669 │ 8425683 │ │ hourly_flows │ 20240530 │ 20240530 │ 20240530_3195289_3217289_1167 │ 1028020 │ 29636879 │ │ hourly_flows │ 20240530 │ 20240530 │ 20240530_3217290_3217290_0 │ 5 │ 3974 │ │ hourly_flows │ 20240531 │ 20240531 │ 20240531_3217291_3239370_1213 │ 1075925 │ 31257827 │ │ hourly_flows │ 20240531 │ 20240531 │ 20240531_3239371_3239371_0 │ 186 │ 11164 │ │ hourly_flows │ 20240601 │ 20240601 │ 20240601_3239372_3254657_868 │ 713611 │ 19815972 │ │ hourly_flows │ 20240601 │ 20240601 │ 20240601_3254658_3261273_757 │ 307928 │ 8643133 │ │ hourly_flows │ 20240601 │ 20240601 │ 20240601_3261274_3261512_50 │ 11901 │ 397780 │ │ hourly_flows │ 20240601 │ 20240601 │ 20240601_3261513_3261513_0 │ 1 │ 3704 │ │ hourly_flows │ 20240602 │ 20240602 │ 20240602_3261514_3282041_1026 │ 944010 │ 25699868 │ │ hourly_flows │ 20240602 │ 20240602 │ 20240602_3282042_3283687_913 │ 73490 │ 2261183 │ │ hourly_flows │ 20240602 │ 20240602 │ 20240602_3283688_3283692_1 │ 196 │ 11548 │ │ hourly_flows │ 20240603 │ 20240603 │ 20240603_3283693_3303353_1077 │ 930339 │ 27692187 │ │ hourly_flows │ 20240603 │ 20240603 │ 20240603_3303354_3305860_594 │ 121023 │ 3652106 │ │ hourly_flows │ 20240603 │ 20240603 │ 20240603_3305861_3305861_0 │ 7 │ 4074 │ │ hourly_flows │ 20240604 │ 20240604 │ 20240604_3305862_3325986_1133 │ 957493 │ 28387345 │ │ hourly_flows │ 20240604 │ 20240604 │ 20240604_3325987_3327969_962 │ 93806 │ 2870420 │ │ hourly_flows │ 20240604 │ 20240604 │ 20240604_3327970_3327970_0 │ 16 │ 4521 │ │ hourly_flows │ 20240605 │ 20240605 │ 20240605_3327971_3350149_1118 │ 1064188 │ 31269495 │ │ hourly_flows │ 20240605 │ 20240605 │ 20240605_3350150_3350150_0 │ 1 │ 3714 │ │ hourly_flows │ 20240606 │ 20240606 │ 20240606_3350151_3367429_954 │ 799546 │ 23327665 │ │ hourly_flows │ 20240606 │ 20240606 │ 20240606_3367430_3372301_835 │ 235761 │ 6891091 │ │ hourly_flows │ 20240606 │ 20240606 │ 20240606_3372302_3372305_1 │ 26 │ 4896 │ │ hourly_flows │ 20240607 │ 20240607 │ 20240607_3372306_3394490_1175 │ 1062523 │ 30328026 │ │ hourly_flows │ 20240607 │ 20240607 │ 20240607_3394491_3394498_2 │ 440 │ 20653 │ │ hourly_flows │ 20240608 │ 20240608 │ 20240608_3394499_3411131_869 │ 793569 │ 22058962 │ │ hourly_flows │ 20240608 │ 20240608 │ 20240608_3411132_3416812_719 │ 240700 │ 6877079 │ │ hourly_flows │ 20240609 │ 20240609 │ 20240609_3416813_3438914_871 │ 1003775 │ 27320223 │ │ hourly_flows │ 20240609 │ 20240609 │ 20240609_3438915_3439034_24 │ 6298 │ 209024 │ │ hourly_flows │ 20240610 │ 20240610 │ 20240610_3439035_3453646_1027 │ 664433 │ 19966648 │ │ hourly_flows │ 20240610 │ 20240610 │ 20240610_3453647_3461120_723 │ 368591 │ 10768410 │ │ hourly_flows │ 20240611 │ 20240611 │ 20240611_3461121_3483244_1058 │ 1055597 │ 30342338 │ │ hourly_flows │ 20240611 │ 20240611 │ 20240611_3483245_3483245_0 │ 2 │ 3787 │ │ hourly_flows │ 20240612 │ 20240612 │ 20240612_3483246_3499317_985 │ 716192 │ 21667286 │ │ hourly_flows │ 20240612 │ 20240612 │ 20240612_3499318_3504974_943 │ 287016 │ 8508963 │ │ hourly_flows │ 20240612 │ 20240612 │ 20240612_3504975_3505592_235 │ 29115 │ 942199 │ │ hourly_flows │ 20240612 │ 20240612 │ 20240612_3505593_3505593_0 │ 124 │ 9002 │ │ hourly_flows │ 20240613 │ 20240613 │ 20240613_3505594_3524614_1117 │ 880213 │ 26104829 │ │ hourly_flows │ 20240613 │ 20240613 │ 20240613_3524615_3527898_1018 │ 159419 │ 4746269 │ │ hourly_flows │ 20240613 │ 20240613 │ 20240613_3527899_3527908_2 │ 119 │ 7815 │ │ hourly_flows │ 20240614 │ 20240614 │ 20240614_3527909_3545880_1114 │ 816709 │ 23698986 │ │ hourly_flows │ 20240614 │ 20240614 │ 20240614_3545881_3550182_744 │ 206103 │ 6068460 │ │ hourly_flows │ 20240614 │ 20240614 │ 20240614_3550183_3550187_1 │ 27 │ 5115 │ │ hourly_flows │ 20240615 │ 20240615 │ 20240615_3550188_3568913_832 │ 880743 │ 23781172 │ │ hourly_flows │ 20240615 │ 20240615 │ 20240615_3568914_3572538_723 │ 161497 │ 4716502 │ │ hourly_flows │ 20240615 │ 20240615 │ 20240615_3572539_3572543_1 │ 271 │ 12580 │ │ hourly_flows │ 20240616 │ 20240616 │ 20240616_3572544_3594861_857 │ 1023906 │ 27186737 │ │ hourly_flows │ 20240616 │ 20240616 │ 20240616_3594862_3594876_3 │ 540 │ 23639 │ │ hourly_flows │ 20240617 │ 20240617 │ 20240617_3594877_3608691_1074 │ 644543 │ 19384396 │ │ hourly_flows │ 20240617 │ 20240617 │ 20240617_3608692_3616958_820 │ 435995 │ 12802995 │ │ hourly_flows │ 20240618 │ 20240618 │ 20240618_3616959_3639117_1049 │ 1109247 │ 31629981 │ │ hourly_flows │ 20240618 │ 20240618 │ 20240618_3639118_3639121_1 │ 176 │ 10590 │ │ hourly_flows │ 20240619 │ 20240619 │ 20240619_3639122_3653718_1043 │ 719041 │ 21645188 │ │ hourly_flows │ 20240619 │ 20240619 │ 20240619_3653719_3661364_834 │ 385857 │ 11242725 │ │ hourly_flows │ 20240619 │ 20240619 │ 20240619_3661365_3661365_0 │ 20 │ 4607 │ │ hourly_flows │ 20240620 │ 20240620 │ 20240620_3661366_3677319_1100 │ 780993 │ 22914566 │ │ hourly_flows │ 20240620 │ 20240620 │ 20240620_3677320_3683536_818 │ 300527 │ 8719232 │ │ hourly_flows │ 20240620 │ 20240620 │ 20240620_3683537_3683537_0 │ 17 │ 4425 │ │ hourly_flows │ 20240621 │ 20240621 │ 20240621_3683538_3697314_1243 │ 609249 │ 18288356 │ │ hourly_flows │ 20240621 │ 20240621 │ 20240621_3697315_3705754_918 │ 411104 │ 11660887 │ │ hourly_flows │ 20240621 │ 20240621 │ 20240621_3705755_3705792_8 │ 2807 │ 94331 │ │ hourly_flows │ 20240622 │ 20240622 │ 20240622_3705793_3723560_1061 │ 841995 │ 23337073 │ │ hourly_flows │ 20240622 │ 20240622 │ 20240622_3723561_3728110_803 │ 210764 │ 6013417 │ │ hourly_flows │ 20240622 │ 20240622 │ 20240622_3728111_3728120_2 │ 282 │ 13544 │ │ hourly_flows │ 20240623 │ 20240623 │ 20240623_3728121_3750436_1088 │ 1035034 │ 28007739 │ │ hourly_flows │ 20240623 │ 20240623 │ 20240623_3750437_3750455_4 │ 381 │ 16118 │ │ hourly_flows │ 20240624 │ 20240624 │ 20240624_3750456_3772611_1186 │ 1059550 │ 30897783 │ │ hourly_flows │ 20240624 │ 20240624 │ 20240624_3772612_3772616_1 │ 161 │ 9580 │ │ hourly_flows │ 20240625 │ 20240625 │ 20240625_3772617_3794871_1040 │ 1108545 │ 31696087 │ │ hourly_flows │ 20240625 │ 20240625 │ 20240625_3794872_3794875_1 │ 109 │ 8307 │ │ hourly_flows │ 20240626 │ 20240626 │ 20240626_3794876_3816492_1045 │ 1056699 │ 31076818 │ │ hourly_flows │ 20240626 │ 20240626 │ 20240626_3816493_3817081_219 │ 28485 │ 917592 │ │ hourly_flows │ 20240626 │ 20240626 │ 20240626_3817082_3817082_0 │ 34 │ 5189 │ │ hourly_flows │ 20240627 │ 20240627 │ 20240627_3817083_3833401_985 │ 784555 │ 22927225 │ │ hourly_flows │ 20240627 │ 20240627 │ 20240627_3833402_3839049_860 │ 276702 │ 8007602 │ │ hourly_flows │ 20240628 │ 20240628 │ 20240628_3839050_3855472_1203 │ 778857 │ 23537372 │ │ hourly_flows │ 20240628 │ 20240628 │ 20240628_3855473_3860238_902 │ 227511 │ 6659452 │ │ hourly_flows │ 20240628 │ 20240628 │ 20240628_3860239_3860239_0 │ 1 │ 3805 │ │ hourly_flows │ 20240629 │ 20240629 │ 20240629_3860240_3879880_1042 │ 910438 │ 25129660 │ │ hourly_flows │ 20240629 │ 20240629 │ 20240629_3879881_3882310_830 │ 109711 │ 3284861 │ │ hourly_flows │ 20240629 │ 20240629 │ 20240629_3882311_3882311_0 │ 38 │ 5205 │ │ hourly_flows │ 20240630 │ 20240630 │ 20240630_3882312_3904425_995 │ 1008211 │ 27561070 │ │ hourly_flows │ 20240630 │ 20240630 │ 20240630_3904426_3904426_0 │ 9 │ 4293 │ │ hourly_flows │ 20240701 │ 20240701 │ 20240701_3904427_3925668_1111 │ 1041163 │ 29904848 │ │ hourly_flows │ 20240701 │ 20240701 │ 20240701_3925669_3926494_422 │ 40340 │ 1311373 │ │ hourly_flows │ 20240701 │ 20240701 │ 20240701_3926495_3926498_1 │ 44 │ 5285 │ │ hourly_flows │ 20240702 │ 20240702 │ 20240702_3926499_3948587_1097 │ 1057365 │ 30821622 │ │ hourly_flows │ 20240702 │ 20240702 │ 20240702_3948588_3948692_21 │ 5999 │ 199929 │ │ hourly_flows │ 20240703 │ 20240703 │ 20240703_3948693_3969770_1264 │ 989205 │ 28439812 │ │ hourly_flows │ 20240703 │ 20240703 │ 20240703_3969771_3970893_577 │ 52980 │ 1681235 │ │ hourly_flows │ 20240703 │ 20240703 │ 20240703_3970894_3970898_1 │ 102 │ 8025 │ │ hourly_flows │ 20240704 │ 20240704 │ 20240704_3970899_3993164_1020 │ 1043021 │ 29594432 │ │ hourly_flows │ 20240704 │ 20240704 │ 20240704_3993165_3993172_2 │ 580 │ 21869 │ │ hourly_flows │ 20240705 │ 20240705 │ 20240705_3993173_4001574_1211 │ 378141 │ 11203795 │ │ hourly_flows │ 20240705 │ 20240705 │ 20240705_4001575_4015096_975 │ 643204 │ 18865052 │ │ hourly_flows │ 20240705 │ 20240705 │ 20240705_4015097_4015319_45 │ 11933 │ 387011 │ │ hourly_flows │ 20240706 │ 20240706 │ 20240706_4015207_4032059_1048 │ 744111 │ 20431579 │ │ hourly_flows │ 20240706 │ 20240706 │ 20240706_4032060_4037619_1224 │ 243980 │ 6650465 │ │ hourly_flows │ 20240707 │ 20240707 │ 20240707_4037620_4053063_1135 │ 679545 │ 18602444 │ │ hourly_flows │ 20240707 │ 20240707 │ 20240707_4053064_4059880_861 │ 297203 │ 8273307 │ │ hourly_flows │ 20240708 │ 20240708 │ 20240708_4059881_4082090_887 │ 1090566 │ 31367954 │ │ hourly_flows │ 20240709 │ 20240709 │ 20240709_4082091_4100783_965 │ 832081 │ 24021608 │ │ hourly_flows │ 20240709 │ 20240709 │ 20240709_4100784_4104262_1232 │ 113784 │ 3428168 │ │ hourly_flows │ 20240709 │ 20240709 │ 20240709_4104263_4104432_34 │ 6037 │ 190875 │ │ hourly_flows │ 20240710 │ 20240710 │ 20240710_4104433_4124254_1592 │ 792264 │ 23462901 │ │ hourly_flows │ 20240710 │ 20240710 │ 20240710_4124255_4126818_800 │ 117030 │ 3530329 │ │ hourly_flows │ 20240710 │ 20240710 │ 20240710_4126819_4126819_0 │ 27 │ 4979 │ │ hourly_flows │ 20240711 │ 20240711 │ 20240711_4126820_4148988_1141 │ 1092392 │ 31791315 │ │ hourly_flows │ 20240711 │ 20240711 │ 20240711_4148989_4148989_0 │ 77 │ 6477 │ │ hourly_flows │ 20240712 │ 20240712 │ 20240712_4148990_4167100_1064 │ 855478 │ 24441777 │ │ hourly_flows │ 20240712 │ 20240712 │ 20240712_4167101_4171233_903 │ 188114 │ 5430753 │ │ hourly_flows │ 20240712 │ 20240712 │ 20240712_4171234_4171243_2 │ 80 │ 6981 │ │ hourly_flows │ 20240713 │ 20240713 │ 20240713_4171244_4193347_1112 │ 966729 │ 26498568 │ │ hourly_flows │ 20240714 │ 20240714 │ 20240714_4193348_4207523_1064 │ 629103 │ 16833240 │ │ hourly_flows │ 20240714 │ 20240714 │ 20240714_4207524_4211929_1292 │ 200825 │ 5765540 │ │ hourly_flows │ 20240714 │ 20240714 │ 20240714_4211930_4215565_834 │ 160843 │ 4619652 │ │ hourly_flows │ 20240714 │ 20240714 │ 20240714_4215566_4215566_0 │ 4 │ 4013 │ │ hourly_flows │ 20240715 │ 20240715 │ 20240715_4215567_4237688_1177 │ 1041484 │ 30260202 │ │ hourly_flows │ 20240716 │ 20240716 │ 20240716_4237689_4259845_991 │ 1043206 │ 29736931 │ │ hourly_flows │ 20240716 │ 20240716 │ 20240716_4259846_4259846_0 │ 29 │ 5043 │ │ hourly_flows │ 20240717 │ 20240717 │ 20240717_4259847_4271210_1160 │ 558645 │ 16644942 │ │ hourly_flows │ 20240717 │ 20240717 │ 20240717_4271211_4279923_1149 │ 424745 │ 12437718 │ │ hourly_flows │ 20240717 │ 20240717 │ 20240717_4279924_4281994_635 │ 103422 │ 3171405 │ │ hourly_flows │ 20240717 │ 20240717 │ 20240717_4281995_4281995_0 │ 19 │ 4734 │ │ hourly_flows │ 20240718 │ 20240718 │ 20240718_4281996_4290585_1018 │ 379606 │ 11310179 │ │ hourly_flows │ 20240718 │ 20240718 │ 20240718_4290586_4297075_785 │ 340803 │ 10623478 │ │ hourly_flows │ 20240718 │ 20240718 │ 20240718_4297076_4301840_978 │ 250141 │ 7542521 │ │ hourly_flows │ 20240718 │ 20240718 │ 20240718_4301841_4304191_598 │ 116418 │ 3556232 │ │ hourly_flows │ 20240718 │ 20240718 │ 20240718_4304192_4304317_25 │ 7762 │ 253819 │ │ hourly_flows │ 20240719 │ 20240719 │ 20240719_4304318_4311672_911 │ 374423 │ 11104263 │ │ hourly_flows │ 20240719 │ 20240719 │ 20240719_4311673_4323802_982 │ 605767 │ 18167450 │ │ hourly_flows │ 20240719 │ 20240719 │ 20240719_4323803_4326596_761 │ 137581 │ 4060126 │ │ hourly_flows │ 20240719 │ 20240719 │ 20240719_4326597_4326624_6 │ 865 │ 35016 │ │ hourly_flows │ 20240720 │ 20240720 │ 20240720_4326625_4343927_1042 │ 838233 │ 22501057 │ │ hourly_flows │ 20240720 │ 20240720 │ 20240720_4343928_4346752_658 │ 131307 │ 3862349 │ │ hourly_flows │ 20240720 │ 20240720 │ 20240720_4346753_4348951_764 │ 97230 │ 2922042 │ │ hourly_flows │ 20240720 │ 20240720 │ 20240720_4348952_4349247_65 │ 15400 │ 498782 │ │ hourly_flows │ 20240721 │ 20240721 │ 20240721_4349248_4357351_782 │ 378272 │ 10686279 │ │ hourly_flows │ 20240721 │ 20240721 │ 20240721_4357352_4363257_1172 │ 275278 │ 7854827 │ │ hourly_flows │ 20240721 │ 20240721 │ 20240721_4363258_4367301_656 │ 192735 │ 5573330 │ │ hourly_flows │ 20240721 │ 20240721 │ 20240721_4367302_4371099_716 │ 176028 │ 5090039 │ │ hourly_flows │ 20240721 │ 20240721 │ 20240721_4371100_4371905_399 │ 38257 │ 1227343 │ │ hourly_flows │ 20240721 │ 20240721 │ 20240721_4371906_4371909_1 │ 58 │ 5794 │ │ hourly_flows │ 20240722 │ 20240722 │ 20240722_4371910_4377461_723 │ 274361 │ 7815218 │ │ hourly_flows │ 20240722 │ 20240722 │ 20240722_4377462_4378504_587 │ 38789 │ 1319101 │ │ hourly_flows │ 20240722 │ 20240722 │ 20240722_4378505_4378509_1 │ 142 │ 9788 │ └──────────────┴───────────┴──────────────┴───────────────────────────────┴─────────┴───────────────┘
cardigliano
commented
1 month ago @arosemanhellmann any chance we can debug this in a joint session? please drop me an email (cardigliano at ntop.org) with your availability
cardigliano
commented
1 month ago This seems to be working on @arosemanhellmann side with the latest update. Closing.
Environment:
What happened: We experience a lack of performance when doing large queries on historical data. I thought it would possibly be an option to reduce the raw data that is kept and aggregate it earlier.
Before doing that i checked what is shown in the historical flows when data has been aggregated. ... and i wondered that the shown data ends on the date where the RAW data should be aggregated. - So it seems that it either is not aggregating data, or it's not showing the aggregated data in the historical flows.
I would wonder what the aggregation is for, if it does not show any aggregated data.
How did you reproduce it?
I just need to look into historical flows, that are older than 30 days. - i can see nothing then.
Debug Information:
Here comes a screen shot.