Ограничение на размер вставки в clickhouse

newsett1er commented 5 years ago

Под высокой нагрузкой создаёт файлы буфера превышающие возможность вставки. Приводит к потере значений. Было бы полезно иметь ограничение на размер вставки. Пример: [upload] handle failed {"name": "graphite", "filename": "/data/carbon-clickhouse/graphite/default.1560255814879835735", "error": "clickhouse response status 500: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 966.00 MiB (attempt to allocate chunk of 16777216 bytes), maximum: 953.67 MiB (version 19.5.3.8 (official build))\n", "time": 0.791713384}

lomik commented 5 years ago

Кажется достаточно сделать ограничение на размер чанка в байтах. Сейчас оно только в секундах. Сделаю в ближайшем будущем

newsett1er commented 5 years ago

Да, хороший выход.

go-graphite / carbon-clickhouse

Ограничение на размер вставки в clickhouse #38