partyzan543
commented
1 year ago Подебажил дополнительно. Записи на самом деле не пропускаются, у них просто не все поля имеют значения, поэтому если селектить из clickhouse, по предполагаемым параметрам, то их не видно. Если вычленить "проблемные записи" в отдельный файл и скормить Eventlogу, то записи нормально импортируются со всеми нужными полями. То есть такое ощущение, что при обходе файла то ли из за нечитаемых символов, либо из за отсутствия символов перевода строки или чего то еще объекты парсятся неправильно и по мере обхода файла данные "уезжают" и становятся недостоверными. А вот если они в составе общего файла, то почему то на некоторых отсутствует пользователь и Данные.Проведение почему то становятся Данные.Добавление.
deevil
Добрый день! Благодарю за ваш труд! Присутствует такая проблема, как пропуск некоторых записей при импорте. Берем файл лога (скажем общий за день) и импортируем в любой приемник (elastic или clickhouse) и при фильтрации за тот же период в самой 1С видим, что записей больше. Находим недостающую запись - в файле лога она есть. Проводим эксперимент. Создаем пустой файл лога, в него вписываем те проблемные строки которые не импортировались - Eventlog их нормально импортирует. То есть проблема не в самих записях, а в том, что по каким то причинам при массовом импорте некоторые строки пропускаются. Пробовал уменьшить в конфиге пачку обработки с 10000 до 1 записи - Результат тот же. Не могли бы проверить в чем может быть проблема?