Теперь на dev машине данные Дума Голос 2011 v4 переменная иерархия (неполная - для тестирования) (1).xlsx импортируются чуть меньше чем за одну минуту (~2 млн вставок):
На prod все не так радужно, возможно из-за того, что инстанс и БД находятся в разных датацентрах: Central US и North Europe (24 минуты, данные такие же):
Переделал
DbSerializer
на работу сEFCore.BulkExtensions
. Предыдущий мой тест https://github.com/GolosMovement/StatElectGenerator/issues/57#issuecomment-419918116 был некорректный, т.к. устанавливался флаг возврата идентификатора вставляемой записи (SetOutputIdentity
), из-за этого bulk сводился к обычному batch sql insertions.Теперь на dev машине данные
Дума Голос 2011 v4 переменная иерархия (неполная - для тестирования) (1).xlsx
импортируются чуть меньше чем за одну минуту (~2 млн вставок):На prod все не так радужно, возможно из-за того, что инстанс и БД находятся в разных датацентрах: Central US и North Europe (24 минуты, данные такие же):
Также, нужно будет переделать прогресс нотификацию #66, т.к. bulk свел все к трем командам: https://github.com/GolosMovement/StatElectGenerator/blob/develop/ElectionStatistics.Core/Import/DbSerializer.cs#L71