itpp-labs / stalin

ГОЛОСУЙ☭НЕ☭ГОЛОСУЙ
https://stalin.memo.ru
0 stars 2 forks source link

fix fond7 duplicates #99

Closed yelizariev closed 3 years ago

yelizariev commented 3 years ago

по поводу дубликатов. Данные берутся из двух таблиц, в которых данные могут дублироваться:таблица persons -- столбцы primname, primsud, таблица prim -- столбец primtext.Добавил простую проверку "не добавлять primtext, если совпадает с primname или если есть primsud"В большинстве случаев должно сработать, но где-то могут остаться дубликаты. Например, Бушт

-- дважды указана информация по дате ВК ВС, причем данные отличаются. Плюс альтернативная фамилия дважды указана.Для таких персонажей надо вручную одну из таблиц изменить

Данные из таблицы prim"10385","Бушт К.Иоганнович\nОсужден ВК ВС  в период 01-16 ноября 1937г. по 1 категории"Данные из таблицы persons./persons.csv\010385:"10385","3","236","2","248","398","1","62","0","313","2","Бушта","Карл Иоганович","Бушта Карл Иоганович","0","10385","0","0","0","Б","","1937-11-10","1937-11-10","Карл","Иоганович","Бушта","БУШТА Карл Иоганович","Бушт","","(расстрелян в Москве)","","","","","0","0","0","","","0","0"

Я еще заметил, что в этом же участке кода и пытался убрать дубликаты по дате сессии ВК ВС и там не совсем правильно было сделано, в результате наоборот у части персонажей совсем пропала эта информация. Это тоже исправлено теперь. Сейчас так работает:"добавлять строчку Дата сессии ВК ВС только если нет значения в primsud