cscenter / SInGe

Faster incremental SDCH dictionary generator
6 stars 7 forks source link

Сделать костыль к vcdiff'у, скармливающий в автомат документы пооконно. #13

Open baranov1ch opened 9 years ago

baranov1ch commented 9 years ago

или написать свой разбиватель на окна. Для этого надо понять, как open-vcdiff бьет документ на окна. #10 А потом решить, сможем ли мы это легко воспроизвести, или придется патчить open-vcdiff

Нужно это затем, что нам бы надо выбирать подстроки для словаря исходя из размера/положения окна, тк нет смысла собирать подстроки больше размера окна или которые гаратированно попадут на границу окон при кодировании.

skipor commented 9 years ago

Как выяснилось, для сжатия по SDCH окна не используются.

baranov1ch commented 9 years ago

хоть окон и нету, все равно документ будет приходить чанками из сети. Поэтому надо ориентироваться на размер чанка, который будем передавать снаружи