search

buaazp / zimg

A lightweight and high performance image storage and processing system.
http://zimg.buaa.us
BSD 3-Clause "New" or "Revised" License
2.69k stars 402 forks source link

能不能过滤重复图片？ #158

Closed cursesun closed 8 years ago

cursesun commented 8 years ago

我每次入库前都存储了服务返回的MD5，但没办法判断图片是否重复性，因为同一张图上传成功后返回的MD5是不一样，也就没有办法判断重复性，导致大量重复图片占据磁盘空间，有什么解决办法，或者能否在服务端去重？万分感谢您的答复

cursesun commented 8 years ago

我进行的是图片抓取存储工作，目前程序上想到的解决方案是另外维护一张图片原始地址表，每次上传前读取一次数据库判断是否存在。但这样做无疑增加了多余的损耗，在上亿级别图片量中，处理起来更显复杂，有没有服务端解决的方案？

cursesun commented 8 years ago

已解决。初始图片路径MD5入库，上传前做判断，再决定是否上传即可。