search

crazynds / Web-programming-fight

Competitive programming platform
https://cp.nextline.com.br
MIT License
7 stars 1 forks source link

Job para apagar arquivos removidos #22

Closed crazynds closed 3 months ago

crazynds commented 8 months ago

Pode ser que aconteça de um arquivo ser removido do banco sem que seja removido do minio. Então criar uma rotina semana que pega para cada arquivo do minio e verifica se acha a contrapartida dele no banco. Se não tiver, remove ele. Acho que vai ter que buscar uma forma eficiente de achar esses arquivos no minio, e remover dps no banco de dados.

crazynds commented 8 months ago

É bem improvavel que vá ter arquivos assim, mas na duvida, é bom não ficar mantendo lixo por algum problema de remoção.

crazynds commented 8 months ago

Da pra usar o bloom filter, no qual são adicionados no bloom filter a url de todos os arquivos na base de dados e depois para cada arquivo no minio, ele testa se está no bloom filter, se não tiver, é 100% de certeza que não está no banco, se tiver é uma análise probabilistca de estar. Laravel bloom filter: https://github.com/denismitr/laravel-bloom

crazynds commented 8 months ago

Feito o job, só que foi criado um verificador para ver se algum arquivo pode ser apagado indevidamente, se algum for. Se tudo ocorrer bem, esse trecho de código pode ser removido e essa issue finalizada.

crazynds commented 3 months ago

Acho q tudo ocorre bem.