search

notneet / nime-crawler

This is not a bot for crawling anime web (under dev). See implementation at https://notnime.vercel.app
https://api-crawler.notneet.my.id/docs
1 stars 0 forks source link

Create Bot For Handle Changed Domain Website #3

Closed Hanivan closed 10 months ago

Hanivan commented 1 year ago

As I know, otakudesu change their domains periodically

Baru kepikiran untuk mengganti table media. Yang mana. akan menambahkan field old_domain. Dan mekanisme update origin media.. value lama akan di insert terlebih dauhulu ke field old_domain. lalu value baru akan mengupdate value lama

Juga mungkin ada penambahan field di table anime_data.streams & anime_data.watches. seperti old_uuid. untuk perlakuannya, sama seperti table media.. kan disana ada field uuid

uuid/object_id di mix dari md5 of baseUrl.

const crypto=require('crypto');
console.log(crypto.createHash('md5').update("https://otakudesu.lol/anime/1eye-subtitle-indonesia/").digest('hex'));
// '60f4c1ccfe8ba1681f76d52e0cb35e96'
Hanivan commented 10 months ago

Sudah di-implement di commit 755a98a6df2bee0c8facef3ac2e592965b08b108

Dibuat bot baru media-updater yang tugas nya melihat ke field old_origin di table media. yang nanti nya akan me-replace sub_url di table anime_source. Lalu pada bot cron-interval akan membawa payload tambahan old_origin. yang nanti nya akan digunakan untuk search by object_id bedasarkan yang baru atau yang lama sebelum melakukan proses upsert