karliky / turrero

turrero.vercel.app
The Unlicense
10 stars 0 forks source link

Thread date and captured thread date mis match #7

Open ajramos opened 2 months ago

ajramos commented 2 months ago

There is a mismatch between the thread's date and the captured date. It looks like the scraper takes the embedded tweet date instead of the thread date.

See this example, the original thread is from June 1st

image

However, the scraper recorded it on a different date:

image

which is precisely the date of the embedded tweet on the first tweet of the thread:

image
vrescobar commented 2 months ago

me lo estoy mirando, tengo un branch (victor/parsing-enhancer) convirtiendo los scripts a typescript para hacerlos más robustos y corregir varios bugs, También voy a usar deno (en lugar de node) para ejecutar directamente typescript desde la consola, y seguramente algunos turraUtils para trabajar de manera más solida con la base de datos.

P.D. ¿por qué usar inglés?