search

MonkeyAndres / animeflv-scrapper

🏯 AnimeFLV fake API made scrapping the AnimeFLV website
https://www.npmjs.com/package/animeflv-scrapper
GNU General Public License v3.0
14 stars 10 forks source link

CloudflareError en Animeflv #8

Open jeluchu opened 4 years ago

jeluchu commented 4 years ago

Buenas tardes @MonkeyAndres,

Llevo un tiempo mirando un poco el tema de scrapear Animeflv (no sé si se dice realmente scrapear), más que nada por que estaba en desarrollo de una app en android de anime y al final por x razones tuve que meterme en el desarrollo de una API para la app con nodejs y demás (y me estoy volviendo loco). He estado viendo que últimamente da problemas.

Antiguamente sé que usabas Cloudscraper (que actualmente ya está deprecado), y actualmente usas Humanoid-js, yo he estado probando con el módulo de Hooman y al principio pues tiraba bastante bien cuándo en julio activaron de nuevo Cloudflare en la página, pero parece ser que ahora han realizado un nuevo challenge y no funciona nada de nada.

No sé si tienes pensado lanzar una update corrigiendo este problema, pero actualmente no funciona el módulo actualmente

Muchas gracias de antemano por tu trabajo 

Unhandled rejection RequestError: CloudflareError: 1020, Access Denied (Custom Firewall Rules)
    at new RequestError (D:\Descargas\animeflv-scrapper-master\node_modules\request-promise\node_modules\request-promise-core\lib\errors.js:14:15)
    at Request.plumbing.callback (D:\Descargas\animeflv-scrapper-master\node_modules\request-promise\node_modules\request-promise-core\lib\plumbing.js:87:29)
    at Request.RP$callback [as _callback] (D:\Descargas\animeflv-scrapper-master\node_modules\request-promise\node_modules\request-promise-core\lib\plumbing.js:46:31)
    at self.callback (D:\Descargas\animeflv-scrapper-master\node_modules\request\request.js:185:22)
    at onCloudflareResponse (D:\Descargas\animeflv-scrapper-master\node_modules\cloudscraper\index.js:229:12)
    at onRequestResponse (D:\Descargas\animeflv-scrapper-master\node_modules\cloudscraper\index.js:205:5)
    at Request.<anonymous> (D:\Descargas\animeflv-scrapper-master\node_modules\cloudscraper\index.js:149:7)
    at Object.onceWrapper (events.js:422:26)
    at Request.emit (events.js:315:20)
    at Request.<anonymous> (D:\Descargas\animeflv-scrapper-master\node_modules\request\request.js:1154:10)
    at Request.emit (events.js:315:20)
    at IncomingMessage.<anonymous> (D:\Descargas\animeflv-scrapper-master\node_modules\request\request.js:1076:12)
    at Object.onceWrapper (events.js:421:28)
    at IncomingMessage.emit (events.js:327:22)
    at endReadableNT (_stream_readable.js:1221:12)
    at processTicksAndRejections (internal/process/task_queues.js:84:21)
MonkeyAndres commented 4 years ago

Hola @Jeluchu ,

No entiendo a que te refieres, acabo de probar el modulo en local y funciona perfectamente.

jeluchu commented 4 years ago

Hola @MonkeyAndres,

En este momento funciona correctamente debido a que Animeflv ha desactivado la protección de Cloudflare, por lo tanto entiendo que no hay ningún problema por el momento. Abrí la incidencia hace 6 días puesto que llevaba 1 semana sin funcionar debido a lo que te comentaba.

No sé si cuándo vuelvan a activar dicha protección en la web (que me refiero al tema de que cuándo accedes a la web te salta la verificación de si eres un bot o no), funcionará o volverá a dar problemas el módulo.

MonkeyAndres commented 4 years ago

Hola @Jeluchu

No sé si seguirá funcionando cuando vuelvan a activar la protección, en caso de que falle intentare ver si puedo arreglarlo. Te animo también a que intentes buscar algún parche para saltarse la verificación de Cloudflare.

Gracias por avisarme del fallo.

jeluchu commented 4 years ago

Hola @MonkeyAndres

Cuándo vuelva a activarse si quieres te aviso, ya que llevo ya un par de meses intentando buscar una solución estable para ese problema, ya que cada vez que se activa Cloudflare deja de funcionar. Por el momento la única cosa que llegó a funcionar fue el módulo de Hooman que te comentaba al inicio del hilo, pero cada vez que activan Cloudflare parece ser que cambian el challenge. De todos modos sigo pendiente y en busca de una solución efectiva.

No hay de que, para eso estamos!

jeluchu commented 4 years ago

Hola @MonkeyAndres,

Te informo de que han vuelto a activar el challenge de Cloudflare, aún sigo investigando sobre una solución pero parece que cada vez que se activa hay que volver a cambiar la solución también.

Nan0ck commented 4 years ago

Correcto, lo volvieron a activar... por el momento también he estado investigando una nueva solución, por alguna razón cuando lo intento desde algunas VPN si me funciona.

jeluchu commented 4 years ago

@sgha10 yo comentaba antes, que había un módulo llamado Hooman que al principio hacía el bypass, pero últimamente no lo consigue y no llego a encontrar ninguna forma para solucionar esto, yo uso Animeflv para mi app de Android y cuándo pasa esto suelo poner "Mantenimiento Programado" pero no sé, a ver si entre todos podemos llegar a sacar alguna solución

Nan0ck commented 4 years ago

@Jeluchu siii! yo hace poquito lo empece a usar en un bot de telegram, y ya cuando por fin le estaba agregando las funciones complejas lo activaron... entonces si es una lastima, ojala si logremos llegar a una solución; mientras tanto estoy usando una base de datos local con la ultima información actualizada que obtuve.

imherrera commented 4 years ago

@Jeluchu hola jeluchu, yo tambien intente buscar solucion, pero es el nuevo challenge, la segunda idea que se me ocurrio es automatizar el proceso de scrapping de todo el sitio web, cosa que ya llevo en proceso, y luego importar todo a una base de datos para usar como repo y luego pues ya ir actualizando cada tanto, el segundo paso seria hacer un refactor de la api, y hostear la base de datos, ahora, mi pregunta es, estarias interesado en colaborar?

jeluchu commented 4 years ago

@Juan755145 yo empecé con las complicaciones en Mayo puesto que en sí soy desarrollador de apps móviles, usaba la API de Animeflv de una persona que luego estuvimos contactando y en ese mes la dejó de dar soporte, entonces empecé a dar soporte a esa API y poco después el módulo de Cloudscraper dejó de darle soporte también al módulo de npm y desde entonces ando luchando con el tema de los challenges de Cloudscraper, como comentaba encontré un módulo llamado Hooman que al principio lograba pasar los challenges que se añadían en Animeflv, pero al mes siguiente ya nada, he llegado a ver un módulo que en principio resuelve los HCaptcha (https://github.com/JimmyLaurent/hcaptcha-solver), pero no he conseguido llegar a aplicarlo en la API a la que estoy dando soporte de Animeflv, y uso eso para una aplicación de anime que he hecho y cuándo pasa esto pues deja de mostrar los datos actualizados hasta que se desactiva la protección de Cloudflare. Nosotros en principio por el momento lo que hacemos es mantener los datos cacheados para que la App y la API sigan mostrando datos, pero estamos en un punto algo bloqueados la verdad, como ya comentaba yo estoy más dedicado a desarrollo móvil y con esto empecé con NodeJs/Javascript, de todos modos en el grupo de soporte de la app hay también otra persona que usa la API de Animeflv y tiene el mismo problema y me comentó algo parecido del tema de base de datos y demás, y estamos dando vueltas a que hacer para poder apañar este problema de la forma más eficaz posible

Nan0ck commented 4 years ago

@Jeluchu bueno al parecer ya esta funcionando de nuevo... y la proteccion de cloudflare sigue arriba

jeluchu commented 4 years ago

@sgha10 es cierto que funciona de nuevo, aunque la proteccion de cloudflare sigue activa, pero parece ser que la comprobación de ser un bot a menos que hagas muchas consultas desde una misma ip no salta (me pasó el otro día probando jajajajajaja), a ver que va pasando

Nan0ck commented 4 years ago

@Jeluchu sii haha eso explica porque aveces me servia con otras VPN hahaha pues si, por aquello hay que aprovechar para crear una base de datos de reserva hahahah