-
### What version of Bun is running?
1.1.22
### What platform is your computer?
Linux 6.5.0-45-generic x86_64 x86_64
### What steps can reproduce the bug?
Hello Bun Community,
I'm using [apify/…
-
首先感谢你们将这个项目开源,这是一个优秀且新颖的项目。我目前存在疑问,在面对CAPTCHA的人机验证时,该项目可以根据验证码类型选择对应的解决方案,但通常完成了人机验证码校验之后,CAPTCHA还会对你进行二次校验(如Cloudflare)。我想知道你们是有做浏览器伪装的工作吗,我看到代码仓库里有一些JavaScripts代码,但我是门外汉并不明白它们的作用。
-
https://github.com/astelmach01/GPT-crawler-backend-python/blob/813d528b7c08b104011030acab392ae0866db4be/app/web/api/core/crawl.py#L90
-
Not working
scrapy 2.7 have to_native_str: https://github.com/scrapy/scrapy/blob/2.7/scrapy/utils/python.py
but deprecated('to_unicode')
I want to fix this error
```shell
(project_name) ➜ …
-
## Let us know
**Novel URL**: https://novelbin.com/b/the-legitimate-daughter-doesnt-care
**App Location**: PIP
**App Version**: 3.7.2
## Describe this issue
HTTPError: 403 …
-
Currently it only supports storing results in SQLite Database.
Need a new function for storing results in a csv file.
-
公司介绍
Web3.0金融科技是我们的主要核心方向,目前全球排名前10,为全球化的国际团队
工作形式
全职、全方位
工作内容
1、主要负责数据采集、数据清洗、系统开发
能力需求
1、本科及以上学历,3年及以上数据业务优先;
2、熟练Python,熟悉scrapy,requests等爬虫框架及HTTP工具
3、熟悉Mysql/MongoDB/Redis
4、熟悉JS,…
-
使用Github抓取博客链接、使用mongodb存储数据,在抓取阶段出现问题
`https://blog.akimio.top/links/`是用的是`butterfly`魔改主题(solitude)[https://github.com/everfu/hexo-theme-solitude],之前是可以正常抓取的,**一开始我怀疑是主题的问题,找了一个原版butterfly主题的友链,还是出现…
-
### Enhancement: Integrate Open-Source LLM for Movie Information Retrieval
#### Description
Enhance the existing web crawler to utilize an open-source Language Model (LLM) to fetch and display detai…
-
Error occurred during loading data. Trying to use cache server https://fake-useragent.herokuapp.com/browsers/0.1.11
Traceback (most recent call last):
File "C:\Users\8thstar\AppData\Local\Programs…