网页内容抓取组件无效

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

18.08k stars 4.8k forks source link

网页内容抓取组件无效 #2765

Closed leeyis closed 1 month ago

leeyis commented 1 month ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ ] 公有云版本
[x] 私有部署版本, 具体版本号: 4.8.9

问题描述 在工作流中新建网页内容抓取组件，运行成功以后输出内容为空 复现步骤

新建任意工作流
添加“网页内容抓取”组件
开始调试并输入网址“https://mp.weixin.qq.com/s/oE5m4vCrvbpW_51MRcy7XA” 预期结果 实际结果

leeyis commented 1 month ago

奇怪，这个组件测试有时候也可以抓取到网页，就是成功率很低

c121914yu commented 1 month ago

感觉只可能是网络有问题

lijiajun1997 commented 1 month ago

ip被微信封了，需要登陆验证你换个网页试一下

leeyis commented 1 month ago

ip被微信封了，需要登陆验证你换个网页试一下

肯定不是这个原因，CSDN也是一样

leeyis commented 1 month ago

感觉只可能是网络有问题

应该不是，明天找开发的小伙伴源码调试下

lijiajun1997 commented 1 month ago

ip被微信封了，需要登陆验证你换个网页试一下

肯定不是这个原因，CSDN也是一样

你找个静态页面 CSDN肯定有防抓策略，微信也有。

leeyis commented 1 month ago

ip被微信封了，需要登陆验证你换个网页试一下

肯定不是这个原因，CSDN也是一样

你找个静态页面 CSDN肯定有防抓策略，微信也有。

破案了，我们开发小伙伴地址转发搞出问题了，现已修复