The Wall Street Journal (WSJ) 华尔街日报出错

Kevin6872 commented 8 months ago

路由地址

/wsj/:lang/:category?

完整路由地址

/wsj/en-us/opinion

预期是什么？

正常显示

实际发生了什么？

在自建和官方演示中均出现错误

部署

RSSHub 演示 (https://rsshub.app)

部署相关信息

No response

额外信息

Error Message:

Response code 401 (HTTP Forbidden): target website might be blocking our access, you can host your own RSSHub instance for a better usability.
Route: /wsj/:lang/:category?

Full Route: /wsj/en-us/opinion

Node Version: v21.7.1

Git Hash: unknown

Git Date:

这不是重复的 issue

[X] 我已经搜索了现有 issue，以确保该错误尚未被报告。

github-actions[bot] commented 8 months ago

Searching for maintainers:

/wsj/:lang/:category?: @oppilate

To maintainers: if you are not willing to be disturbed, list your username in scripts/workflow/test-issue/call-maintainer.js. In this way, your username will be wrapped in an inline code block when tagged so you will not be notified.

If all routes can not be found, the issue will be closed automatically. Please use NOROUTE for a route-irrelevant issue or leave a comment if it is a mistake. 如果所有路由都无法匹配，issue 将会被自动关闭。如果 issue 和路由无关，请使用 NOROUTE 关键词，或者留下评论。我们会重新审核。

github-actions[bot] commented 8 months ago

Searching for maintainers:

/wsj/:lang/:category?: @oppilate

To maintainers: if you are not willing to be disturbed, list your username in scripts/workflow/test-issue/call-maintainer.js. In this way, your username will be wrapped in an inline code block when tagged so you will not be notified.

If all routes can not be found, the issue will be closed automatically. Please use NOROUTE for a route-irrelevant issue or leave a comment if it is a mistake. 如果所有路由都无法匹配，issue 将会被自动关闭。如果 issue 和路由无关，请使用 NOROUTE 关键词，或者留下评论。我们会重新审核。

whaler-ragweed commented 8 months ago

我在自托管時遇到相同問題

hackenfu commented 8 months ago

我在自托管時遇到相同問題

哪怕是freshrss自建，也这样，401错误还有那些公共的，比如feedly之类，返回的都是一样问题，最新一篇停留在理想汽车，后面再也无法获取倒是reeder这种app，本地直接订阅，还能继续获取

ishowman commented 8 months ago

我在自托管時遇到相同問題

哪怕是freshrss自建，也这样，401错误还有那些公共的，比如feedly之类，返回的都是一样问题，最新一篇停留在理想汽车，后面再也无法获取倒是reeder这种app，本地直接订阅，还能继续获取

rss 都是通过订阅源拉取更新的，reeder 本地订阅是什么意思？

hackenfu commented 8 months ago

我在自托管時遇到相同問題

哪怕是freshrss自建，也这样，401错误还有那些公共的，比如feedly之类，返回的都是一样问题，最新一篇停留在理想汽车，后面再也无法获取倒是reeder这种app，本地直接订阅，还能继续获取

rss 都是通过订阅源拉取更新的，reeder 本地订阅是什么意思？

我意思就是reeder、包括netnewswire这种app，能拉取华尔街日报的更新；但freshrss、ttrss、feedly这种，都会报错。我初步研究了下，似乎华尔街日报在封杀一些所谓的bot，但reeder这种不在封杀范围内

whaler-ragweed commented 8 months ago

我用 NetNewsWire 可以拉取官方源 (https://cn.wsj.com/zh-hans/rss)，但用 Newsboat 拉取失敗。

demoonwu commented 7 months ago

测试了日本ip和美国ip，都无法拉取更新，初步推测与ip所在地关系不大。

dzx-dzx commented 2 months ago

一点发现,下面这个请求:

await undici.fetch("https://cn.wsj.com/zh-hans/news/world", {      "headers": {        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0",             "Sec-GPC": "1",       }});

可以正常工作,但把url换成https://cn.wsj.com/zh-hans/news/world不行.

DIYgod / RSSHub