search

wzdnzd / aggregator

One-stop Proxies Crawling and Aggregation Platform
https://github.com/wzdnzd/aggregator
Apache License 2.0
1.36k stars 1.46k forks source link

【已解决，请同步最新代码】重新 Fork 后 Actions 跑不起来了 #41

Closed KisThFir closed 2 months ago

KisThFir commented 2 months ago

在 Collect 阶段报错 Error: The operation was canceled.

重试或者删除 --all 参数后运行，报错信息一样。

屏幕截图 2024-07-22 223037

wzdnzd commented 2 months ago

刚测试了一下, 没发现问题，而且最近没修改过相关代码

bohesocool commented 2 months ago

我也出现了这个问题，每次这个地方就complete了 image 用colab跑的，以前一直丝滑运行

sorangegu commented 2 months ago
image

一样出现了这个报错

wzdnzd commented 2 months ago

@bohesocool @sorangegu 我看出错似乎都集中在昨晚凌晨那段时间，现在手动触发运行试试呢？

bohesocool commented 2 months ago

就是刚刚看到issue跑的

sorangegu commented 2 months ago

@bohesocool @sorangegu 我看出错似乎都集中在昨晚凌晨那段时间，现在手动触发运行试试呢？

image

这个就是刚刚跑的

sorangegu commented 2 months ago

换了macos-latest镜像可以跑了

KisThFir commented 2 months ago

换了macos-latest镜像可以跑了

本地跑才行吗？

chuanshuojibi commented 2 months ago

我的也是，跑完百分百就直接取消了，我re run一个成功的action都失败了 image

sorangegu commented 2 months ago

换了macos-latest镜像可以跑了

本地跑才行吗？

不是，修改workflow里面的collect.yaml，把里面的ubuntu-latest改为macos-latest就可以了

chuanshuojibi commented 2 months ago

image si'h似乎是ubuntu性能不足了？我没更新之前的版本也不能跑了

KisThFir commented 2 months ago

换了macos-latest镜像可以跑了

本地跑才行吗？

不是，修改workflow里面的collect.yaml，把里面的ubuntu-latest改为macos-latest就可以了

实测能跑，感谢。

nosgk commented 2 months ago

换了macos-latest镜像可以跑了

本地跑才行吗？

不是，修改workflow里面的collect.yaml，把里面的ubuntu-latest改为macos-latest就可以了

感谢感谢 能跑了 之前一直排查不了 差点就删库重开

GuyueWK commented 2 months ago

我在本地服务器跑的，Ubuntu22.04，8g内存，会把内存吃满，然后导致服务被系统杀死 image image image

我换了16g内存的服务器试了几次，也有概率Killed

KisThFir commented 2 months ago

我在本地服务器跑的，Ubuntu22.04，8g内存，会把内存吃满，然后导致服务被系统杀死 image image image

我换了16g内存的服务器试了几次，也有概率Killed

没想到加个 singbox 性能消耗这么大，我的锅我的锅。

你们试试禁止生成 singbox 配置。

wzdnzd commented 2 months ago

我在本地服务器跑的，Ubuntu22.04，8g内存，会把内存吃满，然后导致服务被系统杀死 image image image

我换了16g内存的服务器试了几次，也有概率Killed

以前出现过占用内存很高的问题吗？

wzdnzd commented 2 months ago

我在本地服务器跑的，Ubuntu22.04，8g内存，会把内存吃满，然后导致服务被系统杀死 image image image 我换了16g内存的服务器试了几次，也有概率Killed

没想到加个 singbox 性能消耗这么大，我的锅我的锅。

你们试试禁止生成 singbox 配置。

支持转 singbox 跟这部分没关系，而且最近都没修改过这块的代码

GuyueWK commented 2 months ago

我在本地服务器跑的，Ubuntu22.04，8g内存，会把内存吃满，然后导致服务被系统杀死 image image image 我换了16g内存的服务器试了几次，也有概率Killed

以前出现过占用内存很高的问题吗？

初步排查是 “https://flybit.vip/” 这个网站导致的oom 我在排除这个网站后就可以正常执行了：domains.remove("https://flybit.vip/")

问题出在执行方法extract_real_url时

wzdnzd commented 2 months ago

@KisThFir @nosgk @sorangegu 同步最新代码 1123235 试试

@GuyueWK 感谢你提供的重要信息，问题在于通过 https://xxx.com/env.js 去获取真实的后端地址，但是上面的网站会重定向到 https://speed.cloudflare.com/__down?during=download&bytes=10737418240 测速网站，导致出现问题。现在已经对重定向做了限制。再次感谢

sorangegu commented 2 months ago
image

同步了最新的代码，第一部分通过了，第二部分又出现了同样的问题

wzdnzd commented 2 months ago

@sorangegu 再试试最新 commit f8c5287

sorangegu commented 2 months ago

@sorangegu 再试试最新 commit f8c5287

感谢大佬，已经可以了