httpx过滤80和443端口的web服务时，结果可能会有重复

[leveryd]

/ # echo www.apple.com | httpx -p http:80,https:443 -fhr
...
https://www.apple.com
http://www.apple.com [https://www.apple.com/]

带来的影响：在爬扫时会重复扫描对象，造成扫描资源浪费、影响目标资产的业务

[leveryd]

假设 重定向后的子域名仍然在资产列表中

比如

http://x.com -> https://x.com
https://x.com -> https://b.com

可以用 httpx -fc 302,301去重