mendableai / firecrawl

🔥 Turn entire websites into LLM-ready markdown or structured data. Scrape, crawl and extract with a single API.
https://firecrawl.dev
GNU Affero General Public License v3.0
18.25k stars 1.37k forks source link

[BUG] [SelfHost] Certain Web Page Scrape Return Wrong Encoding Content #511

Open HibernantBear opened 3 months ago

HibernantBear commented 3 months ago

Describe the Bug Self Host Service Certain Web Page Scrape Return Wrong Encoding Result on Self Host Service, and Official Online Demo is Totally Fine

To Reproduce Steps to reproduce the issue:

  1. Self Host with the latest code, commit 72f2c3616f8b5376b6975a09d2108464cf4271e7
  2. docker compose build & docker compose up with the .env file attached
  3. request the api with follow params, the key to reporoduce is the url should be https://www.netease.com/
    curl --location --request POST 'http://localhost:3002/v0/scrape' \
    --header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
    [env.txt](https://github.com/user-attachments/files/16521453/env.txt)
    --header 'Content-Type: application/json' \
    --data-raw '{
    "url": "https://www.netease.com/",
    "pageOptions": {
    "includeHtml": false,
    "includeRawHtml": false,
    "replaceAllPathsWithAbsolutePaths": true,
    "waitFor": 1000
    },
    "timeout": 5000
    }'
    {"success":true,"data":{"content":"[����](http://www.163.com/)\n\n*   [��˾���](https://corp.163.com/gb/about/overview.html)\n    \n*   [�����ŶӼ����»�](https://corp.163.com/gb/about/management.html)\n    \n    [�����Ŷ�](https://ir.netease.com/zh-hans/company-overview/management-team)\n    \n    [���»�](https://ir.netease.com/zh-hans/company-overview/board-of-directors)\n    \n*   [��˾����](http://corp.163.com/special/008397SO/neteasenews.html)\n    \n*   [Ͷ���߹�ϵ](https://ir.netease.com/)\n    \n*   [��ϵ����](https://corp.163.com/gb/contactus.html)\n    \n\n���� (NASDAQ: NTES��HKEX��9999)��1997���ɶ��������ڹ��ݴ��졢2000��������NASDAQ��Ʊ�������������С�2020��������������������У����й����ȵĻ�����������˾���ڿ���������Ӧ�á�����ȷ���ʼ�ձ����й�ҵ�����ȵ�λ�������������������Ƚ��Ļ�������������ǿ������֮����Ϣ�Ľ����͹�����Ϊ�����û��ṩ���ʵIJ�Ʒ�ͷ�����ʵ��\"�����˵��������ԿƼ����µ�����������\"��ʹ��Ը����\n\n���ײ�����ȫ�����ȵ�������Ϸ�����뷢�й�˾����ӵ���й����ȵ���������ƽ̨������ѧϰƽ̨����ӪƷ�ʵ���Ʒ�ơ���Ѷ��ýƽ̨�Լ������ʼ����񣬸���ȫ�й�����10���û���Ŀǰ�����׹�����Ҫ�����ڱ��������ݡ����ݡ��Ϻ��ĵذ칫�������ձ����������¼��¡����������ô�Ӣ���ȵؾ����з�֧��������2000����������������һֱ�����Ų���ָ����Ƚ�������\n\n��Ϸ\n---\n\n[������Ϸ����](http://game.163.com/)\n\n����2001����ʽ����������Ϸ��ҵ����������Ϸ�Ȱ���һͬ�ɳ�������20����Ŀ��ٷ�չ������������ȫ���ߴ���Ϸ��˾֮һ����Ϊ�й����ȵ���Ϸ������˾������һֱ����������Ϸ�����з������ǰ�ˡ�\n\nĿǰ������������Ӫ�е���Ϸ��Ʒ��100�������з��ˡ��λ����Ρ����԰桢��������2����桷����������2��Ѱ桷��������3��������ٻŮ�Ļ꡷������ˮ���������λ����Ρ����Ρ��������Ρ����Ρ���ٻŮ�Ļ꡷���Ρ�������ʦ����������֮��������һ�ν�����������Ұ�ж������������ɶԡ����������˸񡷡�������֮�󡷡�����ˮ�������Ρ��������޼䡷�����������أ�ħ�����ѡ�����ʮ������ϲ�������Ŷ��κ����Σ������Ҵ������ҵ����硷���⡤�����ȶ�����ȫ�����Ϸ��\n\n����ǿ��ľ�Ʒ��Ϸ�з�������������Ϸ�������ں����г�����ӭ���ش�ͻ�ơ�Ŀǰ����������Ұ�ж����������˸񡷡�����֮�󡷡������޼䡷��The Lord of the Rings: Rise to War���ȶ���Ʒ����ȫ��������ȡ���˲��׵Ŀڱ��ͳɼ���\n\n������Ϸ�ԡ���Ϸ�Ȱ��ߡ�ڹ�������󣬲�����λ����Ϸƽ̨�ͷ����ṩ�̣����Ǻ����е����һ��������Ѫ����ġ���Ϸ�����ߡ���δ����������Ϸ�������������׹�˾���Խ��ģ��´��¡��������ȫ���ڶ�ĺ������һ��Ϊ��Ҵ����ܹ�������ֵ���Ȱ��ĸ�Ʒ����Ϸ��\n\n[������Ϸ������](http://game.163.com/)\n [game.163.com](http://game.163.com/)\n\n����\n----\n\n[�е�](https://www.youdao.com/)\n\n�����е���һ���Գɾ�ѧϰ�ߡ���Чѧϰ��Ϊʹ��������ѧϰ��˾��2019��10�£������е���½Ŧ��������Ʊ���롰DAO��������Ϊ���������׼Ҷ������й�˾�������е�����ǿ��Ļ�����AI�ȼ����ֶΣ�Χ��ѧϰ������������һϵ�������û�ϲ����ѧϰ��Ʒ�ͷ��񣬰����е��ʵ䡢�е��ʵ�ʵ�����ѧϰ���ߡ�Ŀǰ���е�ȫ�߲�Ʒ�»�Ծ�û���1.2�ڡ�\n\n[�����е�������](https://www.youdao.com/)\n [www.youdao.com](https://www.youdao.com/)\n\n����\n----\n\n[����������](http://music.163.com)\n\n������������2013��4����ʽ���ߣ�����������һ��רע�ڷ��ֺͷ��������ֲ�Ʒ�������������ԡ�������������������Ϊʹ�����������ֲ�Ʒ�ӡ�������ʱ�������롰��������ʱ������2021��12��2����ʽ�ڸ۽������У���Ʊ����9899����Ϊȫ������������һ�ɡ�\n\n���������������������û�ϲ��������ƽ̨֮һ��Ŀǰƽ̨�»��û�2.06���ˣ���������1.49���ף���9�ɻ�Ծ�û�Ϊ90��00���û����ټ������ʾ�������ҵ������������Ҳ���й����ȵ�ԭ������ƽ̨����ҵ���׸�����ԭ�����ַ��֣��ᶨ�����й�ԭ�����ַ��ٷ�չ��Ŀǰƽ̨��פԭ�������˳�68.4�򣬳���������ҵ��\n\n[���������ֹ�����](http://music.163.com)\n [music.163.com](http://music.163.com)\n\n����\n----\n\n[��ѡ](http://you.163.com)\n\n������ѡ��\"����������ֿɼ�\"Ϊ���ģ�ּ�ڳ�Ϊ�й����в�ϲ�������ʽƷ�ơ�������2016�꣬������ѡ����������һ������ë����ʼ��ͨ����Լ��ʵ�á����ʵ���ѧ��ƣ��Ż���Ʒʹ�ø��ܣ�Ϊ3000�����в���ͥ���������õ����2021�꣬������ѡ���ȫ��Ʒ�������������Լ�ϲ�������ӡ���ּ�ں����в���Ⱥվ��һ�𣬳�����Ԫ�������ֵ���š�\n\n������ѡ��2024��4��ӭ������8���ꡣһ���ȣ���ѡ�����۽�Ʒ�ƻ�ս�ԣ�����������Ŀ����˫λ������������ռ��ͷ����������ѡ����AI����������Ʒ���������幤ѧ�εȱ����ȾӶ���������ǰ�С����⣬������ѡ�ɹ��ٰ�2023��ȹ�Ӧ�̴�ᣬ�۽�AI��������ɫ�ɳ�����Ӧ����ǰ�����ƣ��빩Ӧ��Э����Ӯ���ӿ�ʵ��������������չ������������\n\n[������ѡ������](http://you.163.com)\n [you.163.com](http://you.163.com)\n\n��ý\n---\n\n[��������](https://www.163.com)\n\n���������ں���Ѷƽ̨��ԭ���߻�Ϊһ��,��1998�����֮��ʼ�ձ����г����ȵ�λ��ȫ���24Сʱ���������ȵ㼰ͻ���¼�,��Ϣ���DZ鲼�������,�ش󱨵���δȱϯ��2011������������ſͻ�����ʽ���ߣ�����֪���ȡ���ҵ�ڱ������������˾�����ʹ��ʱ��һֱ������ҵǰ�С�\n\n�����������֡���̬�ȡ�������רҵ����ԭ������룬������Ϊ�û��ṩ����ȡ���Ƕȡ����¶ȵ���Ѷ���ݣ�Ϊ������֮����Ž����͹�����������������Ϊ˳Ӧ���������������ƣ�������Ӫ�����Ż����������ſͻ��ˡ������Ĵ����������á����׹����εȺ������ݲ�Ʒ��\n\n[�����Ĵ�](https://www.163.com/necc/#/)\n\n�����Ĵ���2019�����״�ý���������ݲ�ҵ���򲼾֡�ƽ�����������ŵĴ�������Ʒ�ƣ��ԡ��й⡱ΪƷ�����ţ��ԡ�����û�,������Ȥ��Ϊ������,�۽����Ļ�������˼����̬�ȵ�ԭ�����������������Ĵ����γ��ˡ��������IP+����ҵ������+��Ȩ���͡��Ķ�Ԫ����չ·��������Ŀǰ�������Ĵ����ݾ����Ѹ��ǹ�����20��ƽ̨��ӵ�г���4�ڷ�˿������28��ͷ������IP������400+Ʒ�ƴ����1500+��Ŀ������\n\n[��������](javascript:;)\n\n�������������׾۽����ó���������Ʒ�ƣ����������׵����������ͼ���֧�Ÿ���������ҵ����Ŀ�ĵ�Ϊ����������ҵ��Դ����Ϊ������ע�����ݴ���ͼ������񣬹���Scene-����/Technology-����/Original-����/Resources-��Դ/Yield-�����STORY-LINE��������ȫ��·Ӫ��ģʽ��Χ���ڵ�+������+��P+������+������+5��ģʽչ��������ҵ��̽����Ŀǰ����س���150+��������Ӧ�ð������������С��������ã�������������Ʒ�ƶ�λ�ͷ�չ·����\n\n����ҵ��һ��\n----------\n\n![](https://cms-bucket.ws.126.net/2024/0604/3727da50j00seje7a001gc000qe00alc.jpg)\n\n[��ҵ����Ϣ������������ϵͳ��վ ��B2-20090191-2](http://beian.miit.gov.cn/)\n [��ҵ����Ϣ������������ϵͳ��վ ��B2-20090191-18](http://beian.miit.gov.cn/)\n\n© 1997-2024 ���׹�˾��Ȩ���� [About NetEase](https://corp.163.com/)\n | [��˾���](https://corp.163.com/gb/about/overview.html)\n | [��ϵ����](https://corp.163.com/gb/contactus.html)\n | [��Ƹ��Ϣ](https://corp.163.com/gb/job/job.html)\n | [�ͻ�����](https://help.163.com/)\n | [��˽����](https://corp.163.com/gb/legal.html)\n | [������](http://emarketing.163.com/)\n | [������Ϣ�ٱ� Complaint Center](https://www.163.com/special/0077jt/tipoff.html)\n | [�����ٱ�](https://jubao.163.com/)\n | [��ȨͶ��](https://corp.163.com/special/008397U0/reporting_infringements.html)","markdown":"[����](http://www.163.com/)\n\n*   [��˾���](https://corp.163.com/gb/about/overview.html)\n    \n*   [�����ŶӼ����»�](https://corp.163.com/gb/about/management.html)\n    \n    [�����Ŷ�](https://ir.netease.com/zh-hans/company-overview/management-team)\n    \n    [���»�](https://ir.netease.com/zh-hans/company-overview/board-of-directors)\n    \n*   [��˾����](http://corp.163.com/special/008397SO/neteasenews.html)\n    \n*   [Ͷ���߹�ϵ](https://ir.netease.com/)\n    \n*   [��ϵ����](https://corp.163.com/gb/contactus.html)\n    \n\n���� (NASDAQ: NTES��HKEX��9999)��1997���ɶ��������ڹ��ݴ��졢2000��������NASDAQ��Ʊ�������������С�2020��������������������У����й����ȵĻ�����������˾���ڿ���������Ӧ�á�����ȷ���ʼ�ձ����й�ҵ�����ȵ�λ�������������������Ƚ��Ļ�������������ǿ������֮����Ϣ�Ľ����͹�����Ϊ�����û��ṩ���ʵIJ�Ʒ�ͷ�����ʵ��\"�����˵��������ԿƼ����µ�����������\"��ʹ��Ը����\n\n���ײ�����ȫ�����ȵ�������Ϸ�����뷢�й�˾����ӵ���й����ȵ���������ƽ̨������ѧϰƽ̨����ӪƷ�ʵ���Ʒ�ơ���Ѷ��ýƽ̨�Լ������ʼ����񣬸���ȫ�й�����10���û���Ŀǰ�����׹�����Ҫ�����ڱ��������ݡ����ݡ��Ϻ��ĵذ칫�������ձ����������¼��¡����������ô�Ӣ���ȵؾ����з�֧��������2000����������������һֱ�����Ų���ָ����Ƚ�������\n\n��Ϸ\n---\n\n[������Ϸ����](http://game.163.com/)\n\n����2001����ʽ����������Ϸ��ҵ����������Ϸ�Ȱ���һͬ�ɳ�������20����Ŀ��ٷ�չ������������ȫ���ߴ���Ϸ��˾֮һ����Ϊ�й����ȵ���Ϸ������˾������һֱ����������Ϸ�����з������ǰ�ˡ�\n\nĿǰ������������Ӫ�е���Ϸ��Ʒ��100�������з��ˡ��λ����Ρ����԰桢��������2����桷����������2��Ѱ桷��������3��������ٻŮ�Ļ꡷������ˮ���������λ����Ρ����Ρ��������Ρ����Ρ���ٻŮ�Ļ꡷���Ρ�������ʦ����������֮��������һ�ν�����������Ұ�ж������������ɶԡ����������˸񡷡�������֮�󡷡�����ˮ�������Ρ��������޼䡷�����������أ�ħ�����ѡ�����ʮ������ϲ�������Ŷ��κ����Σ������Ҵ������ҵ����硷���⡤�����ȶ�����ȫ�����Ϸ��\n\n����ǿ��ľ�Ʒ��Ϸ�з�������������Ϸ�������ں����г�����ӭ���ش�ͻ�ơ�Ŀǰ����������Ұ�ж����������˸񡷡�����֮�󡷡������޼䡷��The Lord of the Rings: Rise to War���ȶ���Ʒ����ȫ��������ȡ���˲��׵Ŀڱ��ͳɼ���\n\n������Ϸ�ԡ���Ϸ�Ȱ��ߡ�ڹ�������󣬲�����λ����Ϸƽ̨�ͷ����ṩ�̣����Ǻ����е����һ��������Ѫ����ġ���Ϸ�����ߡ���δ����������Ϸ�������������׹�˾���Խ��ģ��´��¡��������ȫ���ڶ�ĺ������һ��Ϊ��Ҵ����ܹ�������ֵ���Ȱ��ĸ�Ʒ����Ϸ��\n\n[������Ϸ������](http://game.163.com/)\n [game.163.com](http://game.163.com/)\n\n����\n----\n\n[�е�](https://www.youdao.com/)\n\n�����е���һ���Գɾ�ѧϰ�ߡ���Чѧϰ��Ϊʹ��������ѧϰ��˾��2019��10�£������е���½Ŧ��������Ʊ���롰DAO��������Ϊ���������׼Ҷ������й�˾�������е�����ǿ��Ļ�����AI�ȼ����ֶΣ�Χ��ѧϰ������������һϵ�������û�ϲ����ѧϰ��Ʒ�ͷ��񣬰����е��ʵ䡢�е��ʵ�ʵ�����ѧϰ���ߡ�Ŀǰ���е�ȫ�߲�Ʒ�»�Ծ�û���1.2�ڡ�\n\n[�����е�������](https://www.youdao.com/)\n [www.youdao.com](https://www.youdao.com/)\n\n����\n----\n\n[����������](http://music.163.com)\n\n������������2013��4����ʽ���ߣ�����������һ��רע�ڷ��ֺͷ��������ֲ�Ʒ�������������ԡ�������������������Ϊʹ�����������ֲ�Ʒ�ӡ�������ʱ�������롰��������ʱ������2021��12��2����ʽ�ڸ۽������У���Ʊ����9899����Ϊȫ������������һ�ɡ�\n\n���������������������û�ϲ��������ƽ̨֮һ��Ŀǰƽ̨�»��û�2.06���ˣ���������1.49���ף���9�ɻ�Ծ�û�Ϊ90��00���û����ټ������ʾ�������ҵ������������Ҳ���й����ȵ�ԭ������ƽ̨����ҵ���׸�����ԭ�����ַ��֣��ᶨ�����й�ԭ�����ַ��ٷ�չ��Ŀǰƽ̨��פԭ�������˳�68.4�򣬳���������ҵ��\n\n[���������ֹ�����](http://music.163.com)\n [music.163.com](http://music.163.com)\n\n����\n----\n\n[��ѡ](http://you.163.com)\n\n������ѡ��\"����������ֿɼ�\"Ϊ���ģ�ּ�ڳ�Ϊ�й����в�ϲ�������ʽƷ�ơ�������2016�꣬������ѡ����������һ������ë����ʼ��ͨ����Լ��ʵ�á����ʵ���ѧ��ƣ��Ż���Ʒʹ�ø��ܣ�Ϊ3000�����в���ͥ���������õ����2021�꣬������ѡ���ȫ��Ʒ�������������Լ�ϲ�������ӡ���ּ�ں����в���Ⱥվ��һ�𣬳�����Ԫ�������ֵ���š�\n\n������ѡ��2024��4��ӭ������8���ꡣһ���ȣ���ѡ�����۽�Ʒ�ƻ�ս�ԣ�����������Ŀ����˫λ������������ռ��ͷ����������ѡ����AI����������Ʒ���������幤ѧ�εȱ����ȾӶ���������ǰ�С����⣬������ѡ�ɹ��ٰ�2023��ȹ�Ӧ�̴�ᣬ�۽�AI��������ɫ�ɳ�����Ӧ����ǰ�����ƣ��빩Ӧ��Э����Ӯ���ӿ�ʵ��������������չ������������\n\n[������ѡ������](http://you.163.com)\n [you.163.com](http://you.163.com)\n\n��ý\n---\n\n[��������](https://www.163.com)\n\n���������ں���Ѷƽ̨��ԭ���߻�Ϊһ��,��1998�����֮��ʼ�ձ����г����ȵ�λ��ȫ���24Сʱ���������ȵ㼰ͻ���¼�,��Ϣ���DZ鲼�������,�ش󱨵���δȱϯ��2011������������ſͻ�����ʽ���ߣ�����֪���ȡ���ҵ�ڱ������������˾�����ʹ��ʱ��һֱ������ҵǰ�С�\n\n�����������֡���̬�ȡ�������רҵ����ԭ������룬������Ϊ�û��ṩ����ȡ���Ƕȡ����¶ȵ���Ѷ���ݣ�Ϊ������֮����Ž����͹�����������������Ϊ˳Ӧ���������������ƣ�������Ӫ�����Ż����������ſͻ��ˡ������Ĵ����������á����׹����εȺ������ݲ�Ʒ��\n\n[�����Ĵ�](https://www.163.com/necc/#/)\n\n�����Ĵ���2019�����״�ý���������ݲ�ҵ���򲼾֡�ƽ�����������ŵĴ�������Ʒ�ƣ��ԡ��й⡱ΪƷ�����ţ��ԡ�����û�,������Ȥ��Ϊ������,�۽����Ļ�������˼����̬�ȵ�ԭ�����������������Ĵ����γ��ˡ��������IP+����ҵ������+��Ȩ���͡��Ķ�Ԫ����չ·��������Ŀǰ�������Ĵ����ݾ����Ѹ��ǹ�����20��ƽ̨��ӵ�г���4�ڷ�˿������28��ͷ������IP������400+Ʒ�ƴ����1500+��Ŀ������\n\n[��������](javascript:;)\n\n�������������׾۽����ó���������Ʒ�ƣ����������׵����������ͼ���֧�Ÿ���������ҵ����Ŀ�ĵ�Ϊ����������ҵ��Դ����Ϊ������ע�����ݴ���ͼ������񣬹���Scene-����/Technology-����/Original-����/Resources-��Դ/Yield-�����STORY-LINE��������ȫ��·Ӫ��ģʽ��Χ���ڵ�+������+��P+������+������+5��ģʽչ��������ҵ��̽����Ŀǰ����س���150+��������Ӧ�ð������������С��������ã�������������Ʒ�ƶ�λ�ͷ�չ·����\n\n����ҵ��һ��\n----------\n\n![](https://cms-bucket.ws.126.net/2024/0604/3727da50j00seje7a001gc000qe00alc.jpg)\n\n[��ҵ����Ϣ������������ϵͳ��վ ��B2-20090191-2](http://beian.miit.gov.cn/)\n [��ҵ����Ϣ������������ϵͳ��վ ��B2-20090191-18](http://beian.miit.gov.cn/)\n\n© 1997-2024 ���׹�˾��Ȩ���� [About NetEase](https://corp.163.com/)\n | [��˾���](https://corp.163.com/gb/about/overview.html)\n | [��ϵ����](https://corp.163.com/gb/contactus.html)\n | [��Ƹ��Ϣ](https://corp.163.com/gb/job/job.html)\n | [�ͻ�����](https://help.163.com/)\n | [��˽����](https://corp.163.com/gb/legal.html)\n | [������](http://emarketing.163.com/)\n | [������Ϣ�ٱ� Complaint Center](https://www.163.com/special/0077jt/tipoff.html)\n | [�����ٱ�](https://jubao.163.com/)\n | [��ȨͶ��](https://corp.163.com/special/008397U0/reporting_infringements.html)","metadata":{"title":"����","ogLocaleAlternate":[],"sourceURL":"https://www.netease.com/","pageStatusCode":200},"linksOnPage":["http://www.163.com/","https://corp.163.com/gb/about/overview.html","https://corp.163.com/gb/about/management.html","https://ir.netease.com/zh-hans/company-overview/management-team","https://ir.netease.com/zh-hans/company-overview/board-of-directors","http://corp.163.com/special/008397SO/neteasenews.html ","https://ir.netease.com/","https://corp.163.com/gb/contactus.html","http://game.163.com/","https://www.youdao.com/","http://music.163.com","http://you.163.com","https://www.163.com","https://www.163.com/necc/#/","https://www.netease.com//javascript:;","http://beian.miit.gov.cn/","https://corp.163.com/","https://corp.163.com/gb/job/job.html","https://help.163.com/","https://corp.163.com/gb/legal.html","http://emarketing.163.com/","https://www.163.com/special/0077jt/tipoff.html","https://jubao.163.com/","https://corp.163.com/special/008397U0/reporting_infringements.html"]},"returnCode":200}

    Expected Behavior should be response like the jsonn below, and the weird thing is online test is totally fine, only self host meet this problem

    {
    "content": "[网易](http://www.163.com/)\n\n*   [公司简介](https://corp.163.com/gb/about/overview.html)\n    \n*   [管理团队及董事会](https://corp.163.com/gb/about/management.html)\n    \n    [管理团队](https://ir.netease.com/zh-hans/company-overview/management-team)\n    \n    [董事会](https://ir.netease.com/zh-hans/company-overview/board-of-directors)\n    \n*   [公司新闻](http://corp.163.com/special/008397SO/neteasenews.html)\n    \n*   [投资者关系](https://ir.netease.com/)\n    \n*   [联系我们](https://corp.163.com/gb/contactus.html)\n    \n\n网易 (NASDAQ: NTES;HKEX:9999),1997年由丁磊先生在广州创办、2000年在美国NASDAQ股票交易所挂牌上市、2020年在香港联交所挂牌上市,是中国领先的互联网技术公司,在开发互联网应用、服务等方面始终保持中国业界领先地位。网易致力于利用最先进的互联网技术,加强人与人之间信息的交流和共享,为海量用户提供优质的产品和服务,以实现\"网聚人的力量,以科技创新缔造美好生活\"的使命愿景。\n\n网易不仅是全球领先的在线游戏开发与发行公司,还拥有中国领先的在线音乐平台、智能学习平台、自营品质电商品牌、资讯传媒平台以及电子邮件服务,覆盖全中国超过10亿用户。目前,网易国内主要集中在北京、广州、杭州、上海四地办公,并在日本、韩国、新加坡、美国、加拿大、英国等地均设有分支机构。自2000年上市以来,网易一直保持着财务指标的稳健增长。\n\n游戏\n--\n\n[网易游戏官网](http://game.163.com/)\n\n网易2001年正式成立在线游戏事业部,与广大游戏热爱者一同成长。经过20多年的快速发展,网易已跻身全球七大游戏公司之一。作为中国领先的游戏开发公司,网易一直处于网络游戏自主研发领域的前端。\n\n目前,网易正在运营中的游戏产品有100余款。自主研发了《梦幻西游》电脑版、《大话西游2经典版》、《大话西游2免费版》、《天下3》、《新倩女幽魂》、《逆水寒》、《梦幻西游》手游、《大话西游》手游、《倩女幽魂》手游、《阴阳师》、《率土之滨》、《一梦江湖》、《荒野行动》、《蛋仔派对》、《第五人格》、《明日之后》、《逆水寒》手游、《永劫无间》、《哈利波特:魔法觉醒》等数十款备受玩家喜爱的热门端游和手游,并独家代理《我的世界》《光·遇》等多款风靡全球的游戏。\n\n依托强大的精品游戏研发能力,网易游戏近年来在海外市场持续迎来重大突破。目前,包括《荒野行动》《第五人格》《明日之后》《永劫无间》《The Lord of the Rings: Rise to War》等多款产品均在全球多个地区取得了不俗的口碑和成绩。\n\n网易游戏以“游戏热爱者”诠释其形象,不仅定位于游戏平台和服务提供商,而是和所有的玩家一样,是有血有肉的“游戏爱好者”。未来,网易游戏将继续秉持网易公司“以匠心,致创新”的理念,与全球众多的合作伙伴一起,为玩家打造能够共享,值得热爱的高品质游戏。\n\n[网易游戏官网:](http://game.163.com/)\n [game.163.com](http://game.163.com/)\n\n教育\n--\n\n[有道](https://www.youdao.com/)\n\n网易有道是一家以成就学习者“高效学习”为使命的智能学习公司。2019年10月,网易有道登陆纽交所(股票代码“DAO”),成为网易旗下首家独立上市公司。网易有道依托强大的互联网AI等技术手段,围绕学习场景,打造了一系列深受用户喜欢的学习产品和服务,包括有道词典、有道词典笔等现象级学习工具。目前,有道全线产品月活跃用户超1.2亿。\n\n[网易有道官网:](https://www.youdao.com/)\n [www.youdao.com](https://www.youdao.com/)\n\n音乐\n--\n\n[网易云音乐](http://music.163.com)\n\n网易云音乐于2013年4月正式上线,是网易旗下一款专注于发现和分享的音乐产品。网易云音乐以“传递音乐美好力量”为使命,引领音乐产品从“播放器时代”进入“在线社区时代”。2021年12月2日正式在港交所上市,股票代码9899,成为全球音乐社区第一股。\n\n网易云音乐是最受年轻用户喜爱的音乐平台之一。目前平台月活用户2.06亿人,曲库数超1.49亿首,超9成活跃用户为90后00后,用户增速及留存率均领先行业。网易云音乐也是中国领先的原创音乐平台,在业内首个发起原创音乐扶持,坚定助推中国原创音乐繁荣发展。目前平台入驻原创音乐人超68.4万,持续领先行业。\n\n[网易云音乐官网:](http://music.163.com)\n [music.163.com](http://music.163.com)\n\n电商\n--\n\n[严选](http://you.163.com)\n\n网易严选以\"让美好生活触手可及\"为初心,旨在成为中国新中产喜欢的生活方式品牌。成立于2016年,网易严选从用心做好一条国民毛巾开始,通过简约、实用、舒适的美学设计,优化产品使用感受,为3000万新中产家庭带来更美好的生活。2021年,网易严选提出全新品牌生活理念「活出自己喜欢的样子」,旨在和新中产人群站在一起,倡导多元的生活价值主张。\n\n网易严选于2024年4月迎来成立8周年。一季度,严选持续聚焦品牌化战略,宠物、家清等类目保持双位数增长,不断占稳头部。网易严选借助AI技术迭代产品,帮助人体工学椅等爆款稳居多渠道销售前列。此外,网易严选成功举办2023年度供应商大会,聚焦AI技术、绿色可持续供应链等前沿趋势,与供应商协作共赢,加快实体制造升级,发展新质生产力。\n\n[网易严选官网:](http://you.163.com)\n [you.163.com](http://you.163.com)\n\n传媒\n--\n\n[网易新闻](https://www.163.com)\n\n网易新闻融合资讯平台及原创策划为一体,自1998年成立之初始终保持市场领先地位。全天候24小时报道新闻热点及突发事件,信息触角遍布世界各地,重大报道从未缺席。2011年初,网易新闻客户端正式上线,受众知名度、行业口碑、下载量、人均单日使用时长一直排名行业前列。\n\n多年来,秉持“有态度”的新闻专业主义原则和理想,致立于为用户提供有深度、多角度、有温度的资讯内容,为人与人之间的信交流和共享持续贡献力量。为顺应内容消费升级趋势,升级运营网易门户、网易新闻客户端、网易文创、网易文旅、网易公开课等核心内容产品。\n\n[网易文创](https://www.163.com/necc/#/)\n\n网易文创是2019年网易传媒集团在内容产业领域布局、平行于网易新闻的创新内容品牌,以“有光”为品牌主张,以“陪伴用户,有用有趣”为出发点,聚焦有文化、有意思、有态度的原创内容生产。网易文创已形成了“文娱情感IP+新商业新消费+版权经纪”的多元化发展路径。截至目前,网易文创内容矩阵已覆盖国内外20大平台、拥有超过4亿粉丝,孵化28个头部内容IP,并与400+品牌达成了1500+项目合作。\n\n[网易文旅](javascript:;)\n\n网易文旅是网易聚焦文旅场景的内容品牌,依托于网易的内容能力和技术支撑赋能文旅行业。以目的地为场景,以行业资源积累为基础,注入内容创意和技术服务,共创Scene-场景/Technology-技术/Original-内容/Resources-资源/Yield-收益的STORY-LINE内容文旅全链路营销模式。围绕在地+、音乐+、P+、数字+、传播+5大模式展开文旅行业的探索,目前已落地超过150+内容文旅应用案例,持续践行“内容文旅,共创出发”的品牌定位和发展路径。\n\n更多业务一览\n------\n\n![](https://cms-bucket.ws.126.net/2024/0604/3727da50j00seje7a001gc000qe00alc.jpg)\n\n[工业和信息化部备案管理系统网站 粤B2-20090191-2](http://beian.miit.gov.cn/)\n [工业和信息化部备案管理系统网站 粤B2-20090191-18](http://beian.miit.gov.cn/)\n\n© 1997-2024 网易公司版权所有 [About NetEase](https://corp.163.com/)\n | [公司简介](https://corp.163.com/gb/about/overview.html)\n | [联系方法](https://corp.163.com/gb/contactus.html)\n | [招聘信息](https://corp.163.com/gb/job/job.html)\n | [客户服务](https://help.163.com/)\n | [隐私政策](https://corp.163.com/gb/legal.html)\n | [广告服务](http://emarketing.163.com/)\n | [不良信息举报 Complaint Center](https://www.163.com/special/0077jt/tipoff.html)\n | [廉正举报](https://jubao.163.com/)\n | [侵权投诉](https://corp.163.com/special/008397U0/reporting_infringements.html)",
    "markdown": "[网易](http://www.163.com/)\n\n*   [公司简介](https://corp.163.com/gb/about/overview.html)\n    \n*   [管理团队及董事会](https://corp.163.com/gb/about/management.html)\n    \n    [管理团队](https://ir.netease.com/zh-hans/company-overview/management-team)\n    \n    [董事会](https://ir.netease.com/zh-hans/company-overview/board-of-directors)\n    \n*   [公司新闻](http://corp.163.com/special/008397SO/neteasenews.html)\n    \n*   [投资者关系](https://ir.netease.com/)\n    \n*   [联系我们](https://corp.163.com/gb/contactus.html)\n    \n\n网易 (NASDAQ: NTES;HKEX:9999),1997年由丁磊先生在广州创办、2000年在美国NASDAQ股票交易所挂牌上市、2020年在香港联交所挂牌上市,是中国领先的互联网技术公司,在开发互联网应用、服务等方面始终保持中国业界领先地位。网易致力于利用最先进的互联网技术,加强人与人之间信息的交流和共享,为海量用户提供优质的产品和服务,以实现\"网聚人的力量,以科技创新缔造美好生活\"的使命愿景。\n\n网易不仅是全球领先的在线游戏开发与发行公司,还拥有中国领先的在线音乐平台、智能学习平台、自营品质电商品牌、资讯传媒平台以及电子邮件服务,覆盖全中国超过10亿用户。目前,网易国内主要集中在北京、广州、杭州、上海四地办公,并在日本、韩国、新加坡、美国、加拿大、英国等地均设有分支机构。自2000年上市以来,网易一直保持着财务指标的稳健增长。\n\n游戏\n--\n\n[网易游戏官网](http://game.163.com/)\n\n网易2001年正式成立在线游戏事业部,与广大游戏热爱者一同成长。经过20多年的快速发展,网易已跻身全球七大游戏公司之一。作为中国领先的游戏开发公司,网易一直处于网络游戏自主研发领域的前端。\n\n目前,网易正在运营中的游戏产品有100余款。自主研发了《梦幻西游》电脑版、《大话西游2经典版》、《大话西游2免费版》、《天下3》、《新倩女幽魂》、《逆水寒》、《梦幻西游》手游、《大话西游》手游、《倩女幽魂》手游、《阴阳师》、《率土之滨》、《一梦江湖》、《荒野行动》、《蛋仔派对》、《第五人格》、《明日之后》、《逆水寒》手游、《永劫无间》、《哈利波特:魔法觉醒》等数十款备受玩家喜爱的热门端游和手游,并独家代理《我的世界》《光·遇》等多款风靡全球的游戏。\n\n依托强大的精品游戏研发能力,网易游戏近年来在海外市场持续迎来重大突破。目前,包括《荒野行动》《第五人格》《明日之后》《永劫无间》《The Lord of the Rings: Rise to War》等多款产品均在全球多个地区取得了不俗的口碑和成绩。\n\n网易游戏以“游戏热爱者”诠释其形象,不仅定位于游戏平台和服务提供商,而是和所有的玩家一样,是有血有肉的“游戏爱好者”。未来,网易游戏将继续秉持网易公司“以匠心,致创新”的理念,与全球众多的合作伙伴一起,为玩家打造能够共享,值得热爱的高品质游戏。\n\n[网易游戏官网:](http://game.163.com/)\n [game.163.com](http://game.163.com/)\n\n教育\n--\n\n[有道](https://www.youdao.com/)\n\n网易有道是一家以成就学习者“高效学习”为使命的智能学习公司。2019年10月,网易有道登陆纽交所(股票代码“DAO”),成为网易旗下首家独立上市公司。网易有道依托强大的互联网AI等技术手段,围绕学习场景,打造了一系列深受用户喜欢的学习产品和服务,包括有道词典、有道词典笔等现象级学习工具。目前,有道全线产品月活跃用户超1.2亿。\n\n[网易有道官网:](https://www.youdao.com/)\n [www.youdao.com](https://www.youdao.com/)\n\n音乐\n--\n\n[网易云音乐](http://music.163.com)\n\n网易云音乐于2013年4月正式上线,是网易旗下一款专注于发现和分享的音乐产品。网易云音乐以“传递音乐美好力量”为使命,引领音乐产品从“播放器时代”进入“在线社区时代”。2021年12月2日正式在港交所上市,股票代码9899,成为全球音乐社区第一股。\n\n网易云音乐是最受年轻用户喜爱的音乐平台之一。目前平台月活用户2.06亿人,曲库数超1.49亿首,超9成活跃用户为90后00后,用户增速及留存率均领先行业。网易云音乐也是中国领先的原创音乐平台,在业内首个发起原创音乐扶持,坚定助推中国原创音乐繁荣发展。目前平台入驻原创音乐人超68.4万,持续领先行业。\n\n[网易云音乐官网:](http://music.163.com)\n [music.163.com](http://music.163.com)\n\n电商\n--\n\n[严选](http://you.163.com)\n\n网易严选以\"让美好生活触手可及\"为初心,旨在成为中国新中产喜欢的生活方式品牌。成立于2016年,网易严选从用心做好一条国民毛巾开始,通过简约、实用、舒适的美学设计,优化产品使用感受,为3000万新中产家庭带来更美好的生活。2021年,网易严选提出全新品牌生活理念「活出自己喜欢的样子」,旨在和新中产人群站在一起,倡导多元的生活价值主张。\n\n网易严选于2024年4月迎来成立8周年。一季度,严选持续聚焦品牌化战略,宠物、家清等类目保持双位数增长,不断占稳头部。网易严选借助AI技术迭代产品,帮助人体工学椅等爆款稳居多渠道销售前列。此外,网易严选成功举办2023年度供应商大会,聚焦AI技术、绿色可持续供应链等前沿趋势,与供应商协作共赢,加快实体制造升级,发展新质生产力。\n\n[网易严选官网:](http://you.163.com)\n [you.163.com](http://you.163.com)\n\n传媒\n--\n\n[网易新闻](https://www.163.com)\n\n网易新闻融合资讯平台及原创策划为一体,自1998年成立之初始终保持市场领先地位。全天候24小时报道新闻热点及突发事件,信息触角遍布世界各地,重大报道从未缺席。2011年初,网易新闻客户端正式上线,受众知名度、行业口碑、下载量、人均单日使用时长一直排名行业前列。\n\n多年来,秉持“有态度”的新闻专业主义原则和理想,致立于为用户提供有深度、多角度、有温度的资讯内容,为人与人之间的信交流和共享持续贡献力量。为顺应内容消费升级趋势,升级运营网易门户、网易新闻客户端、网易文创、网易文旅、网易公开课等核心内容产品。\n\n[网易文创](https://www.163.com/necc/#/)\n\n网易文创是2019年网易传媒集团在内容产业领域布局、平行于网易新闻的创新内容品牌,以“有光”为品牌主张,以“陪伴用户,有用有趣”为出发点,聚焦有文化、有意思、有态度的原创内容生产。网易文创已形成了“文娱情感IP+新商业新消费+版权经纪”的多元化发展路径。截至目前,网易文创内容矩阵已覆盖国内外20大平台、拥有超过4亿粉丝,孵化28个头部内容IP,并与400+品牌达成了1500+项目合作。\n\n[网易文旅](javascript:;)\n\n网易文旅是网易聚焦文旅场景的内容品牌,依托于网易的内容能力和技术支撑赋能文旅行业。以目的地为场景,以行业资源积累为基础,注入内容创意和技术服务,共创Scene-场景/Technology-技术/Original-内容/Resources-资源/Yield-收益的STORY-LINE内容文旅全链路营销模式。围绕在地+、音乐+、P+、数字+、传播+5大模式展开文旅行业的探索,目前已落地超过150+内容文旅应用案例,持续践行“内容文旅,共创出发”的品牌定位和发展路径。\n\n更多业务一览\n------\n\n![](https://cms-bucket.ws.126.net/2024/0604/3727da50j00seje7a001gc000qe00alc.jpg)\n\n[工业和信息化部备案管理系统网站 粤B2-20090191-2](http://beian.miit.gov.cn/)\n [工业和信息化部备案管理系统网站 粤B2-20090191-18](http://beian.miit.gov.cn/)\n\n© 1997-2024 网易公司版权所有 [About NetEase](https://corp.163.com/)\n | [公司简介](https://corp.163.com/gb/about/overview.html)\n | [联系方法](https://corp.163.com/gb/contactus.html)\n | [招聘信息](https://corp.163.com/gb/job/job.html)\n | [客户服务](https://help.163.com/)\n | [隐私政策](https://corp.163.com/gb/legal.html)\n | [广告服务](http://emarketing.163.com/)\n | [不良信息举报 Complaint Center](https://www.163.com/special/0077jt/tipoff.html)\n | [廉正举报](https://jubao.163.com/)\n | [侵权投诉](https://corp.163.com/special/008397U0/reporting_infringements.html)",
    "metadata": {
    "title": "网易",
    "ogLocaleAlternate": [],
    "sourceURL": "https://www.netease.com/",
    "pageStatusCode": 200
    },
    "linksOnPage": [
    "http://www.163.com/",
    "https://corp.163.com/gb/about/overview.html",
    "https://corp.163.com/gb/about/management.html",
    "https://ir.netease.com/zh-hans/company-overview/management-team",
    "https://ir.netease.com/zh-hans/company-overview/board-of-directors",
    "http://corp.163.com/special/008397SO/neteasenews.html ",
    "https://ir.netease.com/",
    "https://corp.163.com/gb/contactus.html",
    "http://game.163.com/",
    "https://www.youdao.com/",
    "http://music.163.com",
    "http://you.163.com",
    "https://www.163.com",
    "https://www.163.com/necc/#/",
    "https://www.netease.com//javascript:;",
    "http://beian.miit.gov.cn/",
    "https://corp.163.com/",
    "https://corp.163.com/gb/job/job.html",
    "https://help.163.com/",
    "https://corp.163.com/gb/legal.html",
    "http://emarketing.163.com/",
    "https://www.163.com/special/0077jt/tipoff.html",
    "https://jubao.163.com/",
    "https://corp.163.com/special/008397U0/reporting_infringements.html"
    ]
    }
rafaelsideguide commented 3 months ago

@HibernantBear The playground works well because it uses a mix of services and scraping methods, not just one. This setup helps bypass blockers on websites effectively. For your self-hosted setup, using the Firecrawl API key might help, as it includes access to these multiple services.

You can check out the getScrapingFallbackOrder function in single_url.ts under apps/api/src/scraper/WebScraper for more details on how this works.

HibernantBear commented 2 months ago

will, I found out this is because fallback to fetch, if playwright is available, this should acts alright this is because of the auth check block available playwright service that should be used modify the api's relate ts file will let playwright works