search

Tran-Ngoc-Bao / Process_Shopee_Data

Analyze e-commerce information on Shopee
2 stars 0 forks source link

Shopee api v4 #1

Open DestschEng opened 2 hours ago

DestschEng commented 2 hours ago

Bạn ơi cho mình hỏi link api v4 lấy ở trang nào, hay api này là từ open api shopee vậy ạ, mình cũng đang làm project crawl data trên shopee mà bị gặp block với captcha không biết bạn xử lý vấn đề như nào vậy n

Tran-Ngoc-Bao commented 2 hours ago

Shopee họ chặn api bạn ạ Bạn phải crawl bằng tay từ curl trên terminal và crawl 30p lại phải ngắt quãng không họ chặn IP

Vào Th 6, 11 thg 10, 2024 lúc 09:14 DestschEng @.***> đã viết:

Bạn ơi cho mình hỏi link api v4 lấy ở trang nào, hay api này là từ open api shopee vậy ạ,

— Reply to this email directly, view it on GitHub https://github.com/Tran-Ngoc-Bao/Process_Shopee_Data/issues/1, or unsubscribe https://github.com/notifications/unsubscribe-auth/AWGN4XHKIU6RS6UJ4K6LSY3Z24YBHAVCNFSM6AAAAABPX7H32KVHI2DSMVQWIX3LMV43ASLTON2WKOZSGU4DAMRVGQZTQMA . You are receiving this because you are subscribed to this thread.Message ID: @.***>

DestschEng commented 1 hour ago

Shopee họ chặn api bạn ạ Bạn phải crawl bằng tay từ curl trên terminal và crawl 30p lại phải ngắt quãng không họ chặn IP Vào Th 6, 11 thg 10, 2024 lúc 09:14 DestschEng @.***> đã viết:

Cho mình hỏi là cái url = 'https://shopee.vn/api/v4/pages/get_category_tree' nguồn gốc là trang nào trên shopee vậy ạ

DestschEng commented 1 hour ago

Nếu dùng curl thì cho mình hỏi file create_tree_path.py dùng như nào vậy ạ

Tran-Ngoc-Bao commented 55 minutes ago

Có 1 api chứa cây danh mục họ open cho mình đấy bạn tìm mở dev tool tìm trong fetch/xhr là thấy

Vào Th 6, 11 thg 10, 2024 lúc 10:24 DestschEng @.***> đã viết:

Nếu dùng curl thì cho mình hỏi file create_tree_path.py dùng như nào vậy ạ

— Reply to this email directly, view it on GitHub https://github.com/Tran-Ngoc-Bao/Process_Shopee_Data/issues/1#issuecomment-2406484883, or unsubscribe https://github.com/notifications/unsubscribe-auth/AWGN4XE55CJ7CM3EQCP6UD3Z25AF5AVCNFSM6AAAAABPX7H32KVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDIMBWGQ4DIOBYGM . You are receiving this because you commented.Message ID: @.***>

DestschEng commented 54 minutes ago

Cho mình hỏi mình dùng Curl đã truyền cookie thì vẫn bị lỗi {"is_customized":false,"is_login":false,"action_type":2,"error":90309999,"tracking_id":"443069dc1c5-6944-46ab-9f0b-646f60c0b69e"} không biết bạn có gặp phải vấn đề tương tự k ạ

Tran-Ngoc-Bao commented 52 minutes ago

Có đấy 🤣 Bạn phải copy curl từ dev tool đủ trường như trong file create_tree_path của mình í

Vào Th 6, 11 thg 10, 2024 lúc 10:34 DestschEng @.***> đã viết:

Cho mình hỏi mình dùng Curl đã truyền cookie thì vẫn bị lỗi {"is_customized":false,"is_login":false,"action_type":2,"error":90309999,"tracking_id":"443069dc1c5-6944-46ab-9f0b-646f60c0b69e"} không biết bạn có gặp phải vấn đề tương tự k ạ

— Reply to this email directly, view it on GitHub https://github.com/Tran-Ngoc-Bao/Process_Shopee_Data/issues/1#issuecomment-2406492326, or unsubscribe https://github.com/notifications/unsubscribe-auth/AWGN4XDL4C5TRNXATBV7ESDZ25BNRAVCNFSM6AAAAABPX7H32KVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDIMBWGQ4TEMZSGY . You are receiving this because you commented.Message ID: @.***>

Tran-Ngoc-Bao commented 50 minutes ago

Bạn nên đổi sang crawl từ Lazada hoặc Tiki họ không chặn đâu

Vào Th 6, 11 thg 10, 2024 lúc 10:36 Bảo Trần @.***> đã viết:

Có đấy 🤣 Bạn phải copy curl từ dev tool đủ trường như trong file create_tree_path của mình í

Vào Th 6, 11 thg 10, 2024 lúc 10:34 DestschEng @.***> đã viết:

Cho mình hỏi mình dùng Curl đã truyền cookie thì vẫn bị lỗi {"is_customized":false,"is_login":false,"action_type":2,"error":90309999,"tracking_id":"443069dc1c5-6944-46ab-9f0b-646f60c0b69e"} không biết bạn có gặp phải vấn đề tương tự k ạ

— Reply to this email directly, view it on GitHub https://github.com/Tran-Ngoc-Bao/Process_Shopee_Data/issues/1#issuecomment-2406492326, or unsubscribe https://github.com/notifications/unsubscribe-auth/AWGN4XDL4C5TRNXATBV7ESDZ25BNRAVCNFSM6AAAAABPX7H32KVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDIMBWGQ4TEMZSGY . You are receiving this because you commented.Message ID: @.***>

DestschEng commented 40 minutes ago

Có đấy 🤣 Bạn phải copy curl từ dev tool đủ trường như trong file create_tree_path của mình í Vào Th 6, 11 thg 10, 2024 lúc 10:34 DestschEng @.***> đã viết:

mình cũng copy từ devtool nhưng trên devtool mình thấy trường này Af-Ac-Enc-Sz-Token: nó không hiển thị thì mà mình thấy trong file create_tree_path có giá trị token thì k biết là lấy nó ở đây vậy a

Tran-Ngoc-Bao commented 37 minutes ago

Copy as CURL có mà bạn nhỉ

Vào Th 6, 11 thg 10, 2024 lúc 10:48 DestschEng @.***> đã viết:

Có đấy 🤣 Bạn phải copy curl từ dev tool đủ trường như trong file create_tree_path của mình í Vào Th 6, 11 thg 10, 2024 lúc 10:34 DestschEng @.***> đã viết:

mình cũng copy từ devtool nhưng trên devtool mình thấy trường này Af-Ac-Enc-Sz-Token: nó không hiển thị thì mà mình thấy trong file create_tree_path có giá trị token thì k biết là lấy nó ở đây vậy a

— Reply to this email directly, view it on GitHub https://github.com/Tran-Ngoc-Bao/Process_Shopee_Data/issues/1#issuecomment-2406502441, or unsubscribe https://github.com/notifications/unsubscribe-auth/AWGN4XF4YFECXQIBOPGIZWDZ25DCXAVCNFSM6AAAAABPX7H32KVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDIMBWGUYDENBUGE . You are receiving this because you commented.Message ID: @.***>

DestschEng commented 28 minutes ago

Giờ mình copy không thấy hiện Af-Ac-Enc-Sz-Token: nữa r :((((

curl 'https://shopee.vn/api/v4/pages/get_category_tree' \ -H 'accept: /' \ -H 'accept-language: en-US,en;q=0.9,vi-VN;q=0.8,vi;q=0.7' \ -H 'af-ac-enc-dat: 1bb0956add2af6c1' \ -H 'af-ac-enc-sz-token;' \ -H 'cookie: REC_T_ID=97ddafb1-9504-11ee-8b8c-0e8694b875c9; SPC_F=9Ubjd5IxOywVIJy5EIJPtx8uWcu70k3A;

DestschEng commented 24 minutes ago

Copy as CURL có mà bạn nhỉ Vào Th 6, 11 thg 10, 2024 lúc 10:48 DestschEng @.***> đã viết:

À mình chạy curl fetch được data rồi. Thanks a lot bro

Tran-Ngoc-Bao commented 19 minutes ago

Bắt buộc lấy dữ liệu từ Shopee à bạn Lấy từ Tiki hoặc Lazada không bị chặn cho sướng 🤣

Vào Th 6, 11 thg 10, 2024 lúc 11:04 DestschEng @.***> đã viết:

Copy as CURL có mà bạn nhỉ Vào Th 6, 11 thg 10, 2024 lúc 10:48 DestschEng @.***> đã viết:

À mình chạy curl fetch được data rồi. Thank a lot bro

— Reply to this email directly, view it on GitHub https://github.com/Tran-Ngoc-Bao/Process_Shopee_Data/issues/1#issuecomment-2406513463, or unsubscribe https://github.com/notifications/unsubscribe-auth/AWGN4XCW5LKN5IIAD4Y7VY3Z25E45AVCNFSM6AAAAABPX7H32KVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDIMBWGUYTGNBWGM . You are receiving this because you commented.Message ID: @.***>

DestschEng commented 1 minute ago

Bắt buộc lấy dữ liệu từ Shopee à bạn Lấy từ Tiki hoặc Lazada không bị chặn cho sướng 🤣 Vào Th 6, 11 thg 10, 2024 lúc 11:04 DestschEng @.***> đã viết:

À mình chỉ đang kiếm data mấy sàn thương mại điện tử để build data pipeline mà bị stuck thằng shopee may mà có repo bạn mới mò được lấy data bên shopee

off topic không biết bạn có thể acpt connect linkedin của mình đc không linkedin của mình nãy mình có gửi connect mình cũng đang theo data engineer nếu có tiện có thể trao đổi kiến thức đc k a