反馈新情况 - Githubissues

BetterSci commented 4 years ago

抓取免费音频没有问题，抓取付费的音频，提示： Invalid URL 'None': No schema supplied. Perhaps you meant http://None?

joelYing commented 4 years ago

抱歉，回复晚了，刚刚测试了后发现嗅探到的数据包找不到HTTP段的内容，也就是说抓不到音频的播放地址，而且播放地址的端口貌似也换了，所以这个vip脚本目前好像下载不了vip音频......

aryamo commented 4 years ago

开始抓包 Message: no such element: Unable to locate element: {"method":"css selector","selector":".play-btn.fR_"} (Session info: headless chrome=85.0.4183.83) 到这里时什么情况？

cailong-1 commented 4 years ago

[0915/005424.457:INFO:CONSOLE(1)] "Refused to get unsafe header "x-a1-front-switch""。报错如上，所有步骤都准备好了，但是抓取vip音频失败

ZhunterTop1 commented 3 years ago

喜马防爬又升级了原先代码： browser.find_element_by_cssselector(".play-btn.fR").click() //已经无法使用了

需要再点击播放按钮： js = "document.querySelector('.play-btn.fR_').click()" browser.execute_script(js) ele = browser.find_element_by_xpath("//*[@id=\"award\"]/div[2]/div[1]/div[3]/div[1]/a[2]/i") ele.click() ele.click()

ZhunterTop1 commented 3 years ago

为何现在点击播放按钮后，不会自动加载播放url了喜马拉雅是通过什么手段实现的？爬虫标志？ window.navigator.webdriver

youxikaifa commented 3 years ago

修改代码后正常运行，能听到播放声音，无法下载到指定目录，请大佬指点一下

ghell commented 3 years ago

sound_list = browser.find_elements_by_xpath('//div[@class="sound-list _is"]/ul/li') # 获取音频行 li_play = sound_list[i].find_element_by_class_name("icon-wrapper") # 获取该行播放按键 click 建议用系统的 browser.execute_script("arguments[0].click()", li_play) #用selenium的要先可视，悬停才能按

可以不用抓包，用selenium-wire代替selenium，可以直接获取返回的request中的媒体url。底层应该是建了一个代理

目前的问题是喜马拉雅网页端好像每天有400个左右文件上限，不知道是否能通过什么方式突破，还是被识别了特征

bopjiang commented 1 year ago

sound_list = browser.find_elements_by_xpath('//div[@Class="sound-list _is"]/ul/li') # 获取音频行 li_play = sound_list[i].find_element_by_class_name("icon-wrapper") # 获取该行播放按键 click 建议用系统的 browser.execute_script("arguments[0].click()", li_play) #用selenium的要先可视，悬停才能按

可以不用抓包，用selenium-wire代替selenium，可以直接获取返回的request中的媒体url。底层应该是建了一个代理

目前的问题是喜马拉雅网页端好像每天有400个左右文件上限，不知道是否能通过什么方式突破，还是被识别了特征

大佬有fork或patch吗

joelYing / XimalayaFM

反馈新情况 #6