search

ferventdesert / Hawk

visualized crawler & ETL IDE written with C#/WPF
Apache License 2.0
3.16k stars 974 forks source link

点击网页中页码数字,网址不变的怎么爬? #53

Closed jinyangyb closed 7 years ago

jinyangyb commented 7 years ago

我在爬下面的网址遇到这么一个问题: 点击下面换页的页码, 发现上面的网页地址不会变, 所以就不知道怎么爬这个网页了, 请告诉怎么爬? 能给给个示例代码最好 :-), 先谢了. http://data.eastmoney.com/bbsj/201703/yysj.html

ferventdesert commented 7 years ago

参考：

http://www.cnblogs.com/buptzym/p/6718190.html

jinyangyb commented 7 years ago

确实是可以提取数据了,但不是网页上的表格数据, 而是一堆字符串数组,接下来只能用字符串进行分割,不能像你提到的视频那样直接提取到表格数据了吧? 不确定是不是这样? 帮忙确认一下, 谢谢. 拿到的是类似这样(截取了两段类似的文字): var kaIAVtaz={pages:27,data:["300633,开立医疗,预计2017....., "300146,汤臣倍健,预计2017年1...." .....]}

ferventdesert commented 7 years ago

两种办法： 使用超级模式，它会直接解析这个js脚本，返回手气不错的结果

  1. 用字符串分割，然后用json转换，一点点地弄出来 如果你要灵活性，建议第二种，也可以把它导出来用别的工具完成
jinyangyb commented 7 years ago

超级模式是有效的，但在执行手气不错时，无法提取， 调试窗口提示： WARN 没有检查到任何可选的列表页面 @ferventdesert， 你能试一下，看是什么原因让手气不错无法提取？ 我用的hawk2.0