search

mindpin / TouchIdea

0 stars 1 forks source link

infocard测试页面 #26

Open chilliza opened 9 years ago

chilliza commented 9 years ago

主要用于infocard数据抓取程序的测试。需要解析的案例都列在 #19

测试页样式如下：

在输入框提交网址之后，将解析出的数据列出在下方对应的表格内。 例如：

淘宝网案例（ http://markdown.4ye.me/a70Rlgho ）提交成功后的显示应为：

若提交的网址无法解析则返回错误提示：

T^T 网址解析失败，原因可能是：

1. 这不是一个商品页面
2. 目前不支持该网站的信息抓取
3. 服务器开小差
ben7th commented 9 years ago

测试工程地址： 针对各案例的支持情况参考 readme

目前已经把测试页面放到了： https://banana-cake-6494.herokuapp.com/

页面上已经注明了目前已实现和未实现的解析。 针对已实现的解析，可以进行测试，如果测试中发现任何问题，包括：

  1. 页面出错
  2. 解析出来的数据有问题
  3. 超时

都记录在这个 issue 里。

chilliza commented 9 years ago

4月3日测试问题反馈

  1. 天猫：提交链接后导致程序出错
  2. 京东：示例文档内的链接未获取到价格，其他链接测试正常
  3. 当当：获取的图片地址错误。商品名称无需获取副标题
  4. 一号店：示例文档内的链接未获取到价格。其他链接偶尔会提示无法解析，再次提交后正常。
  5. 好乐买：无法获取价格
  6. 国美在线：无法解析
  7. 优集品：无法解析
  8. 丽芙家居：获取的图片地址错误。价格数字显示重复（例如 39 显示为 3939，前者为正确内容 ）
  9. 无印良品（中国）：无法解析
  10. YOHO!有货：无法获取价格
  11. 新蛋中国：无法获取价格
  12. 欧舒丹中国：无法获取价格
  13. 凡夫：无法获取图片
  14. 兰蔻（中国）：图片地址为相对地址，应自动加上主域名。商品名称获取错误，详见示例文档内的标记。
  15. KnewOne：无法获取图片
  16. 理肤泉：无法获取图片
  17. 唯品会：无法获取图片；http://www.vip.com/detail-391609-51674073.html?ff=5|2|4|15 增加此种页面样式商品的解析
  18. ebay：获取的图片地址错误。应自动隐去商品名称里的“Details about”。
  19. 大众点评：无法解析
  20. yelp：价格显示重复（例如 $ 显示为 $$ ）
  21. 豆瓣阅读：作者名显示重复（例如 随易 显示为 随易随易，前者为正确内容）
  22. 豆瓣读书：【如需大图可直接将mpic改为lpic】
  23. 时光网：应自动隐去地理位置里的“国家地区”
  24. IMDb：无法获取地理位置
  25. 豌豆荚：http://www.wandoujia.com/apps/com.duopinche 无法获取作者
  26. 应用宝：作者名称混入了版本号（例如 美图科技 显示为 V1.5美图科技，前者为正确内容）
  27. App Store（中国）：获取的图片地址错误。
  28. iTunes Store - 播客（中国）：获取的图片地址错误。
  29. iTunes Store - 图书（中国）：获取的图片地址错误。
fushang318 commented 9 years ago

天猫的情况比较复杂，所有情况如下 http://markdown.4ye.me/rRYAVhDb/10

chilliza commented 9 years ago

4月9日测试问题反馈

  1. 当当：获取的图片地址错误。商品名称无需获取副标题
  2. 国美在线：无法获取价格
  3. 优集品：示例文档内的链接价格获取错误，其他正常
  4. 丽芙家居：http://www.lifevc.com/item/13342#ref_src=gssv 无法解析
  5. 欧舒丹中国：示例文档内的链接无法解析，其他正常
  6. 唯品会：示例文档内的链接无法解析，新增地址解析正常
  7. 大众点评：图片解析错误，价格增加“人均：”
ben7th commented 9 years ago

测试页部署地址已更新到： http://urlinfo.4ye.me/

目前没有做淘宝的页面解析。。

chilliza commented 9 years ago

4月10日测试问题反馈

  1. 当当：获取的图片太小，需要想办法获取商品大图
  2. 唯品会：http://www.vip.com/detail-395723-51746182.html 无法获取图片和价格
fushang318 commented 9 years ago

4月23日问题

1 天猫各位商品获取价格有问题 http://detail.tmall.com/item.htm?id=44519842869 http://detail.tmall.com/item.htm?id=42874355126

2 当当一个页面没有获取价格 http://product.dangdang.com/23564706.html

3 亚马逊有问题 http://www.amazon.cn/40/dp/B008FUQ1GO http://www.amazon.cn/%E5%9B%B4%E5%9F%8E-%E9%92%B1%E9%92%9F%E4%B9%A6/dp/B00DA47QQE

4 taobao http://item.taobao.com/item.htm?id=39273953330

http://item.taobao.com/item.htm?id=10533563693

建议去掉

group :production do
  gem 'rails_stdout_logging'
end

5 月 5 日

http://item.yhd.com/item/2574840?tc=3.0.5.2574840.28&tp=52.5146.108.0.237.Kn^0KSb-10-F1P`q

去掉后边的 ?tc=3.0.5.2574840.28&tp=52.5146.108.0.237.Kn^0KSb-10-F1P`q 就可以正常解析，不知道原因

pimgeek commented 9 years ago

4月23日问题

1 宜家商品获取图片的问题 http://www.ikea.com/cn/zh/catalog/products/80287654/ http://www.ikea.com/cn/zh/catalog/products/50258672/

2 亚马逊商品获取图片的问题 http://www.amazon.cn/%E6%95%99%E7%88%B6%E4%B8%89%E9%83%A8%E6%9B%B2-%E9%A9%AC%E9%BE%99%E2%80%A2%E7%99%BD%E5%85%B0%E5%BA%A6-Marlon-Brando/dp/B00HLC811K/ http://www.amazon.cn/gp/product/B00MEY0VWW/ref=fs_kindlev

3 国美商品获取图片的问题 http://item.gome.com.cn/A0005271242-pop8005912834.html

4 淘宝商品获取图片的问题 http://item.taobao.com/item.htm?spm=a1z09.2.9.157.oRmIQ1&id=42495778839&_u=mug467m45de http://item.taobao.com/item.htm?spm=a1z09.2.9.203.7OJ3YM&id=19117814847&_u=mug467m67d5 http://item.taobao.com/item.htm?spm=a1z09.2.9.219.bFtFV3&id=12590621830&_u=mug467m6f4a

5 天猫商品获取图片的问题 http://detail.tmall.com/item.htm?id=5341635064&spm=a1z09.2.9.106.1bADyO&_u=mug467m3759

chilliza commented 9 years ago

4月24日问题反馈

  1. 淘宝商品无法解析价格： http://item.taobao.com/item.htm?id=43764273562 http://item.taobao.com/item.htm?id=43720353634 http://item.taobao.com/item.htm?id=35527539475 http://item.taobao.com/item.htm?id=40897753071 http://item.taobao.com/item.htm?id=16592281015 http://item.taobao.com/item.htm?id=41928915793 http://item.taobao.com/item.htm?id=36598906358 http://item.taobao.com/item.htm?id=16841994183 http://item.taobao.com/item.htm?id=40869016674
  2. 天猫商品价格解析有误： http://detail.tmall.com/item.htm?id=40605880082

以上问题已修复完毕

pimgeek commented 9 years ago
4 月 27 日问题反馈
  1. 天猫获取图片的问题 http://detail.tmall.com/item.htm?spm=a230r.1.14.1.0yiMfP&id=17238364219&ad_id=&am_id=&cm_id=140105335569ed55e27b&pm_id=&_u=n1psabpfe1a&abbucket=3 http://detail.tmall.com/item.htm?spm=a230r.1.14.1.mOrgAN&id=42812564636&ad_id=&am_id=&cm_id=140105335569ed55e27b&pm_id=&abbucket=3 http://detail.tmall.com/item.htm?spm=a230r.1.14.33.xbRGNo&id=37264800348&ns=1&abbucket=3 http://detail.tmall.com/item.htm?spm=a230r.1.14.8.VtpSBr&id=21931180475&ad_id=&am_id=&cm_id=140105335569ed55e27b&pm_id=&_u=m1psabp96b3&abbucket=3
  2. 淘宝获取图片的问题 http://item.taobao.com/item.htm?spm=a1z09.2.9.106.1bADyO&id=5341635064&_u=mug467m3759 http://item.taobao.com/item.htm?spm=a1z09.2.9.157.oRmIQ1&id=42495778839&_u=mug467m45de http://item.taobao.com/item.htm?spm=a1z09.2.9.219.bFtFV3&id=12590621830&_u=mug467m6f4a
  3. 一号店获取图片的问题 http://item.yhd.com/item/1018574 http://item.yhd.com/item/1173220 http://item.yhd.com/item/1198164 http://item.yhd.com/item/15385573 http://item.yhd.com/item/15385575 http://item.yhd.com/item/22764617 http://item.yhd.com/item/22986500 http://item.yhd.com/item/27351946 http://item.yhd.com/item/29778363 http://item.yhd.com/item/31179457 http://item.yhd.com/item/40054021 http://item.yhd.com/item/4494271 http://item.yhd.com/item/46921837 http://item.yhd.com/item/7114585
pimgeek commented 9 years ago
4 月 28 日问题反馈

1 一号店，图片载入问题 http://item.yhd.com/item/29778363 http://item.yhd.com/item/22986500 http://item.yhd.com/item/1173220 http://item.yhd.com/item/27351946 http://item.yhd.com/item/22764617 http://item.yhd.com/item/15385575 http://item.yhd.com/item/15385573 http://item.yhd.com/item/46921837 http://item.yhd.com/item/40054021 http://item.yhd.com/item/31179457 http://item.yhd.com/item/45305705 http://item.yhd.com/item/18053532 http://item.yhd.com/item/41576807 http://item.yhd.com/item/20931086 http://item.yhd.com/item/21195047 http://item.yhd.com/item/952863 http://item.yhd.com/item/1125375 http://item.yhd.com/item/2623339 http://item.yhd.com/item/12002177

2 亚马逊，图片载入问题 http://www.amazon.cn/gp/product/B007XP0L8G?linkCode=waf&tag=liuzhouyeshi-23 http://www.amazon.cn/gp/product/B007XPIF6Q?linkCode=waf&tag=liuzhouyeshi-23 http://www.amazon.cn/gp/product/B00SMB8ZVU?linkCode=waf&tag=liuzhouyeshi-23 http://www.amazon.cn/gp/product/B00N3LVSTA?linkCode=waf&tag=liuzhouyeshi-23 http://www.amazon.cn/gp/product/B00RWP6BOU?linkCode=waf&tag=liuzhouyeshi-23

3 天猫，图片载入问题 http://detail.tmall.com/item.htm?id=9901710754 http://detail.tmall.com/item.htm?id=9918182089&spm=a1z09.2.9.259.utwYkT&_u=mjudafs4c60&mt= http://detail.tmall.com/item.htm?id=37805972746&spm=a1z09.2.9.156.FmAc5R&_u=n2k9nkq40f3&mt= http://detail.tmall.com/item.htm?id=24321196651&spm=a1z09.2.9.54.pwMlc9&_u=n2k9nkq4532&mt= http://detail.tmall.com/item.htm?id=20284704551&spm=a1z09.2.9.63.PhXahl&_u=n2k9nkq6481&mt=