开发爬虫

[bsplu]

搜索关键字,列出与关键字有关的视频列表

┆Attachments: 选区_103.jpg | wechat.PNG | baidu.PNG | google.PNG | youtube.PNG

[bsplu]

➤ bsplu commented:

youtube api 用不了. 调用api要和自己的google开发者账号绑定. 这个功能适合开发个人网站. 不适合放在插件里让所有人使用

[bsplu]

➤ l365692902 commented:

@bsplu 哈哈哈哈哈

[bsplu]

➤ l365692902 commented:

所以那就只能借助youtube的搜索了。但是我现在想的是，搜索的依据应该有两个，一个是youtuber频道的名字比如“湖南卫视芒果TV官方频道 China HunanTV Official Channel”，另一个是若干个关键词比如“爸爸去哪儿”，“完整版”。那怎么能实现只搜索一个youtuber的视频呢？或者怎么知道这个视频的发布者是谁呢？

[bsplu]

➤ bsplu commented:

似乎firefox不支持superagent 之前找到的爬虫教程没办法参考

[bsplu]

➤ l365692902 commented:

@bsplu 哇。。。再找一个

[bsplu]

➤ bsplu commented:

@l365692902 哇，你为啥还没睡觉

[bsplu]

➤ bsplu commented:

现在需要找到一个方法，实现抓取一个网页。

[bsplu]

➤ l365692902 commented:

@bsplu 马上睡了。。。今天更新快本。。还有动画

[bsplu]

➤ l365692902 commented:

@bsplu 我觉得查查webextension的api，放在background script里调用。。。大概这个流程

[bsplu]

➤ bsplu commented:

已经实现了抓取搜索页. 接下来我要睡觉了...交给你啦!

[bsplu]

➤ bsplu commented:

需要想个办法储存关键字，xml？

[bsplu]

➤ l365692902 commented:

@bsplu 好酷，好像在打车轮战，话说有找到新的教程吗？

[bsplu]

➤ bsplu commented:

@l365692902 没有找到新的教程，先不写异步了.慢慢再找，打算不同关键字异步处理

[bsplu]

➤ bsplu commented:

这周末之前能移植完吗?

[bsplu]

➤ l365692902 commented:

@bsplu 感觉应该可以，刚刚发现个问题，抓回来的文档不好使。

[bsplu]

➤ l365692902 commented:

@bsplu 你的scrapbook更新了

[bsplu]

➤ l365692902 commented:

wechat.PNG 我这边是这样的，目测不是错

[bsplu]

➤ bsplu commented:

@l365692902 你加载的页面啥样？也来个图

[bsplu]

➤ l365692902 commented:

google.PNG 欸，似乎google并不是每次都触发机器人检查

[bsplu]

➤ bsplu commented:

@l365692902 为啥我就啥都加载不出来

[bsplu]

➤ bsplu commented:

@l365692902 我也想玩

[bsplu]

➤ bsplu commented:

@l365692902 不过,youtube是怎么机器验证的?

[bsplu]

➤ bsplu commented:

我这边按完按钮加载出来的始终是空白页,F12看源码,啥也没有,真空开. 你是咋弄的?

[bsplu]

➤ l365692902 commented:

@bsplu 我刚刚居然在youtube上看到trello的广告了