SunXinFei
commented
5 years ago Docker部署方式
【issue】 上面全局安装这种会造成全局环境污染，这里我们使用docker部署相关服务。 Docker中一些概念这里就不再赘述了，重要概念提一下分别是镜像和容器， 镜像可以用远端下载的也可以自己生成，容器是运行起来的环境，可以从主机进入容器内部运行命令。
常用docker命令：
service docker restart#docker服务启动service docker stop#docker服务停止docker images#查看已有镜像docker ps#查看活动中的容器docker ps -a#查看所有容器docker rm 容器id/容器名称#移除容器，注：需要先stopdocker stop 容器id/容器名称docker restart 容器id/容器名称docker exec -it 容器id/容器名称 bash#进入容器内，执行命令docker exec -it 容器id/容器名称 命令# 不需进入容器，执行命令docker logs 容器id/容器名称# 查看docker日志docker run 参数 镜像名称生成容器，-it进入容器内，--restart=always，-v 主机路径: 容器路径挂载路径到主机，-p 80:3200主机80映射给容器内3200端口，--name crawler-node容器名称，-d后台运行。
安装docker-nginx并配置
- 首先查看有无镜像，没有就下载nginx镜像
docker images docker search nginx docker pull docker.io/nginx - 然后我们运行一个容器，目的是把里面的基础配置文件拷贝一份出来
docker run -it --restart=always --name crawler-nginx-test -p 8081:80 -d docker.io/nginx mkdir -p /data0/nginx/www /data0/nginx/logs /data0/nginx/conf /data0/nginx/conf.d docker cp crawler-nginx-test:/etc/nginx/nginx.conf /data0/nginx/conf docker cp crawler-nginx-test:/etc/nginx/conf.d /data0/nginx - 这样我们就会得到一个基础配置在主机上，我们可以stop crawler-nginx-test 这个镜像，然后rm掉，我们开始生成真正的要是使用的镜像
docker run -d -p 80:80 --name crawler-nginx -v /data0/nginx/www:/usr/share/nginx/html -v /data0/nginx/conf.d:/etc/nginx/conf.d -v /data0/nginx/conf/nginx.conf:/etc/nginx/nginx.conf -v /data0/nginx/logs:/var/log/nginx docker.io/nginx - 上面的操作使得我们得到监听80端口的nginx容器，log和配置文件都已经挂载到了主机的相应位置，下面我们添加nginx配置，用来做业务端口转发
# 在主机/data0/nginx/conf.d目录下有一个默认的default.conf，再建一个crawler.com.conf,内容如下 server{ listen 80; server_name crawler.com; location / { proxy_pass http://宿主主机ip:3200; //<=注意这里是宿主的主机ip，不是localhost或者127.0.0.1，除非docker是`network_mode: host` } } - 最后重启docker容器即可生效
以上步骤实现了，docker-nginx部署，docker监听80端口转发给crawler-nginx容器，crawler-nginx容器内部做server转发，转发给主机的3200端口，下面我们开始配置监听3200端口的node服务
_如果docker容器用了
network_mode: host配置，那么可以写为proxypass http://127.0.0.1:3200 - 首先我们要清楚一点是docker镜像是可以依赖其他镜像，然后生成自己的镜像，别人也可以通过自己生成的镜像再生成新的镜像。我们将含有node+pm2的镜像，生成一个新的镜像，命名为crawler:v0.2，上传到远端。
- 基于该镜像生成该项目crawler-node的容器，将项目目录挂载到主机，
docker run -it --restart=always -v /data0/www/crawler:/data0/vad/jucai/crawler.com -p 3200:3200 --name crawler-node -d 远端地址crawler:v0.2 - 在node项目中添加ecosystem.config.js文件，目的是方便我们配置pm2的一些监测等配置，文件大致配置如下：
module.exports = { apps : [{ name: 'crawler', script: '/data0/vad/jucai/crawler.com/app.js', cwd: '/data0/vad/jucai/crawler.com', instances: 1, autorestart: true, watch: ['routes','controller','app.js'], ignore_watch : ["node_modules"], max_memory_restart: '1G', watch_delay: 1000, env: { NODE_ENV: 'development' }, env_production: { NODE_ENV: 'production' } }] }; - 使
crawler-node容器内pm2启动应用的命令如下，这样pm2将监测相关代码的变化，可以自动重启应用docker exec -it crawler-node pm2 start /data0/路径/ecosystem.config.js
centOS7安装node+pm2+chrome步骤
Selenium在MAC中的环境搭建
Selenium由于不再迭代，现在主流爬虫都使用的--Puppeteer 由于mac中自带python，那么我们可以避开python的安装。
sudo easy_install pip安装pip；sudo pip install selenium安装selenium；brew install chromedriver； 注意：如果运行该命令报错：则改为如下命令去执行：新建test.py，粘贴下面的内容；保存之后使用
python test.py执行，即可得到运行结果与爬虫截图。输入框重新输入内容
driver.find_element_by_id('kw').send_keys(u'百度')
模拟Enter回车键
driver.find_element_by_id('su').send_keys(Keys.RETURN) time.sleep(5)
清空输入框内容
driver.find_element_by_id('kw').clear()
生成新的页面快照
driver.save_screenshot('test.png')
获取当前url
print(driver.current_url) driver.close()