成都⼆⼿房爬⾍及可视化

开发环境：Scrapy、Django2.x

项⽬描述：该项⽬使⽤ Scrapy 框架爬取链家成都地区⼆⼿房数据，通过 Django 框架写⼊数据库并使⽤ ECharts 将分析后的数据可视化展⽰到⽹⻚。

教程

• 创建Django工程

djagno-admin startproject rent

• 进入rent目录并创建Django项目

cd rent

python manage.py startapp rentAnalysis

• 创建Scrapy工程

  scrapy startproject rentSpider

• 进入rentSpider目录并创建爬虫文件

  
  cd rentSpider

scrapy genspider house(spider_name) cd.lianjia.com(spider_url)

- 在Scrapy工程中配置Django

rentSpider/settings.py

import os import sys import django sys.path.append(os.path.dirname(os.path.abspath('.'))) os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'rent.settings') # Django Project Name django.setup()

- 启动Scrapy

scrapy crawl house(spider_name)

- 启动Django

python manage.py runserver

admin: rent password: rent1234