search

mtianyan / FunpySpiderSearchEngine

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索
MIT License
923 stars 315 forks source link

mysql 数据库初始化文件在哪呢 #2

Closed ghost closed 6 years ago

mtianyan commented 6 years ago

如果着急的话，你可以通过item中写定的字段先自行创建数据库表。大概两天后我回家了才可以将sql补上来。

ghost commented 6 years ago

ok. 还有一个问题，spider抓取到了内容，elasticsearch里面的index数量是0,这会是什么原因呢？

mtianyan commented 6 years ago

es的index需要自己手动右键Run es_zhihu系列文件映射成需要的index。

ghost commented 6 years ago

从哪里右键Run as ? 是哪个页面吗？

mtianyan commented 6 years ago

@jackiilong 已经附上了mysql文件。es存入的版本在es分支。然后初始化es索引是执行ArticleSpider/ArticleSpider/models/目录下的三个文件: es_jobbole.py es_lagou.py es_zhihu.py

ghost commented 6 years ago

ok. 这2个分支有什么区别呢？

mtianyan commented 6 years ago

@jackiilong es分支是最终完全版(亦包括mysql存入功能)。主仓库是只实现了存入mysql的代码。我担心对于只有mysql存入要求的人来说其中es存入的代码冗余。