您好！部署运行成功后，api接口都没有数据

gutoushe233 commented 5 years ago

您好！是因为没有爬虫存库的原因吗？运行python那个项目，也没见本地数据库存入了数据；reptile目录下面的文件以此运行，db.py存入了一个玄幻小说的分类测试数据，然后运行novel报错，不是提示连接过多失败就是数据库自动断开，请问您的node版本的部署文件是不是有存库？我看您的接口都有数据输出。

dkvirus commented 5 years ago

@gutoushe233 我并不是对笔趣阁上所有小说资源都爬取，存到本地数据库。（最开始是这么干的）

一来是买的云服务器没有很多的空间；（个人开发者，穷~）
二来有些未完结的小说，不好追踪更新状态。有尝试过定时器，但不稳定。

我的接口有两类：

一类是从数据库里搂数据；涉及到用户的、书架的、搜索的都是存库里的；这部分需要实际业务的时候有插入的过程，比如你第一次登录小程序的时候就会新增用户信息；
另一类接口是实时从笔趣阁抓数据的。比如正在看某一章节的小说，数据库里只存了这一章节的 url，实际看的时候会临时根据章节 url 去笔趣阁上爬取对应的内容，返回给客户端。此时服务端相当于一个中转站。你可以访问接口：http://localhost:4000/api/v1/gysw/novel/content?url=https://www.biquge5200.cc/98_98755/167738124.html（ip 和端口换成你本地启动的服务）

涉及爬虫的内容写在 src/routes/novel.js

dkvirus commented 5 years ago

@gutoushe233 上传了 sql 文件（server_node_express/novel.sql），你导入本地数据库，我本地测了一波能拿到数据了。

dkvirus commented 5 years ago

关于 python 工程

这个项目叫 py-novel，是因为最开始在学习 python 的时候练习爬虫的。

python 项目年久失修，找时间我也复测、完善一波。

暂时线上用的是 server_node_express 项目，有什么问题尽管提，我收到的反馈太少了，想要优化都没地方整。

server_python 与 server_node_express 的关系？

server_python 提供了第一版接口；/api/v1

server_node_express 提供了第二版接口；/api/v2

二者没有任何的关系。并不是说要先运行 Python 服务将数据爬到数据库，再运行 node 服务请求接口拿数据，不是这样的~~~二者是独立的两个服务。

gutoushe233 commented 5 years ago

content: "　　就在宁志恒和局座在办公室里叙谈的时候，行动一处的一处办公室里，几名军官正在闲聊。　　行动队副队长管兴修，正在拆卸清洗手中的配枪，他一边摆弄零件，一边闲侃说道：“你们说咱们行动一处，堂堂的一个行动大处，说起来还是军统局的第一部门，可这一天到晚就这样待着，闲的都不知道做什么，别说，我这枪倒是擦得越来越亮了。”　　旁边的行动队长巩茂德手中端着一杯茶水，轻轻的抿了一口，感觉有些烫嘴，又把茶杯放到了桌上，笑着打趣道：“你要是实在无聊，就去找你的相好聚一聚，我替你值班。”　　管兴修一听撇了撇嘴，他哪里有什么相好，不过都是一些舞厅歌女的货色，兜里没钱，去了也是没有面子！　　“我这兜里连买烟的钱都没了，去了吃白食吗？我丢不起这人！”　　一旁的军官连磊也是无奈地说道：“你们说说，大家都是军统局的，可是人家那几个大处哪个不是吃的满嘴流油，也就是我们，空守着这个办公室，连个捞外快的机会都没有，这兜里比屁股还干净，就这点薪水都不敢出去下个馆子，混的一天不如一天了。”　　管兴修哼了一声，将手中的枪支零件组装好，嘴里不紧不慢地说道：“咱们行动一处想捞外快，就要出去上前线，你这个级别，去了就给个行动大队，就怕你不愿意！”　　军统局的几个大处，都是各管一摊儿，边泽的情报一处，主要负责各地军事情报站的工作，尤其是敌后情报站的工作，他们负责收集敌方情报，打击敌方势力，摊子大，经费也足，手下军官们的日子还好过一些。　　谷正奇的情报二处，负责对内的反谍和侦破工作，只要是国统区发生的案件，几乎都归他们管，这里面动手脚的机会多，往往一个案件下来，办案人都能得到不少的好处，这里面的油水是最足的。　　可是赵子良的行动一处就有些尴尬了，他们主要负责对敌的武装行动，掌控着军统局的武装力量忠义救国军，说起来他们的实力是最大的，多达数万的正规军队，军中的主官和骨干都是行动一处的军官，可是他们的危险也最大，直接和日本军队作战，时间一久，损失颇重，手下的军官们无法插手内部事务，又要随时补充前线作战，日子过得很不容易，士气难免低落，所以平时在一起都是有不少的抱怨。　　连磊身子向前，放低了声音，故作神秘的说道：“你们听说了吗？人家行动二处的这段时间可是不得了，短短不到二十天的时间，抓的日本间谍都数不过来，连牢房都装不下了，二处的行动队到处抓人抄家，光是一个市政厅的秘书长就抄出来好几个公司，缴获的轿车好几十辆，这里面的油水可大了去了，听说光是这一次的案子，每个基层军官都给了这个数！”　　说到这里，连磊伸出了两个手指头在两个同事面前晃了晃，顿时让着两个人眼睛瞪着老大。　　“还是美元！”　　“嘶，嘶…”两个人倒吸了一口凉气。　　“所有参与行动的队员都有份，你们说一说，这得花多少钱？”　　过了好半晌，管兴修才摇了摇头，轻轻啧了一声：“啧啧，我之前还听说行动二处的宁阎王前几天处置了几个从中伸手的军官，还以为这也是个吃人不吐骨头的角色，没有想到，这一出手这么大气。”　　“老管，你的消息落后了，那几个军官是被宁阎王当着行动二处所有军官的面，活活打死的，以一对五，不到一分钟，就被打成一滩泥了，我的一个同乡就在二处，当场吓得腿都软了，好半天没有缓过来。”　　管兴修惊得眼皮子一跳，诧异地问道：“吹吧！还有这么凶悍的家伙？”　　“老管，你以前不在南京总部，所以不知道这宁阎王的厉害，当时宁阎王就在我们行动科任行动组长，真是打遍了整个军情处，最后都没有人敢和他交手，我和他对练过一次，一拳就让我躺了好几天，差点给打废了，那就是个怪物！”　　行动队长巩茂德是军统局的老人，所以对宁志恒了解颇多，可他这话确实让管兴修吓了一跳，因为管兴修很了解自己这位队长，不折不扣的一个搏击高手，身手不凡，自己是远远不及，可是这样的好手，却连宁阎王的一拳都受不起。　　连磊想起当初的情景，也是不住的摇头：“可不是，当初我都不敢下场，那个家伙一动手都是横冲直撞，几个人都拦不住，多重的拳头打在身上，连眉头都不皱一下…”　　几个人正在低声交谈的时候，耳边却传来了敲门声，一个军官推门而入。　　巩茂德抬头一看，赶紧从座位上站了起来，两步迎上前去，笑着打着招呼：“老赵，你这好长时间都不露面了，找你喝酒都没有时间，今天怎么过来了？”　　来人正是赵江，他护卫宁志恒来到总部汇报工作，正好联络旧交故友，到处邀请众人参加自己的庆祝宴。　　突然巩茂德的眼睛一亮，看着赵江的军服，高声说道：“老赵，怎么？你升了少校了？这…”　　巩茂德和赵江在南京时期就有交情，当时赵江被宁志恒提拔为行动队长，巩茂德是叶志武手下的行动队长，后来两个人的主官都被调往上海前线，没有了靠山，他们在总部的日子都不好过。　　两个人境遇相同，同病相怜，相互之间经常在一起喝酒浇愁，相处的很是不错。　　后来军统局建立，宁志恒回归，赵江担任行动组长，职位就已经超过巩茂德，而叶志武战死在上海，巩茂德没有了靠山，这两年来军衔和职位一直没有变动。　　不过两个人的交情还是没有变，经常在一起坐一坐，可谓相知甚深。　　这一次赵江担任宁志恒的警卫队长，从来不敢稍离半步，甚至吃住都在行动二处，所以一直没有和巩茂德见面，可是今天一见面，就让巩茂德大吃一惊！ ",

gutoushe233 commented 5 years ago

就是这样的编码，刚才放编辑器里面自动转化成汉字了！我测试一下您上传的sql，很感谢您的项目，谢谢。

dkvirus / py-novel

您好！部署运行成功后，api接口都没有数据 #35