minicloudsky / eastmoney

python requests + Django+ nodejs koa+ mysql to crawl eastmoney fund and stock data,for data analysis and visualiaztion .
http://fund.eastmoney.com
Apache License 2.0
70 stars 24 forks source link

linux_database_config_path = '/config/database.ini' #17

Closed ferocknew closed 3 years ago

ferocknew commented 3 years ago

这句配置,必须在/config 路径添加配置文件? 建议该成相对路径

ferocknew commented 3 years ago

既然 README 里写了,从 backend/eastmoney/settings.py 配置数据库 为什么还有 DB_CONFIG = get_db_config() 这段逻辑。

ferocknew commented 3 years ago
$ python manage.py makemigrations

执行后提示

django.core.exceptions.ImproperlyConfigured: mysqlclient 1.4.0 or newer is required; you have 0.10.1.
ferocknew commented 3 years ago

backend/bin/nohup_run_nodejs_server.sh

内容也不对,实际上,你的node 代码是在 frontend 目录下吧

ferocknew commented 3 years ago

backend/bin/nohup_run_spider.sh

为什么里面有一句

docker start mysql

如果没有用docker 呢?这和readme 里要求设置 setting.py 数据库信息,相互矛盾啊?

ferocknew commented 3 years ago
/eastmoney/backend/crawler/EastMoneyFundCrawler.py", line 161, in parse_diy_fund_ranking
    funds_json = copy.copy(response.json())
AttributeError: 'dict' object has no attribute 'json'
WARNING EastMoneyFundCrawler 699 network error! HTTPConnectionPool(host='127.0.0.1', port=3000): Max retries exceeded with url: /?type=fund_ranking (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fce9d27c9a0>: Failed to establish a new connection: [Errno 61] Connection refused'))
Exception in thread Thread-2:
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/threading.py", line 954, in _bootstrap_inner
    self.run()
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/threading.py", line 892, in run
    self._target(*self._args, **self._kwargs)
  File "/Users/fuyingjun/Sites/python/eastmoney/backend/utils/decorators.py", line 19, in wrapper
    func(*args, **kwargs)
  File "/Users/fuyingjun/Sites/python/eastmoney/backend/crawler/EastMoneyFundCrawler.py", line 94, in parse_fund_ranking
    funds_json = copy.copy(response.json())
AttributeError: 'dict' object has no attribute 'json'

执行

pytho run_spider.py

报错如上

ferocknew commented 3 years ago

另外,没看懂: 既然建议用 metabase,为啥还有个前段界面? 我启动了django_server,但是vue 还是提示连不上。

另外,

python run_spider.py

可以爬取历史净值了,那这个命令的意义何在?

python manage.py runserver 0:12000 
ferocknew commented 3 years ago

能否提供一下 表结构的意义?因为数据表都没有注释。 虽然报错了,但是也无从下手,需要一行一行取看你的代码。

minicloudsky commented 3 years ago
$ python manage.py makemigrations

执行后提示

django.core.exceptions.ImproperlyConfigured: mysqlclient 1.4.0 or newer is required; you have 0.10.1.

这里需要注释掉一些代码,mysql包的问题,把版本判断的代码注释掉,注释掉 35 36行代码 vim venv/lib/python3.7/site-packages/django/db/backends/mysql/base.py +35 image image image

minicloudsky commented 3 years ago

backend/bin/nohup_run_spider.sh

为什么里面有一句

docker start mysql

如果没有用docker 呢?这和readme 里要求设置 setting.py 数据库信息,相互矛盾啊?

这里确实是我自己没考虑周到,这里是因为自己服务器上是用docker命令部署的mysql,有可能因为服务器重启等原因,mysql没有启动,我服务器上有docker,其他用户不一定也有,我最近抽时间重构下代码,改成docker-compose部署,这样使用难度会低一些,thanks for feedback~

minicloudsky commented 3 years ago

既然 README 里写了,从 backend/eastmoney/settings.py 配置数据库 为什么还有 DB_CONFIG = get_db_config() 这段逻辑。

这里是为了安全起见,考虑到有些数据库敏感信息,不会放在代码里面,而是存储在生产服务器的配置文件里面,因此用这种方式获取数据库配置

minicloudsky commented 3 years ago

能否提供一下 表结构的意义?因为数据表都没有注释。 虽然报错了,但是也无从下手,需要一行一行取看你的代码。

可以的,晚上回去我整理下文档,文档这块确实太不友好了,谢谢~

minicloudsky commented 3 years ago

这句配置,必须在/config 路径添加配置文件? 建议该成相对路径

你说的很对,这里应该用相对路径,绝对路径很不友好,谢谢提醒~

minicloudsky commented 3 years ago

另外,没看懂: 既然建议用 metabase,为啥还有个前段界面? 我启动了django_server,但是vue 还是提示连不上。

另外,

python run_spider.py

可以爬取历史净值了,那这个命令的意义何在?

python manage.py runserver 0:12000 

这里是当初想做下前端,任务调度日志查看一类的,但是一直抽不出时间,这块的坑有时间我补上,谢谢提醒

ferocknew commented 3 years ago

此问题已解决。

minicloudsky notifications@github.com 于 2021年2月20日周六 15:12写道:

backend/bin/nohup_run_spider.sh

为什么里面有一句

docker start mysql

如果没有用docker 呢?这和readme 里要求设置 setting.py 数据库信息,相互矛盾啊?

这里确实是我自己没考虑周到,我服务器上有docker,其他用户不一定也有,我最近抽时间重构下代码,改成docker-compose部署,这样使用难度会低一些,thanks for feedback~

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/minicloudsky/eastmoney/issues/17#issuecomment-782576688, or unsubscribe https://github.com/notifications/unsubscribe-auth/AAQT4637RLTNRTNY7TYOJTDS75OEHANCNFSM4XIE2R5A .

minicloudsky commented 3 years ago

fixed