estin / pomp-craigslist-example

Extract data from Craigslist.org by python3 and pomp framework
37 stars 6 forks source link

Установка с нуля в новую директорию #3

Open makorne opened 6 years ago

makorne commented 6 years ago

Вроде все заканчивается нормально, но Django падает

ProgrammingError at /admin/login/

relation "auth_user" does not exist
LINE 1: ...user"."is_active", "auth_user"."date_joined" FROM "auth_user...
                                                             ^

Request Method:     POST
Request URL:    http://localhost:8080/admin/login/?next=/admin/
Django Version:     1.9.2
Exception Type:     ProgrammingError
Exception Value:    

relation "auth_user" does not exist
LINE 1: ...user"."is_active", "auth_user"."date_joined" FROM "auth_user...
                                                             ^

Exception Location:     /root/lib/python3.6/site-packages/Django-1.9.2-py3.6.egg/django/db/backends/utils.py in execute, line 64
Python Executable:  /usr/local/bin/python3
Python Version:     3.6.3
Python Path:    

['/root/bin',
 '/root',
 '/usr/local/lib/python36.zip',
 '/usr/local/lib/python3.6',
 '/usr/local/lib/python3.6/lib-dynload',
 '/root/lib/python3.6/site-packages',
 '/root/lib/python3.6/site-packages/pytest-3.2.5-py3.6.egg',
 '/root/lib/python3.6/site-packages/aiomeasures-0.5.14-py3.6.egg',
 '/root/lib/python3.6/site-packages/Django-1.9.2-py3.6.egg',
 '/root/lib/python3.6/site-packages/psycopg2-2.6.1-py3.6-linux-x86_64.egg',
 '/root/lib/python3.6/site-packages/pomp-0.2-py3.6.egg',
 '/root/lib/python3.6/site-packages/kafka_python-1.3.6.dev0-py3.6.egg',
 '/root/lib/python3.6/site-packages/aiohttp-0.20.2-py3.6-linux-x86_64.egg',
 '/root/lib/python3.6/site-packages/aioredis-0.2.3-py3.6.egg',
 '/root/lib/python3.6/site-packages/hiredis-0.2.0-py3.6-linux-x86_64.egg',
 '/root/lib/python3.6/site-packages/msgpack_python-0.4.7-py3.6-linux-x86_64.egg',
 '/root/lib/python3.6/site-packages/lxml-3.5.0-py3.6-linux-x86_64.egg',
 '/root/lib/python3.6/site-packages/py-1.5.2-py3.6.egg',
 '/root/lib/python3.6/site-packages/chardet-3.0.4-py3.6.egg',
 '/usr/local/lib/python3.6/site-packages']
makorne commented 6 years ago

Опять с нуля, в новую директорию, вообще похоже чтото с постгресом, попробуй сам с нуля, а ? Может стоит версии всего четко задать для докера?

Traceback (most recent call last):
  File "/root/lib/python3.6/site-packages/Django-1.9.2-py3.6.egg/django/db/backends/base/base.py", line 199, in ensure_connection
    self.connect()
  File "/root/lib/python3.6/site-packages/Django-1.9.2-py3.6.egg/django/db/backends/base/base.py", line 171, in connect
    self.connection = self.get_new_connection(conn_params)
  File "/root/lib/python3.6/site-packages/Django-1.9.2-py3.6.egg/django/db/backends/postgresql/base.py", line 175, in get_new_connection
    connection = Database.connect(**conn_params)
  File "/root/lib/python3.6/site-packages/psycopg2-2.6.1-py3.6-linux-x86_64.egg/psycopg2/__init__.py", line 164, in connect
    conn = _connect(dsn, connection_factory=connection_factory, async=async)
psycopg2.OperationalError: could not connect to server: No route to host
    Is the server running on host "172.17.0.6" and accepting
    TCP/IP connections on port 5432?
estin commented 6 years ago

Действительно возникли проблемы. В деталях не разбирался, но контейнеры постгресов версии >= 9.6 падают. Вы правы версии контейнеров нужно было фиксировать.

Теперь постгрес зафиксирован на 9.5.10 версии. И нашел почему при установки выдает TCP/IP connections on port 5432? - нужно поднять постгрес, из-за ограничений докера питон отрабатывает быстрее чем поднимается постгрес.

Подправил README и кратко установка должна быть такой

$ git clone https://github.com/estin/pomp-craigslist-example.git
$ cd pomp-craigslist-example
$ mkdir logs
$ chmod +x wait-for-it.sh
$ chmod +x wait-pg-and-kafka.sh
$ docker-compose pull
$ docker-compose run --rm crawler python3 setup.py develop --user
$ docker-compose up -d postgres
$ docker-compose run --rm dataview manage dataview migrate
$ docker-compose run --rm dataview sh -c "echo \"from django.contrib.auth.models import User; User.objects.create_superuser('admin', 'myemail@example.com', 'admin')\" | manage dataview shell"

Тут добавилось $ docker-compose up -d postgres