[new-dojo] Carregamento de dados no postgres em docker (Load data into postgres over docker)

[britodfbr]

Coding Dojo

Guilda JEDI Incolume - Grupo Python Incolume

---

Problema

Carregamento de dados no postgres em docker

Project structure

data/
  datasource.csv
db/
  scripts/
    1_init.sql
    2_copy.sql
  Dockerfile
docker-compose.yml

Files

1. CSV file is located in data folder inside of the project.

2. In the project folder there is the following docker-compose.yml file:

version: '3.3'

services:
  db:
    build: ./db
    container_name: postgres
    ports:
      - "5431:6666"
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=postgres
      - POSTGRES_DB=db_name
    volumes:
      - ./data:/data

3. Dockerfile contains:

FROM postgres:alpine
ADD scripts/1_init.sql /docker-entrypoint-initdb.d
ADD scripts/2_copy.sql /docker-entrypoint-initdb.d
RUN chmod a+r /docker-entrypoint-initdb.d/*
EXPOSE 6666

4. 1_init.sql body:

   CREATE TABLE table_name
   (
   --statement body
   );

5. And 2_copy.sql:

COPY table_name FROM '/data/datasource.csv' DELIMITER ',' CSV HEADER;

Explanation

• O script 1_init.sql cria a tabela do banco de dados, Ela contém as colunas com os mesmos nomes dos campos do arquivo CSV. E o script 2_copy.sql é responsável por copiar os dados do CSV para o postgres;
• Dockerfile usa a imagem do postgres e copia todos os arquivos sql ( *.sql) para container/docker-entrypoint-initdb.d/;
• Depois todos os arquivos são executados em ordem alfabética, Por isso os scripts iniciam com digito, para garantir a ordem de execução. Finalmente a porta 6666 é exposta;
• O docker-compose.yml constroi o container Dockerfile a partir do diretório db e torna acessível através da porta 5431. As environmental properties basic postgres properties are used. And at the end data folder with CSV file is copied to the container.

Referências

https://stackoverflow.com/a/56774266/5132101

[britodfbr]

Atividade própria para Acadêmia Jedi.

migrada para https://github.com/incolume-jedi/academia-jedi/issues/25