ColinMaudry / decp-table-schema-utils

Schéma CSV pour les Données Essentielles de la Commande Publique et scripts de conversion
0 stars 0 forks source link

Indexer certains champs pour accélerer la recherche #46

Open ColinMaudry opened 3 years ago

ColinMaudry commented 3 years ago

Cela signifierait changer pas mal de choses dans le code, qui est plutôt concis actuellement.

import sqlite3

# Create a new database file:
db = sqlite3.connect("voters.sqlite")

# Load the CSV in chunks:
for c in pd.read_csv("voters.csv", chunksize=1000):
    # Append all rows to a new database table, which
    # we name 'voters':
    c.to_sql("voters", db, if_exists="append")
# Add an index on the 'street' column:
db.execute("CREATE INDEX street ON voters(street)") 
db.close()