search

seppaleinen / worldinmovies

A map of the world and the movies from each country
1 stars 0 forks source link

Create a draft of DB modelling #27

Open seppaleinen opened 1 year ago

seppaleinen commented 1 year ago

Would be nice to separate the data into separate DBs

  1. Cache/Message Broker for getting raw data
    • Redis
  2. GraphDB for mapping out relations between countries/languages/movies/actors/genres etc.
    • Neo4j
    • Dgraph
    • ArangoDB
  3. Depending on performance on (2) a separate DB for speedy queries (small subset of total data)
    • MongoDB
    • Postgres
seppaleinen commented 1 year ago

Tankar från Jonas

Lucene för sökfunktionaliteten

Bygga microservice som bara hämtar imdb/tmdb-rådata Tjongar ner det i nosql eller motsvarande Bedömmer om det är en uppdatering, och isf publicerar på kafka/redis/pulsar Sen får andra microservicar konsumera eventen och processa ner i respektive DB

RawDataImporter -> RawData -> Postgres -> Updates -> Kafka/Apache Pulsar

queue -> GraphDBProcessor -> Neo4j queue -> Luceneprocessor -> Lucene