Task - create a version of the cache shared between servers and based on redis

[benoitdm-oslandia]

Créer un cache exploitant redis

Dans le cas d'un déploiement avec une scalabilité horizontale, le cache sera différent d'une instance à l'autre. Pour palier à ce problème, on peut utiliser une instance Redis qui fera le stockage du cache !

Liens utiles (lecture)

• https://github.com/gorilla/mux/tree/v1.8.0

• https://github.com/alrf/go_redis_pg

• https://github.com/DenChenn/shorturl-maker

• Middleware :

  • https://www.honeybadger.io/blog/go-web-services/
  • https://www.honeybadger.io/blog/ruby-to-go-4/
  • https://dev.to/franciscomendes10866/caching-in-golang-using-redis-418n

Étapes

0. [ ] Installer au préalable un serveur Redis

   Mise en place externe au projet

1. [ ] Ajouter une option du processus ou une variable d'env pour activer l'utilisation du cache Redis

2. [ ] Ajouter la configuration Redis (toml)

3. [ ] Initialiser la connexion Redis

4. [ ] Mettre en place une logique d’implémentation

   [GET] :
   si la donnée n'est pas disponible dans le cache Redis,

   • on va la chercher en base
   • on l'enregistre dans le cache Redis

   

   [GET] :
   si la donnée n'est pas disponible ni dans le cache Redis, ni en base, on enregistre l'information de non-existence dans le cache Redis

   

   [POST] :
   on enregistre toujours les nouvelles données dans le cache Redis

   [PATCH | PUT] :
   on enregistre la modification de données dans le cache Redis, en écrasant l'ancien cache

   :eye_in_speech_bubble: Redis stocke des clefs/valeurs

   • Ex. etag: {...} // réponse json d'une collection

   :eye_in_speech_bubble: où ajouter les instructions redis ?

   on va utiliser la notion de middleware !

5. [ ] Implémenter le middleware

   • [ ] vérifier : verifyRedis()
   • [ ] enregistrer : setRedis()
   • [ ] récupérer : getRedis()
   • [ ] nettoyer : clearRedis()

   cf. commentaire : exemples d'implémentation

6. [ ] Ajouter un test d'utilisation du cache Redis

7. [ ] Mettre en place un benchmark avec / sans cache Redis

8. [ ] Test de charge

   Mise en place interne au projet

   • [ ] Installer K6

     https://github.com/grafana/k6

   • [ ] Ecrire les tests K6

   • [ ] Mettre en place dans la CI

   • [ ] Visualisation des résultats dans K6 Cloud

[benoitdm-oslandia]

In GitLab by @lowzonenose on Nov 1, 2022, 10:10

changed time estimate to 120h

[benoitdm-oslandia]

In GitLab by @lowzonenose on Nov 1, 2022, 20:50

Exemple d'implémentation du cache Redis en middleware

• Ex. Conf

  // exposer plusieurs variables d'env pour configurer le service : **PGFS_REDIS**
  // et
  // mettre en place la config toml

• Ex. Service / Data Redis

  type CacheRedis struct {...}
  func redisConnect() CacheRedis {} 
  func redisConfig() {}
  func (c *CacheRedis) set () {}
  func (c *CacheRedis) get () {}
  func (c *CacheRedis) active () {}
  (...)

• Ex. Request GET :

  ajout du middleware Redis

  
  // middleware sur toutes les routes en GET
  func addRoute(router *mux.Router, path string, handler func(http.ResponseWriter, *http.Request) *appError) {
  addRouteWithMethod(router, path, MiddlewareRedis(handler), "GET")
  }

func addRouteWithMethod(router mux.Router, path string, handler func(http.ResponseWriter, http.Request) *appError, method string) { router.Handle(path, appHandler(handler)).Methods(method) }

type appHandler func(http.ResponseWriter, http.Request) appError

// middleware func MiddlewareRedis(next http.Handler) http.Handler { return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { // logique du cache redis : // > Redis Actif ? // > renvoie un cache (GetRedis(something)) ou redirige vers le handler (next) next.ServeHTTP(w, r) }) }

// handler func handler(w http.ResponseWriter, r http.Request) appError { // logique de la reponse : // > renvoie une reponse de la bdd // > Redis Actif ? // > creer une entrée dans le cache -> setRedis(something) }

* Ex. Request POST : 
> - aucune modifiation des signatures
> - chaque handler possède le code Redis -> SetRedis(something)
```go
func addRouteWithMethod(router *mux.Router, path string, handler func(http.ResponseWriter, *http.Request) *appError, method string) {
    router.Handle(path, appHandler(handler)).Methods(method)
}

// handler
func handler(w http.ResponseWriter, r *http.Request) *appError {
  // logique de la reponse : 
  // > renvoie une reponse de la bdd
  // > Redis Actif ?
  // >   creer une entrée dans le cache -> SetRedis(something)
}

• Ex. Context :

  passage d'informations du middleware vers le handler dans le contexte de la requête

  
  // middleware
  func MiddlewareRedis(next http.Handler) http.Handler {
  return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
  ctx := r.Context()
  ctx = context.WithValue(ctx, "data", something)
  r = r.WithContext(ctx)
  next.ServeHTTP(w, r)
  })
  }

// handler func handler(w http.ResponseWriter, r http.Request) appError { if data := r.Context().Value("data"); data != nil { // some stuff... } }

[benoitdm-oslandia]

In GitLab by @lowzonenose on Nov 1, 2022, 20:52

added 8h of time spent

[benoitdm-oslandia]

In GitLab by @lowzonenose on Nov 2, 2022, 24:33

Autre exemple d'implémentation du cache Redis en middleware

// middleware sur toutes les routes
func addRouteWithMethod(router *mux.Router, path string, handler func(http.ResponseWriter, *http.Request) *appError, method string) {
  router.Handle(path, appHandler(handler)).Methods(method)
  router.Use(redis.Middleware)
}

// middleware
func (c *CacheRedis) Middleware(next http.Handler) http.Handler {
    return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        // logique du cache redis : 
        // > Redis Actif ?
        // > renvoie un cache (getRedis(something)) ou redirige vers le handler (next)
        next.ServeHTTP(w, r)
    })
}

type CacheRedis struct {...}
func redisConnect() CacheRedis {} 
func redisConfig() {}
func (c *CacheRedis) Set () {}
func (c *CacheRedis) Get () {}
func (c *CacheRedis) Active () {}
func (c *CacheRedis) Middleware () {}
(...)

[benoitdm-oslandia]

hum ... il faut qu'on parle @lowzonenose :smile:

[benoitdm-oslandia]

marked this issue as related to #11

[benoitdm-oslandia]

cloned to #89

[benoitdm-oslandia]

marked this issue as related to #89