Résoudre les problèmes d'update des flux.

framasoft / ttrss

A PHP and Ajax feed reader

http://tt-rss.org/

GNU General Public License v3.0

5 stars 3 forks source link

Résoudre les problèmes d'update des flux. #4

Open ldidry opened 11 years ago

ldidry commented 11 years ago

Au delà d'un certain nombre de flux, le système met trop de temps à updater les flux.

Le problème vient du nombre d'IO disque, bien trop élevés.

Solutions (biens, mais pas suffisantes) déjà mises en place :

cache plus agressif (15 minutes au lieu de 30 secondes
cache sur des partitions en ramfs
passage à postgresql pour la database

Solutions à tester :

machine dédiée uniquement à framanews ?
machine dédiée au postgresql (donc base en accès distant) ?
réplication master-master d'un postgresql, dont un pour les inscriptions/consultation et un pour l'update des flux ?
modification des options de montages de la partition où se trouvent les données du postgresql pour mettre du noatime (kjournald prend pas mal d'IO)
modification profonde de ttrss pour utiliser une base noSQL (mongo, redis…) pour stocker les articles des flux (sans doute la meilleure solution, d'ailleurs)

ldidry commented 11 years ago

Mise en place d'un vps effectuée, migration vers cette nouvelle bdd ce soir.

ldidry commented 11 years ago

Migration effectuée. L'update se passe bien pour l'instant (pas de problèmes de performance pour l'instant).

On surveille avant de fermer le ticket.

Astalaseven commented 11 years ago

Apparemment certains essayent mongoDB : https://github.com/culdev/Tiny-Tiny-RSS-quickstart https://github.com/sffxzzp/ttrss-openshift Par contre il semble déconseillé d'utiliser du noSQL : http://tt-rss.org/forum/viewtopic.php?f=10&t=1663

Stocker tout dans des fichiers, ça pourrait pas le faire ? :) On a assez de place sur le serveur non ?

ldidry commented 11 years ago

J'ai pensé à MongoDB, effectivement. Mais cela implique un développement assez lourd et donc pas mal de temps.

Pour le "pas de NoSQL", l'argument avancé ("on se repose beaucoup sur les clés étrangères donc il nous faut une bdd relationnelle") ne tient pas. Rien n'empèche de stocker des clés étrangères dans du NoSQL. Il faut juste faire le relations à la main (si je ne dis pas de bêtise).

Stocker tout dans des fichiers ? Et pourquoi faire ? Qu'est-ce que tu entends par "tout" ? Les flux sont déjà en cache sur le disque, je ne vois pas ce qu'on pourrait mettre en plus sur le disque. Pis "on a de la place sur le serveur", c'est subjectif. Aujourd'hui, oui. Demain, je ne sais pas.

On va d'abord voir avec un système de quota de nombre de flux.

Astalaseven commented 11 years ago

Je ne suis pas un spécialiste des bases de données, et je n'ai pas cherché toutes les différences entre SQL et NoSQL.

Mais quitte à utiliser un système de BDD light, est-ce qu'on ne peut pas stocker les infos dans des fichiers ? Leed le fait bien (http://www.blog-des-telecoms.com/article91/mon-nouveau-lecteur-rss-en-remplacement-de-google-reader-kriss-feed). Mais oui, niveau développement le problème est le même, tout changer pour du NoSQL ou pour utiliser des fichiers...

ldidry commented 11 years ago

Mais quelles infos ? Tu sais, une bdd, c'est des fichiers dans un certain format, avec un programme qui permet de faire des recherches dedans. Donc tu veux réinventer… la base de données ! Le plus proche, c'est SQLite car il n'y a pas de serveur, on ouvre le fichier dès qu'on cherche un truc.