Installation de matomo pour umap et www

[yohanboniface]

https://openstreetmap.fr/piwik/

[MaelREBOUX]

Ca c'est le genre de chose sur laquelle je pourrai aider si vous le souhaitez.

[jocelynj]

Hum, il est possible qu'on n'ait pas migré piwik lors de la migration du site web.

Est-ce que ça aurait un sens de monter une VM avec piwik seulement, sur piwik.openstreetmap.fr ?

[MaelREBOUX]

Vous suivez quoi comme sites www avec ?

• http://www.openstreetmap.fr
• ?

Piwik ne prend des grosses ressources que si on fait une analyse de log sur une grosse période. Ou sur des sites à très forts trafic. La BD (MySQL) peut devenir assez volumineuse assez vite si on ne purge pas les imports bruts de logs. Petite stratégie à définir à un moment.

cf https://piwik.org/faq/troubleshooting/faq_42/

[jocelynj]

J'ai trouvé un dump .sql.bz2 de la base mysql, qui fait 4Go. Je ne sais plus quel site on avait dessus. Je regarderais pour le mettre sur une autre VM.

[MaelREBOUX]

Je repropose mon aide sur ce ticket. Je viens de migrer mes stats de tile.osm.bzh de mon serveur vers le serveur bzh202. Donc je suis chaud ;)

[yohanboniface]

Vous suivez quoi comme sites www avec ?

Y avait aussi https://umap.openstreetmap.fr

[jocelynj]

@MaelREBOUX merci pour ton aide. Je peux te créer une VM quand tu veux.

Tu saurais combien de disque dur il faudrait pour stocker les données ?

L'idéal serait un rôle ansible, ou un script, mais on peut s'en passer.

[MaelREBOUX]

Bjr Désolé : je viens seulement de voir ta question. o_O En même temps : normal : j'ai pas eu de dispo avant.

Je peux te créer une VM quand tu veux.

Dès que tu peux dans ce cas.

Tu saurais combien de disque dur il faudrait pour stocker les données ?

Depuis j'ai progressé sur Piwik / Matomo et je sais gérer (enfin je le pense) l'automatisation des purges des logs actions et la consolidation des rapports. De plus avec le RGPD il y a de nouvelles fonctions qui vont dans ce sens.

Je veux pas être gourmand mais je pense que 50 Go de DD pour se donner un peu de marge au début c'est bien. Pcq il va bien falloir que je traite ton dump de 4 Go compressé. Après, une fois purgé de tout ce qui n'est plus utile on retrouvera de l'espace disque.

[Marc-marc-marc]

pour mémoire, Jocelyn a créé osm160 en octobre, documenté comme en cours d'install. manque de temps ou soucis ? ce n'est pas du tout une critique, c'est juste pour mettre à jour le ticket vu qu'on pourrait en avoir besoin, cfr discussion sur talk-fr à propos de prev.*

[MaelREBOUX]

Bonjour @Marc-marc-marc @jocelynj

Je suis tjs ok pour gérer cette installation. J'attendais tranquillement de disposer login / mdp sur une VM. Rappel de mon mail : mael.reboux chez breizhpositive.bzh

Pour info le matomo de https://stats.openstreetmap.bzh tourne comme un charme.

Bon, comme tout le monde je cours après le temps mais pour un simple matomo ça devrait le faire :)

[Marc-marc-marc]

essaye de te connecter sur osm160. ton compte y est bien présent. identification par clef

[MaelREBOUX]

connexion réussie :D

[MaelREBOUX]

Mise à niveau debian 9.11 -> 10

# lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 10 (buster)
Release:    10
Codename:   buster

[MaelREBOUX]

Un pb munin pour @Marc-marc-marc #140

[MaelREBOUX]

Je note toute la procédure d'installation que je mettrais sur le serveur mais note pour le détour : eu de gros soucis car il manquait des fichiers système.

L'erreur : mariadb.service: Failed at step EXEC spawning /etc/mysql/debian-start: No such file or directory

Résolu avec : apt-get install --reinstall -o Dpkg::Options::="--force-confmiss" mariadb-server-10.3

manquaient :

• /etc/init.d/mysql
• /etc/mysql/debian-start
• /etc/mysql/mariadb.conf.d/50-mysqld_safe.cnf
• /etc/mysql/mariadb.conf.d/50-server.cnf

[MaelREBOUX]

base de données maria-db installée apache + php 7.3 installés

attente de la propagation DNS de stats.openstreetmap.fr pour terminer

[MaelREBOUX]

DNS ok.

@jocelynj : il faudrait rajouter stats dans la liste des sous-domaines pour le certificat SSL / HTTPS. merci.

[MaelREBOUX]

et également amha rajouter un truc dans la conf nginx du frontal pour bénéficier des IP réelles car j'ai modifié la conf apache mais je ne vois que du 10.0.0.26 passer.

[MaelREBOUX]

sinon le site est HYPER lent depuis le passage à stats

[jocelynj]

Pour les IPs, il manquait la configuration pour mod_remoteip sur osm160, que je viens d'activer via ansible.

Le site http://stats.openstreetmap.fr me sort une page blanche ici. C'est normal ?

[MaelREBOUX]

oui / non : je tente d'installer GeoIP2

[MaelREBOUX]

J'ai réinstallé matomo proprement. Par contre maintenant après tes changements je ne peux plus me connecter et j'ai cette erreur :

Erreur: La sécurité du formulaire a échoué. Veuillez recharger le formulaire et vérifier que vos cookies sont activés. Si vous utilisez un serveur proxy, vous devez configurer Matomo pour accepter les en-têtes du proxy qui relaient les en-têtes de l'hôte. Vérifiez aussi que l'en-tête de votre référent est correctement transmis.

https://matomo.org/faq/how-to-install/#faq_98

[jocelynj]

Et si tu suis cette procédure, sans modifier la config de matomo pour reverse proxy, vu qu'on a mod_remoteip, ça ne marche pas ? If you use Apache 2.4 or Apache 2.5, there is an alternative solution, you could use mod_remoteip to override the client IP with the IP as provided by a proxy or load balancer. Then you won’t need to specify these Matomo config settings.

[MaelREBOUX]

Bon. ça passe bien en https maintenant. Bizarre.

amis il faudra quand même que tu rajoute stats dans le certificat let's encrypt

[jocelynj]

Le certificat https de https://stats.openstreetmap.fr est maintenant à jour

[MaelREBOUX]

Super !

Faut que je règle ce truc maintenant :

[MaelREBOUX]

WP-Matomo 1.0.22 a bien été connecté à Matomo 3.13.0. Vous utilisez WordPress 5.2.5.

[MaelREBOUX]

Installé et configuré : les données arrivent. Je laisse tourner qqs jours et je reviens pour les réglages fins. Notamment calcul auto des rapports et purge auto.

[MaelREBOUX]

Récapitulons :

• [x] configuration serveur (apache php mariadb)
• [x] installation matomo
• [x] installation greffon WP-Matomo dans le WordPress
• [x] configuration cron archivage
• [x] backup auto mysql

[MaelREBOUX]

ok. je pense que je suis bon pour l'installation. je viens de configurer le calcul auto + backup mysql quotidien.

les infos remontent bien dans le WordPress :

Je vois dans 2-3 jours si les backups de la base se passent bien.

@yohanboniface : je te prépare un 'site' sur matomo pour que tu mettes le code javascript qui va bien sur umap.osm.fr c'est ça l'idée ?

[MaelREBOUX]

Les backups de la base mysql se font bien.

Récapitulons :

• [x] configuration serveur (apache php mariadb)
• [x] installation matomo
• [x] installation greffon WP-Matomo dans le WordPress
• [x] configuration cron archivage
• [x] backup auto mysql
• [x] script purge des backups
• [ ] infos SMTP

[MaelREBOUX]

Vérifier le réglage "Supprimer les logs plus anciens que 180 jours" (onglet "anonymiser les données") mi juillet

[MaelREBOUX]

Je viens de mettre à jour 3.13.1 -> 3.13.6 RAS

[Marc-marc-marc]

tu as listé "info smtp" : il n'y a pour le moment pas de smtpd central sortant dans l'infra. le plus simple est soit d'en installer sur cette vm (la + part des autres serveurs utilisent postfix) soit de mettre le mx du domaine souhaité (ex listes.openstreetmap.fr si tu veux envoyer un email aux emais de ce domaine)

[Marc-marc-marc]

pour info https://listes.openstreetmap.fr/wws/arc/association/2020-06/msg00031.html Florian LAINEZ y dit (à propos du site wordpress)

Le module de stat WP-Matomo n'est pas bien configuré et ne renvoie rien

[MaelREBOUX]

Rajout d'un script cron pour calculer automatiquement les rapports toutes les heures

# +++++++++++++++++++
# matomo
# pour tester >>  su www-data -s /bin/bash -c "/usr/bin/php /data/www/vhosts/stats.osm.fr/htdocs/console core:archive --url='https://stats.openstreetmap.fr'"
0 * * * * /usr/bin/php /data/www/vhosts/stats.osm.fr/htdocs/console core:archive --url='https://stats.openstreetmap.fr' > /dev/null

https://matomo.org/docs/setup-auto-archiving/

[MaelREBOUX]

@Marc-marc-marc pour le SMTP, bof : on reçoit surtout les mails informant des maj dispo. Pas vital. Je laisse comme ça pour le moment.

Je regarde pour le plugin WordPress

[MaelREBOUX]

Quelqu'un avait modifié le token global de Matomo. Pour ça que ça ne fonctionnait plus.

Étrange car les infos pour les stats remontaient quand même vers Matomo pour calcul.

[overflorian]

Hello @MaelREBOUX sur conseil de @Marc-marc-marc je te demande un accès à Piwik. J'ai quelques modifs sur openstreetmap.fr (dont je suis admin) et j'aimerai étudier les stats pour pouvoir hiérarchiser les futures évolutions. Merci par avance.

[MaelREBOUX]

@overflorian oups : demande passée sous les radars. Je te fais ça mais il me faut une adresse de courriel. On peut voir ça sur IRC ?

[frodrigo]

Fermé sur demande de @MaelREBOUX