List of languages to import into Lingua Libre

[xenophon75]

To do

• [ ] Find suitable base list for devs. [Under review]
• [ ] List missing French dialects @Lyokoi
• [ ] Add list to the lingua-libresystem
• [ ] Add autocompletion filter
• [ ] Add missing French dialects

Candidate base lists

• List of ISO 639-3 codes (7848 langues, English) :
  • Download list : SIL.org > ISO 639-3 Downloads > UTF-8: iso-639-3_Code_Tables_20170217.zip
  • Convention for addons : List of ISO 639-3 language codes used locally by Linguist List
• Wiktionary (5579 languages, French) :
  • https://fr.wiktionary.org/wiki/Wiktionnaire:Liste_des_langues and its .tsv.txt
  • Liste des langues du WIktionnaire.txt
• Max Planck Institute > Glottolog.org (18976 dialects, English) :
  • Download page

Complementary tools

• Unicode CLDR Project (617 French)
  • labels > FR

Sample view

UTF-8: iso-639-3_Code_Tables_20170217.zip :

Wiktionaire > Liste.des.langues.du.WIktionnaire.tsv.txt

Glottolog.org > languages-and-dialects-geo.csv

Candidate filtering systems

Feel free to open a new issue on this.

• JS/JSON Select2.js

[hugolpz]

@zmoostik j'ai trouvé le fichier source de l'ISO 639-3 codes. Cf plus haut. Le code iso-639, le code ISO-639-2, et le nom de la langue en anglais sont présents. All good.

Pour les dialectes francais manquants, suivre la recommendation de "List of ISO 639-3 language codes used locally by Linguist List" serait une bonne pratique. Cf plus haut.

Pour l'ajout de langues sur mesure, l'outils UI d'administration, associé à un cours paragraphe explicatif, sera utile. Une convention de nommage pour "pseudo-ISO-639-3 codes" doit être présente.

Pour la selection de la langue, un input or select element avec auto-complétion serait bien, voir select2.js. Il est connu pour tenir la charge au moins jusqu'à 2000 elements.

[pamputt]

Il est aussi possible d'obtenir une liste des langues depuis une requête Wikidata

• Cette requête donne une liste de toutes les langues avec un nom en français (3658 résultats)
• Cette requête ajoute les dialectes à la liste des résultats (4116 résultats)
• Cette requête donne la liste de toutes les langues et dialectes, qu'ils aient ou non une traduction en français (~10600 résultats) Je travaille actuellement sur les langues sur Wikidata afin d'avoir une base de données propres, structurées et utilisable mais ça va prendre du temps. Bref, on peut déjà utiliser ce qui est présent en l'état même si c'est perfectible.