General update to 0.6.0

fireproofsocks commented 2 years ago

This PR represents a general update of the paasaa package to version 0.6.0

All Hex dependencies are updated to their latest available versions.
The languages_url target in generate_language_data.exs now points to the data.js file; the data.json file was removed in https://github.com/wooorm/franc/commit/556d2a7ba3375cb04e7f6a94b4f5b540b55e9488. Some Regex/parsing was added to process this Javascript file.
JSON in the script file is now decoded using native :jsx instead of Jason because Jason is not listed as a direct dependency of paasaa and therefor the Jason package could become unavailable if paasaa's dependencies stopped requiring it.
The test fixtures.ex file was manually updated to reflect the latest changes in the Franc package. The structure of the fixtures is different, so tests had to be modified.
Tests now assert on language detection of all available languages. However, sometimes the given fixture was not the language that was detected, especially with similar languages. For example, the given Hindu language fixture (hin) is detected as Magahi (mag), with Bhojpuri (bho) detected as a secondary possibility:

iex> Paasaa.all("चूंकि मानव परिवार के सभी सदस्यों के जन्मजात गौरव और समान तथा अविच्छिन्न अधिकार की स्वीकृति ही विश्व-शान्ति, न्याय और स्वतन्त्रता की बुनियाद है, चूंकि मानव अधिकारों के प्रति उपेक्षा और घृणा के फलस्वरूप ही ऐसे बर्बर कार्य हुए जिनसे मनुष्य की आत्मा पर अत्याचार किया गया, चूंकि एक ऐसी विश्व-व्यवस्था की उस स्थापना को ( जिसमें लोगों को भाषण और धर्म की आज़ादी तथा भय और अभाव से मुक्ति मिलेगी ) सर्वसाधारण के लिए सर्वोच्च आकांक्षा घोषित किया गया है, चूंकि अगर अन्याययुक्त शासन और जुल्म के विरुद्घ लोगों को विद्रोह करने के लिए—उसे ही अन्तिम उपाय समझ कर—मजबूर नहीं हो जाना है, तो कानून द्वारा नियम बनाकर मानव अधिकारों की रक्षा करना अनिवार्य है, चूंकि राष्ट्रों के बीच मैत्रीपूर्ण सम्बन्धों को बढ़ाना ज़रूरी है, चूंकि संयुक्त राष्ट्रों के सदस्य देशों की जनताओं ने बुनियादी मानव अधिकारों में, मानव व्यक्तित्व के गौरव और योग्यता में और नरनारियों के समान अधिकारों में अपने विश्वास को अधिकार-पत्र में दुहराया है और यह निश्चय किया है कि अधिक व्यापक स्वतन्त्रता के अन्तर्गत सामाजिक प्रगति एवं जीवन के बेहतर स्तर को ऊंचा")
[
  {"mag", 1.0},
  {"bho", 0.9849192789148855},
  {"hin", 0.9846926322396179},
  {"mai", 0.9737961574671362},
  {"npi", 0.9626556016597511},
  {"mar", 0.9530318351406952}
]

In order to provide some meaningful triangulation on this variance, the tests assert for a 98% match. In practice, most of the fixtures were detected as the given language, but 98% should still provide a useful assertion.

minibikini commented 2 years ago

Thank you, @fireproofsocks! ❤️

minibikini commented 2 years ago

Just release v0.6.0, thanks again!

Closes #25

minibikini / paasaa

General update to 0.6.0 #24