txt2unicode - dinakaran2utf8 - conversion issues

Natkeeran commented 4 years ago

We are using Open Tamil to convert dinakaran2utf8 text files to unicode. Running into some conversion issues.

Is there a standard for dinakaran to Tamil characters?

I can submit a PR with the changes following Suratha's mapping.

The following is the dinakaran source text:

bjhFjp - 01
bjhlf;fj;jpy; - A 
Kd;bdhU fhyj;jpy; bghd;dp ehl;oy; fhuhsh;fs; njhd;wpa tuyhW. 

bjhFg;ghsh; :
    thU';fs*; thU';fs; *  ehd; bghd;dpts ehl;il Mz;l fhuhs FLk;gj;ijg; gw;wpa fijia cdf;Fr; brhy;yg; nghfpnwd;. ,e;jf; fij cd;Dila fhyj;jpnyh my;yJ vd;Dila fhyj;jpnyh ele;jJ ,y;iy.  mJ nrhH kd;dh; fhyj;jpy; b;jd; ,e;jpahtpy; ele;jJ.
    nfhyhj;jhf; ft[z;lh;/ mhpaehr;rp mtUila kfd; Fd;dilahf; ft[z;lh;. Fd;dilahf; ft[z;lh;/ jhkiu mth;fSila \d;W gps;isfs; bghd;dh;/ r';fh;/ j';fhs; vd;fpw ,th;fs;jhd; ehl;il Mz;l fhuhsh;fs;.
    mth;fSila ngUk;/ g[fGk; ,d;Wk; ngrg; gLfpwJ.  nfhyhj;jht[k;/ mhpaehr;rpa[k;/   tsk;kpf;f brHpg;ghd/ fhnthp MW ghaf;Toa epyj;jpy; thH;e;jhh;fs;. ,e;jf; fijia ehd; brhy;tjw;F Kd;dhy; cyfj;jpw;nf \y Kjy; flt[shd fzgjpiaa[k;/ ru!;tjpiaa[k; vd;id Mrph;tjpf;FkhW ehd; ntz;Lfpnwd;.
Scene – A 
bjhFg;ghsh; :
    xU ehs; ghh;tjpa[k; rptDk; kfpHr;rpahf xd;whf mkh;e;J ,Ue;jdh;.

rptd;

Suratha reader (http://www.suratha.com/reader.htm) gives the following conversion. The mapping can be found here: http://www.suratha.com/JS/dinakaran.js

தொகுதி - 01
தொடக்கத்தில் - A 
முன்னொரு காலத்தில் பொன்னி நாட்டில் காராளர்கள் தோன்றிய வரலாறு. 

தொகுப்பாளர் ்
    வாருங்கள*; வாருங்கள் *  நான் பொன்னிவள நாட்டை ஆண்ட காராள குடும்பத்தைப் பற்றிய கதையை உனக்குச் சொல்லப் போகிறேன். இந்தக் கதை உன்னுடைய காலத்திலோ அல்லது என்னுடைய காலத்திலோ நடந்தது இல்லை.  அது சோழ மன்னர் காலத்தில் b;தன் இந்தியாவில் நடந்தது.
    கோலாத்தாக் கவுண்டர், அhpயநாச்சி அவருடைய மகன் குன்னடையாக் கவுண்டர். குன்னடையாக் கவுண்டர், தாமரை அவர்களுடைய மூன்று பிள்ளைகள் பொன்னர், சங்கர், தங்காள் என்கிற இவர்கள்தான் நாட்டை ஆண்ட காராளர்கள்.
    அவர்களுடைய பேரும், புகழும் இன்றும் பேசப் படுகிறது.  கோலாத்தாவும், அhpயநாச்சியும்,   வளம்மிக்க செழிப்பான, காவோp ஆறு பாயக்கூடிய நிலத்தில் வாழ்ந்தார்கள். இந்தக் கதையை நான் சொல்வதற்கு முன்னால் உலகத்திற்கே மூல முதல் கடவுளான கணபதியையும், சரஸ்வதியையும் என்னை ஆசிர்வதிக்குமாறு நான் வேண்டுகிறேன்.
ளுஉநநே – A 
தொகுப்பாளர் ்
    ஒரு நாள் பார்வதியும் சிவனும் மகிழச்சியாக ஒன்றhக அமர்ந்து இருந்தனர்.

சிவன்

The Open-Tamil conversion gives the following result:

தொகுதி - 01
தொடக்கத்திலப் - A 
முன்னொரு காலத்திலப் பொன்னி நாட்டிலப் காரபாளர்களப் தோன்றபிய வரலபாறு. 

தொகுபப்பபாளர் ்
    வபாருங்கள*ப் வபாருங்களப் *  நான் பொன்னிவள நாட்டை ஆண்ட காரபாள குடுமப்பத்தைபப் பறப்றபிய கதையை உனக்குச் சொலப்லபப் போகிறேன். இந்தக் கதை உன்னுடைய காலத்திலேபா அலப்லது என்னுடைய காலத்திலேபா நடந்தது இலப்லை.  அது சோழ மன்னர் காலத்திலப் bப்தன் இந்தியபாவபிலப் நடந்தது.
    கோலபாத்தாக் கவ[ண்டர்/ அபாபியநாச்சி அவருடைய மகன் குன்னடையபாக் கவ[ண்டர். குன்னடையபாக் கவ[ண்டர்/ தாமரை அவர்களுடைய மூன்று பபிளப்ளைகளப் பொன்னர்/ சங்கர்/ தங்காளப் என்கிற இவர்களப்தான் நாட்டை ஆண்ட காரபாளர்களப்.
    அவர்களுடைய பேருமப்/ ப[கழுமப் இன்றுமப் பேசபப் படுகிறது.  கோலபாத்தாவ[மப்/ அபாபியநாச்சிய[மப்/   வளமப்மபிக்க செழபிபப்பபான/ காவேபாபி ஆறு பபாயக்கூடிய நிலத்திலப் வபாழப்ந்தார்களப். இந்தக் கதையை நான் சொலப்வதறப்கு முன்னாலப் உலகத்திறப்கே மூல முதலப் கடவ[ளபான கணபதியைய[மப்/ சரஸப்வதியைய[மப் என்னை ஆசிர்வதிக்குமபாறு நான் வேண்டுகிறேன்.
ளுஉநநே – A 
தொகுபப்பபாளர் ்
    ஒரு நாளப் பபார்வதிய[மப் சிவனுமப் மகிழச்சியபாக ஒன்றபாக அமர்ந்து இருந்தனர்.

சிவன்

arcturusannamalai commented 4 years ago

@Natkeeran - this is contributed by @arulalant - I am not expert on this. However, to support a encoding we need to see if encoding 'code point' aligns with the glyph in Open-Tamil converter table. Clearly, we can debug this situation by typing each of 247 letters in Tamil in the said font-based encoding Dinakaran standard TTF and checking against our conversion table; @tshrinivasan wrote a blog on this process https://goinggnu.wordpress.com/2014/06/26/how-to-get-character-map-of-a-ttf-font/.

It is possible we have multiple Dinakaran fonts and their encoding tables are slightly different.

Please investigate and suggest a PR. HTH -Muthu

arcturusannamalai commented 4 years ago

One investigation gives following encoding table for the font "dinakaran2w-webfont.ttf "

 pprint.pprint(f.getBestCmap())
{32: 'space',
 33: 'exclam',
 34: 'quotedbl',
 35: 'numbersign',
 36: 'dollar',
 37: 'percent',
 38: 'ampersand',
 39: 'quotesingle',
 40: 'parenleft',
 41: 'parenright',
 42: 'asterisk',
 43: 'plus',
 44: 'comma',
 45: 'hyphen',
 46: 'period',
 47: 'slash',
 48: 'zero',
 49: 'one',
 50: 'two',
 51: 'three',
 52: 'four',
 53: 'five',
 54: 'six',
 55: 'seven',
 56: 'eight',
 57: 'nine',
 58: 'colon',
 59: 'semicolon',
 60: 'less',
 61: 'equal',
 62: 'greater',
 63: 'question',
 64: 'at',
 65: 'A',
 66: 'B',
 67: 'C',
 68: 'D',
 69: 'E',
 70: 'F',
 71: 'G',
 72: 'H',
 73: 'I',
 74: 'J',
 75: 'K',
 76: 'L',
 77: 'M',
 78: 'N',
 79: 'O',
 80: 'P',
 81: 'Q',
 82: 'R',
 83: 'S',
 84: 'T',
 85: 'U',
 86: 'V',
 87: 'W',
 88: 'X',
 89: 'Y',
 90: 'Z',
 91: 'bracketleft',
 92: 'backslash',
 93: 'bracketright',
 94: 'asciicircum',
 95: 'underscore',
 96: 'grave',
 97: 'a',
 98: 'b',
 99: 'c',
 100: 'd',
 101: 'e',
 102: 'f',
 103: 'g',
 104: 'h',
 105: 'i',
 106: 'j',
 107: 'k',
 108: 'l',
 109: 'm',
 110: 'n',
 111: 'o',
 112: 'p',
 113: 'q',
 114: 'r',
 115: 's',
 116: 't',
 117: 'u',
 118: 'v',
 119: 'w',
 120: 'x',
 121: 'y',
 122: 'z',
 123: 'braceleft',
 124: 'bar',
 125: 'braceright',
 126: 'asciitilde',
 161: 'exclamdown',
 162: 'cent',
 163: 'sterling',
 164: 'currency',
 165: 'yen',
 166: 'brokenbar',
 167: 'section',
 168: 'dieresis',
 169: 'copyright',
 170: 'ordfeminine',
 171: 'guillemotleft',
 172: 'logicalnot',
 173: 'uni00AD',
 174: 'registered',
 175: 'macron',
 176: 'degree',
 177: 'plusminus',
 178: 'uni00B2',
 179: 'uni00B3',
 180: 'acute',
 181: 'uni00B5',
 182: 'paragraph',
 183: 'periodcentered',
 184: 'cedilla',
 185: 'uni00B9',
 186: 'ordmasculine',
 187: 'guillemotright',
 188: 'onequarter',
 189: 'onehalf',
 190: 'threequarters',
 191: 'questiondown',
 192: 'Agrave',
 193: 'Aacute',
 194: 'Acircumflex',
 195: 'Atilde',
 196: 'Adieresis',
 197: 'Aring',
 198: 'AE',
 199: 'Ccedilla',
 200: 'Egrave',
 201: 'Eacute',
 202: 'Ecircumflex',
 203: 'Edieresis',
 204: 'Igrave',
 205: 'Iacute',
 206: 'Icircumflex',
 207: 'Idieresis',
 208: 'Eth',
 209: 'Ntilde',
 210: 'Ograve',
 211: 'Oacute',
 212: 'Ocircumflex',
 213: 'Otilde',
 214: 'Odieresis',
 215: 'multiply',
 216: 'Oslash',
 217: 'Ugrave',
 218: 'Uacute',
 219: 'Ucircumflex',
 220: 'Udieresis',
 221: 'Yacute',
 222: 'Thorn',
 223: 'germandbls',
 224: 'agrave',
 225: 'aacute',
 226: 'acircumflex',
 227: 'atilde',
 228: 'adieresis',
 229: 'aring',
 230: 'ae',
 231: 'ccedilla',
 232: 'egrave',
 233: 'eacute',
 234: 'ecircumflex',
 235: 'edieresis',
 236: 'igrave',
 237: 'iacute',
 238: 'icircumflex',
 239: 'idieresis',
 240: 'eth',
 241: 'ntilde',
 242: 'ograve',
 243: 'oacute',
 244: 'ocircumflex',
 245: 'otilde',
 246: 'odieresis',
 247: 'divide',
 248: 'oslash',
 249: 'ugrave',
 250: 'uacute',
 251: 'ucircumflex',
 252: 'udieresis',
 253: 'yacute',
 254: 'thorn',
 255: 'ydieresis',
 338: 'OE',
 339: 'oe',
 352: 'Scaron',
 353: 'scaron',
 376: 'Ydieresis',
 402: 'florin',
 710: 'circumflex',
 732: 'tilde',
 2404: 'uni0964',
 2405: 'uni0965',
 2947: 'uni0B83',
 2949: 'uni0B85',
 2950: 'uni0B86',
 2951: 'uni0B87',
 2952: 'uni0B88',
 2953: 'uni0B89',
 2954: 'uni0B8A',
 2958: 'uni0B8E',
 2959: 'uni0B8F',
 2960: 'uni0B90',
 2962: 'uni0B92',
 2963: 'uni0B93',
 2964: 'uni0B94',
 2965: 'uni0B95',
 2969: 'uni0B99',
 2970: 'uni0B9A',
 2972: 'uni0B9C',
 2974: 'uni0B9E',
 2975: 'uni0B9F',
 2979: 'uni0BA3',
 2980: 'uni0BA4',
 2984: 'uni0BA8',
 2985: 'uni0BA9',
 2986: 'uni0BAA',
 2990: 'uni0BAE',
 2991: 'uni0BAF',
 2992: 'uni0BB0',
 2993: 'uni0BB1',
 2994: 'uni0BB2',
 2995: 'uni0BB3',
 2996: 'uni0BB4',
 2997: 'uni0BB5',
 2998: 'uni0BB6',
 2999: 'uni0BB7',
 3000: 'uni0BB8',
 3001: 'uni0BB9',
 3006: 'uni0BBE',
 3007: 'uni0BBF',
 3008: 'uni0BC0',
 3009: 'uni0BC1',
 3010: 'uni0BC2',
 3014: 'uni0BC6',
 3015: 'uni0BC7',
 3016: 'uni0BC8',
 3018: 'uni0BCA',
 3019: 'uni0BCB',
 3020: 'uni0BCC',
 3021: 'uni0BCD',
 3024: 'uni0BD0',
 3031: 'uni0BD7',
 3047: 'uni0BE7',
 3048: 'uni0BE8',
 3049: 'uni0BE9',
 3050: 'uni0BEA',
 3051: 'uni0BEB',
 3052: 'uni0BEC',
 3053: 'uni0BED',
 3054: 'uni0BEE',
 3055: 'uni0BEF',
 3056: 'uni0BF0',
 3057: 'uni0BF1',
 3058: 'uni0BF2',
 3059: 'uni0BF3',
 3060: 'uni0BF4',
 3061: 'uni0BF5',
 3062: 'uni0BF6',
 3063: 'uni0BF7',
 3064: 'uni0BF8',
 3065: 'uni0BF9',
 3066: 'uni0BFA',
 8204: 'afii61664',
 8205: 'afii301',
 8211: 'endash',
 8212: 'emdash',
 8216: 'quoteleft',
 8217: 'quoteright',
 8218: 'quotesinglbase',
 8220: 'quotedblleft',
 8221: 'quotedblright',
 8222: 'quotedblbase',
 8224: 'dagger',
 8225: 'daggerdbl',
 8226: 'bullet',
 8230: 'ellipsis',
 8240: 'perthousand',
 8249: 'guilsinglleft',
 8250: 'guilsinglright',
 8364: 'Euro',
 8482: 'trademark',
 8722: 'minus',
 9676: 'uni25CC',
 57344: 'uniE000'}

Natkeeran commented 4 years ago

Please ignore this comment. Did not use the right version!

@arcturusannamalai Thanks for the quick reply Muthu. Really glad to find that this work is available. A lof of documents, even the ones on the web (i.e Internent Archive) are encoded using the old Tamil fonts, thus being able to automate conversion is very helfpul.

The above text may actually be in bamini, though dinakaran gives better conversion. For the rest of the docs, it seems they are in bamini. However, even with bamini, there are notable differences between open-tamil and Suratha. Suratha seems to convert much better.

I am attaching some of the files we are trying to convert:

Episode-01.txt Episode-02.txt Episode-03.txt

Source text:

rptdpd; jdpnkhop :
    vd; md;ghd kidtp ghh;tjp, G+kpapy; tho;gthpd; tho;f;if re;Njh\khf ,Ug;gijNa tpUk;Gths;. xU ehs; xd;gJ fhuhs tptrhapfis cUthf;fp mth;fSf;F epyKk; toq;fpdhh;. mth;fSf;F nghd;dptsehl;by; cs;s epyj;jpy; tpisr;ry; ed;whf ,Uf;fpwJ. ghh;tjp fhuhsh;fis cUthf;fpa gpwF G+kpapy; cs;s fpof;Fg; gFjpapy; nghpa gQ;rk;  Vw;g;gl;lJ. Nrhokd;dhpd; gd;dpnuz;L fhuhk;gRf;fis gQ;rj;jhy; cztpy;yhky; mtpo;j;J tpl;L tpl;lhh;.

    gRf;fs; fhNthp Mw;wpd; xukhf njhlh;e;J nrd;W mit nghd;dpts ehl;by; cs;s fUk;gq;fhl;il nrd;wile;jJ. Jujp\;ltrkhf tptrhaf; fTz;lh; Ntiy nra;J nfhz;bUf;Fk;NghJ ,tUila tptrha epyj;jpy; cs;s fUk;gq;fhL mopf;fg;gl;bUe;jJ. 

    ve;j fhl;L tpyq;F te;J ,ijr; nra;fpwJ vd;W mtUf;Fj; njhpahky; mijg;ghJ fhf;f Ntyp Nghlr;nrhd;dhh;. mJ gRf;fSf;F nfhLikahd rhit tpistpj;jJ. 

njhFg;ghsh;: ,g;gb ,Uf;Fk;NghJ nghd;dptsehl;by; cs;s Kjd;ik tptrhaf; FLk;gk; epyj;jpy; tptrhak; nra;Jnfhz;bUe;jdh;. tUlq;fs; Ntfkhfr;nrd;WJ. Mdhy; xU Foe;ijapd; rj;jk; $lf; Nfl;ftpy;iy. Nfhshj;jhTk; mth; kidtpAk; tUq;fhyj;ij epidj;J kpfTk; tUj;jg;gl;ldh;.

SCENE - A muz;kidapy;

mhpadhr;rp : “ehjh ek; fy;ahzk; Kbe;J ehw;gj;jp Ie;J tUlk; fle;J tpl;lJ. ekJ epyKk; ed;whf nropj;J ,Uf;fpwJ. ,Ue;jhYk;;! Vd; ehd; xU Foe;ijf;Ff; $l jha; Mftpy;iyNa! ek; tPL md;Dfl;ba tPLNghy; ,Uf;fpwNj ehjh?

Nfhyhj;jh:  “mk;kh mhpadhr;rp ! fhpiaj; Jilf;fyhk;. fhNthpia ePe;jyhk;!  Mdhy;! tpjpiaj; Jilf;f ek;khy; Mfhjk;kh”.  ek; jiy vOj;J mJjhd; vd;why; ehk; mNjhl jhd; thoDk; mk;kh!

ghl;L:

http://www.suratha.com/reader.htm - view-source:http://www.suratha.com/JS/bamini.js

சிவனின் தனிமொழி :
    என் அன்பான மனைவி பார்வதிஇ பூமியில் வாழ்பவரின் வாழ்க்கை சந்தோஷமாக இருப்பதையே விரும்புவாள். ஒரு நாள் ஒன்பது காராள விவசாயிகளை உருவாக்கி அவர்களுக்கு நிலமும் வழங்கினார். அவர்களுக்கு பொன்னிவளநாட்டில் உள்ள நிலத்தில் விளைச்சல் நன்றாக இருக்கிறது. பார்வதி காராளர்களை உருவாக்கிய பிறகு பூமியில் உள்ள கிழக்குப் பகுதியில் பெரிய பஞ்சம்  ஏற்ப்பட்டது. சோழமன்னரின் பன்னிரெண்டு காராம்பசுக்களை பஞ்சத்தால் உணவில்லாமல் அவிழ்த்து விட்டு விட்டார்.

    பசுக்கள் காவேரி ஆற்றின் ஒரமாக தொடர்ந்து சென்று அவை பொன்னிவள நாட்டில் உள்ள கரும்பங்காட்டை சென்றடைந்தது. துரதிஷ்டவசமாக விவசாயக் கவுண்டர் வேலை செய்து கொண்டிருக்கும்போது இவருடைய விவசாய நிலத்தில் உள்ள கரும்பங்காடு அழிக்கப்பட்டிருந்தது. 

    எந்த காட்டு விலங்கு வந்து இதைச் செய்கிறது என்று அவருக்குத் தெரியாமல் அதைப்பாது காக்க வேலி போடச்சொன்னார். அது பசுக்களுக்கு கொடுமையான சாவை விளைவித்தது. 

தொகுப்பாளர்: இப்படி இருக்கும்போது பொன்னிவளநாட்டில் உள்ள முதன்மை விவசாயக் குடும்பம் நிலத்தில் விவசாயம் செய்துகொண்டிருந்தனர். வருடங்கள் வேகமாகச்சென்றுது. ஆனால் ஒரு குழந்தையின் சத்தம் கூடக் கேட்கவில்லை. கோளாத்தாவும் அவர் மனைவியும் வருங்காலத்தை நினைத்து மிகவும் வருத்தப்பட்டனர்.

ளுஊநுNநு - யு அரண்மனையில்

அரியனாச்சி : “நாதா நம் கல்யாணம் முடிந்து நாற்பத்தி ஐந்து வருடம் கடந்து விட்டது. நமது நிலமும் நன்றாக செழித்து இருக்கிறது. இருந்தாலும்;! ஏன் நான் ஒரு குழந்தைக்குக் கூட தாய் ஆகவில்லையே! நம் வீடு அன்னுகட்டிய வீடுபோல் இருக்கிறதே நாதா?

கோலாத்தா:   “அம்மா அரியனாச்சி ! கரியைத் துடைக்கலாம். காவேரியை நீந்தலாம்!  ஆனால்! விதியைத் துடைக்க நம்மால் ஆகாதம்மா”.  நம் தலை எழுத்து அதுதான் என்றால் நாம் அதோட தான் வாழனும் அம்மா!

பாட்டு:

Open-Tamil - bamini2unicode

சிவனின் தனிமெபாழபி :
    என் அன்பபான மனைவபி பபார்வதி, பு+மபியபிலப் வபாழப்பவரின் வபாழப்க்கை சந்தோஷமபாக ,ருபப்பதையே வபிருமப்புவபாளப். ஒரு நாளப் ஒன்பது காரபாள வபிவசாயபிகளை உருவபாக்கி அவர்களுக்கு நிலமுமப் வழங்கினார். அவர்களுக்கு பொன்னிவளநாட்டிலப் உளப்ள நிலத்திலப் வபிளைச்சலப் நன்றபாக ,ருக்கிறது. பபார்வதி காரபாளர்களை உருவபாக்கிய பபிறகு பு+மபியபிலப் உளப்ள கிழக்குபப் பகுதியபிலப் பெரிய பஞ்சமப்  ஏறப்பப்பட்டது. சோழமன்னரின் பன்னிரெண்டு காரபாமப்பசுக்களை பஞ்சத்தாலப் உணவபிலப்லபாமலப் அவபிழப்த்து வபிட்டு வபிட்டார்.

    பசுக்களப் காவேரி ஆறப்றபின் ஒரமபாக தொடர்ந்து சென்று அவை பொன்னிவள நாட்டிலப் உளப்ள கருமப்பங்காட்டை சென்றடைந்தது. துரதிஷப்டவசமபாக வபிவசாயக் கவுண்டர் வேலை செயப்து கொண்டிருக்குமப்போது ,வருடைய வபிவசாய நிலத்திலப் உளப்ள கருமப்பங்காடு அழபிக்கபப்பட்டிருந்தது. 

    எந்த காட்டு வபிலங்கு வந்து ,தைச் செயப்கிறது என்று அவருக்குத் தெரியபாமலப் அதைபப்பபாது காக்க வேலபி போடச்சொன்னார். அது பசுக்களுக்கு கொடுமையபான சாவை வபிளைவபித்தது. 

தொகுபப்பபாளர்: ,பப்படி ,ருக்குமப்போது பொன்னிவளநாட்டிலப் உளப்ள முதன்மை வபிவசாயக் குடுமப்பமப் நிலத்திலப் வபிவசாயமப் செயப்துகொண்டிருந்தனர். வருடங்களப் வேகமபாகச்சென்றுது. ஆனாலப் ஒரு குழந்தையபின் சத்தமப் $டக் கேட்கவபிலப்லை. கோளபாத்தாவுமப் அவர் மனைவபியுமப் வருங்காலத்தை நினைத்து மபிகவுமப் வருத்தபப்பட்டனர்.

ளுஊநுNநு - யு அரண்மனையபிலப்

அரியனாச்சி : “நாதா நமப் கலப்யபாணமப் முடிந்து நாறப்பத்தி ஐந்து வருடமப் கடந்து வபிட்டது. நமது நிலமுமப் நன்றபாக செழபித்து ,ருக்கிறது. ,ருந்தாலுமப்ப்! ஏன் நான் ஒரு குழந்தைக்குக் $ட தாயப் ஆகவபிலப்லையே! நமப் வபீடு அன்னுகட்டிய வபீடுபோலப் ,ருக்கிறதே நாதா?

கோலபாத்தா:  “அமப்மபா அரியனாச்சி ! கரியைத் துடைக்கலபாமப். காவேரியை நீந்தலபாமப்!  ஆனாலப்! வபிதியைத் துடைக்க நமப்மபாலப் ஆகாதமப்மபா”.  நமப் தலை எழுத்து அதுதான் என்றபாலப் நாமப் அதோட தான் வபாழனுமப் அமப்மபா!

பபாட்டு:

Parathantl commented 4 years ago

@Natkeeran, @arcturusannamalai I resolved the Bamini issue https://github.com/Ezhil-Language-Foundation/open-tamil/issues/193

I see that most of the words are mixed with the word "ப்" which makes the word mess. So, I changed all those for Bamini I think it will be available from the next release.

arcturusannamalai commented 4 years ago

@Natkeeran - if what @Parathantl has suggested is the actual situation, then your conversion via tamilpesu.us is going to use old version of Open-Tamil (before bugfix #193)

@Natkeeran - tamilpesu.us site is pending update to Python3 and that maybe issue, whereas issue seem to be fixed in code.

Natkeeran commented 4 years ago

@arcturusannamalai @Parathantl

I am using from command line. Is there a way for me to check the version?

tamil_font_conversion.py.txt

arcturusannamalai commented 4 years ago

@Natkeeran Please try:

python3 -c 'import tamil; print(tamil.VERSION)'

and you should see >= 0.96 for latest version.

Natkeeran commented 4 years ago

@arcturusannamalai I do have the latest version. However, there was a difference in the encoding file because I had touched it. Now, I've put back the repo version. So, please ignore my previous comment above.

The difference between Suratha and open-tamil is small, but seems like there are one or two characters that are off. As I understand it, we will not get 100% conversion, but just trying to understand the difference.

It is very useful to have this as we have hundreds of documents at UTSC where we need to create unicode version. Appreciate the work.

Attaching the various formats for five documents.
Episode-05-unicode.txt Episode-04-unicode.txt Episode-03-unicode.txt Episode-02-unicode.txt Episode-01-unicode.txt Episode-05-unicode-suratha.txt Episode-04-unicode-suratha.txt Episode-02-unicode-suratha.txt Episode-03-unicode-suratha.txt Episode-04.txt Episode-01.txt Episode-03.txt Episode-02.txt Episode-05.txt Episode-05.doc.txt Episode-04.doc.txt Episode-03.doc.txt Episode-02.doc.txt Episode-01.doc.txt

arcturusannamalai commented 4 years ago

Good to @Natkeeran - Our txt2unicode and txt2ipa modules are contributed by @arulalant - however he also maintains a separate version which has diverged from our version AFAIK. So hopefully we can normalize all the code and address issues w.r.t Suratha's work/reference.

arulalant commented 4 years ago

@arcturusannamalai Open-Tamil txt2unicode is the latest version. I initially created it in my own repository before contributing to Open Tamil. I made this txt2unicode conversion by adopting source code (java script) of Suratha website. If you are able to find the bug and fix it, we welcome you to contribute it.

The dinarkaran2unicode mapping is available from Line no 1098 to Line no 1464 of this dictionary located at https://github.com/Ezhil-Language-Foundation/open-tamil/blob/master/tamil/txt2unicode/encode2utf8.py

Ezhil-Language-Foundation / open-tamil

txt2unicode - dinakaran2utf8 - conversion issues #216