Some characters are not converted to UTF-8

[kong0107]

For example, rawdata/utf8_lawstat/version2/01011/0101136061100.html ended with exception. The 2-byte character of that word is 0xFECA, which is not defined in Big5. See Wikipedia for the range of undefined characters. I guess characters in those ranges cannot be converted to UTF-8.

While trying to parse with Ruby's String#encode, I list those throw Encoding::UndefinedConversionError while trying to convert from UTF-8 to Big5 in error.log of my own project. Some of them match the bug here. Maybe it would help.

[kong0107]

I'll list some I know here:

• 內政部組織法(01011)036061100 和其後的一個版本的第23條的「『秘』書」被植為「」（0xFECA），但應為0xAFA6
• 行政院衛生署組織法(01025)098051200 第14條第4項「（一）」被植為「」（0x93C6），其前的兩個版本則用不同字
• 警察人員人事條例(01167)096061500 「銓『敘』部」被植為「」（0x97AB）
• 公職人員選舉罷免法(01177)100050600 第51條標題中的「『刊』登者」被植為「」（\x81c）
• 第一屆資深中央民意代表自願退職條例(01204) 第16條標題中的「『擔』保」被植為「」（\xFD]）
• 地籍清理條例(01266)096030200 第27條1項2款有個「『』耕權」（0xFEN），似乎是「『贌』耕權」（\u8D0C）（這個字Big5似乎沒有）
• 所得稅法(01513)066012100 第五十六條甲款的除號斜線…"\xA1\xFE"，01517, 01523, 01810, 01928, 02019亦同