修訂 Dictionary.csv - Githubissues

flier268 / ConvertZZ

繼承自convertz，但更好用的簡繁轉換工具

GNU General Public License v3.0

392 stars 64 forks source link

Open ghost opened 4 years ago

ghost commented 4 years ago

修訂一些可能有誤的用字。

因為不確定檔案中重複的部分的必要性，所以重複的部分均未刪除

flier268 commented 4 years ago

原來還有這個修訂仔細看了一下，你所改的地方，並不只有這個表而已像是台、啓、爲之類的字你都修正了速食麵還有"軟肥皂"，這寫錯都被你找到了

說真的，雖然程式是我寫的，但其實我反倒用的不多，最後還是要靠各位優秀的使用者幫我找出問題

flier268 commented 4 years ago

我有看到一些有括號的，請問那個是? 倮(裸)蟲六鬚鮎(鯰) 剗(剷)惡除奸土中曲蟮(蟺)

flier268 commented 4 years ago

有些詞雖然在法律統一用字裡面改了，但在教育部國語辭典中，依然沒有變動舉例來說，「複查」這個詞從意思來說，應該是再一次查詢，改為「復」反倒有些怪怪的了與此相同問題的還有覆核

ghost commented 4 years ago

「台」與「臺」的意思本就是不同，請參考https://news.ltn.com.tw/news/focus/paper/451629
「啓」換為「啟」是因為Big5編碼裡沒有「啓」；同樣的狀況也發生在「爲」及「為」，「峯」及「峰」，和「羣」及「群」上 -- 但有一些我後來發現沒改到 :-(
括弧前的字，是Unicode裡有，但Big5編碼裡沒收的字；所以括弧裡的，是Unicode及Big5編碼裡都有的「替代」字
「複查」是因為在萌典中找不到「復查」、「覆查」，所以就用找到的「複查」來替換
「覆核」就比較麻煩，因為「複核」與「覆核」及「覆覈」(萌典中沒收錄) 的意思有點不同。「複核」意思偏向請同儕或下屬做複查審核；而「覆核」及「覆覈」意思偏向請外人及上級做再次的確認，所以就挑了自認應用情境比較多的「覆核」來用。

flier268 commented 4 years ago

你真的很認真，該不會是一行一行的看吧，我光看你修改的部分就覺得很累了

最近在考慮，為了提升辨識能力，或許應該加入詞性作為判斷，先分詞，然後才轉換分詞的方法，Github上有許多大神很好心的免費提供，目前有看到這個(不過他是用node寫的，所以可能還要自己想辦法轉成C#)，還有一個叫做結巴分詞的，前者資源感覺比較完整，後者不用自己改成C#

如果先分詞再判斷該轉成哪個字，應該就可以讓準確度大幅提高了吧，只是字典方面，現在的就比較不適用了

ghost commented 4 years ago

因為我自己有維護一個常用中文用字的勘誤表，所以還好啦！大概花了4個小時做了粗略的調整
中文分(斷)詞，可以考慮用中研院開發的：https://github.com/ckiplab/ckiptagger或中國開發的：https://github.com/fxsjy/jieba
如果真想自己刻分(斷)詞的程式碼，可以先參考英文分(斷)詞的做法：https://www.wikiwand.com/en/Hyphenation_algorithm

ghost commented 4 years ago

以下hyperlink，是我目前使用中的Dictionary.csv（我寫了個小程式刪除重複及一些不是我偏好的用詞），提供您參考 https://upload.express/download/5d8d60b73398a70001e63825

flier268 commented 4 years ago

ConvertZZ也要進入機器學習時代了嗎？

你要不要直接Pull request你的字典上來？