CanCLID / canto-filter

粵文語料篩選器 Cantonese text filter
https://pypi.org/project/canto-filter/
MIT License
33 stars 4 forks source link

添加更多canto_unique字詞 #3

Closed AlienKevin closed 2 years ago

AlienKevin commented 2 years ago

所有添加嘅字詞都出現喺《粵典》度(有啲仲未公開)。同埋所有字對應嘅簡體字都唔喺《现代汉语规范词典》度,或者用法非常生僻(淨係出現喺文言文度)。

laubonghaudoi commented 2 years ago

唔該晒,不過我覺得個「俾」字唔應該加落去,因為呢隻字喺簡體漢字官話文圈都唔係罕見字,如果將佢當成 canto_unique嘅話好可能會降低分類器嘅 precision,將官話文都當成係粵文。

AlienKevin commented 2 years ago

邊科 係咪可以同 邊[度個位] 合併?

hfhchan commented 2 years ago

我唔建議加「㨃」,呢個字普通話都用,仲幾乎係一樣意思。而家大陸好多人寫「懟」(怼),但係唔少人堅持寫「㨃」。

hfhchan commented 2 years ago

係咪漏咗「噚日」?

hfhchan commented 2 years ago

[我你][個隻條把支碌張度塊樖副]

AlienKevin commented 2 years ago

我唔建議加「㨃」,呢個字普通話都用,仲幾乎係一樣意思。而家大陸好多人寫「懟」(怼),但係唔少人堅持寫「㨃」。

我同意。「㨃」呢個字雖然喺《现代汉语规范词典》中冇收錄,但係百度百科話有人用「㨃」嚟寫「懟」(我個人冇見過呢種用法)。Baidu搜索"㨃"輸出1,310,000個結果,相比“怼”嘅100,000,000個結果非常小(1.31%),但係有人仲係用「㨃」。

AlienKevin commented 2 years ago

[我你][個隻條把支碌張度塊樖副]

可唔可以加個佢變成[我你佢]?不過,我覺得有啲詞可能會增加false positive。好似「我把」,「你把」呢啲都喺普通話好常用。而家我哋手寫規則呢種方式好難避免imbalance:減少咗false negative,可能就多咗false positive...

laubonghaudoi commented 2 years ago

[我你][個隻條把支碌張度塊樖副]

可唔可以加個佢變成[我你佢]?不過,我覺得有啲詞可能會增加false positive。好似「我把」,「你把」呢啲都喺普通話好常用。而家我哋手寫規則呢種方式好難避免imbalance:減少咗false negative,可能就多咗false positive...

冇錯,呢個肯定唔可以加

laubonghaudoi commented 2 years ago

我唔建議加「㨃」,呢個字普通話都用,仲幾乎係一樣意思。而家大陸好多人寫「懟」(怼),但係唔少人堅持寫「㨃」。

我同意。「㨃」呢個字雖然喺《现代汉语规范词典》中冇收錄,但係百度百科話有人用「㨃」嚟寫「懟」(我個人冇見過呢種用法)。Baidu搜索"㨃"輸出1,310,000個結果,相比“怼”嘅100,000,000個結果非常小(1.31%),但係有人仲係用「㨃」。

冇錯,唔可以加「㨃」,普通話文本入面好多呢隻字,而且嚴格嚟講都唔係粵文專屬字

hfhchan commented 2 years ago

係,sor,醒唔起普通話有「我把」「你把」,我剩係掛住諗「我把扇」「你把遮」

「佢」 + 「量詞」唔使加,因為「佢」已經足以斷定係粵文

AlienKevin commented 2 years ago

目前所有嘅changes我都implement咗,應該ready to merge。