mozillazg
commented
6 years ago @LuoZijun 主要数据来自 Unihan Database ，详见 https://github.com/mozillazg/pinyin-data 中的说明。
用教育部的数据当然是最理想的，据我所知教育部并没有发布网上可用的电子版数据，如果发布过话，欢迎告知。
Closed LuoZijun closed 6 years ago
mozillazg
commented
6 years ago @LuoZijun 主要数据来自 Unihan Database ，详见 https://github.com/mozillazg/pinyin-data 中的说明。
用教育部的数据当然是最理想的，据我所知教育部并没有发布网上可用的电子版数据，如果发布过话，欢迎告知。
mozillazg
commented
6 years ago @LuoZijun ế 这个看了一下汉语拼音方案，其实是属于汉语拼音的。
来源：http://www.moe.gov.cn/ewebeditor/uploadfile/2015/03/02/20150302165814246.pdf
pinyin-data 中目前是 欸 和 誒 这两个字用到了这个拼音，比如 欸:
LuoZijun
commented
6 years ago @mozillazg
你截图的 教育部出版的 那个读音，你应该没有看仔细，你再仔细看下，那个是 e3。
而 越南汉字 那个是 尖符号上面还有一个小点，这不是 汉语拼音。
你的第二幅图片来源于《康熙字典》，但是汉语拼音是简化字训读方案，简化字本来就不完整包含《康熙字典》里面的汉字的。毕竟每朝每代都会淘汰一些字。当然维基百科上面的提到几个读音附加到 汉语拼音方案了，分别是: 'ń' | 'ň' | 'ǹ' | 'ḿ' | "m̀" , 这些也是《康熙字典》里面的，加入他只是方便阅读这几个特殊的康熙汉字。其它的则不在此之列。毕竟康熙之前还有很多古怪汉字呢。
mozillazg
commented
6 years ago @LuoZijun
ế 上面不是点，是声调符号，是 ê 的第二声。e3 是 ě 跟 ê 的尖尖的方向不一样。LuoZijun
commented
6 years ago @mozillazg
好吧 -_-
另外提个想法: 汉语拼音所用的 字母是否应该包含进 字典里面呢？毕竟他们也有发音。还有 0-9 阿拉伯数字。
mozillazg
commented
6 years ago @LuoZijun
另外提个想法: 汉语拼音所用的 字母是否应该包含进 字典里面呢？毕竟他们也有发音。还有 0-9 阿拉伯数字。
一般汉字中如果包含这些字符都不会把它们当成有拼音的吧，如果要加感觉得有个东西可以控制是否为这些字符注音，你觉得呢？
mozillazg
commented
6 years ago @LuoZijun
一般汉字中如果包含这些字符都不会把它们当成有拼音的吧，如果要加感觉得有个东西可以控制是否为这些字符注音，你觉得呢？
根据你后来的为 char 实现 PinYin 特性的设计，用户自己已经有了控制是否为这些字符注音的能力了 👍
LuoZijun
commented
6 years ago @mozillazg 我觉得 Unihan Database 这个来源数据是可靠的，我之前以为是 “字典” 之类的网站上面爬取的。另外你提到 pinyin.txt 数据包括了一些手工修正的数据, 这个可以标出是根据什么来修正的吗？
我在想，是不是可以直接使用 Unihan Database 返回 拼音数据，并不需要对这份数据做其它处理（诸如分类）。
比如:
pub enum PinYinSource {
// 漢語大字典
kHanyuPinyin,
// 现代汉语词典
kXHC1983,
kHanyuPinlu,
kMandarin,
}
fn pinyin(source: &PinYinSource) -> PinYin;@LuoZijun pinyin.txt 整体跟 unihan 的数据没啥差别，只修正了少量的数据，没有全量去检查。主要参考了 国学大师_国学网，因为它有单个汉字在各个字典中发音的扫描版截图，算是比较可靠的参考源。
mozillazg
commented
6 years ago @LuoZijun 是否需要做处理主要看数据能否满足需求，如果目前的数据已经满足需求了可以不处理。
LuoZijun
commented
6 years ago @mozillazg 嗯，
卓 字在 Unihan Database 中的数据记录:
U+5353 kCantonese coek3 zoek3
U+5353 kDefinition profound, brilliant, lofty
U+5353 kHangul 탁:0E
U+5353 kHanyuPinyin 10061.060:zhuō
U+5353 kJapaneseKun SUGURERU
U+5353 kJapaneseOn TAKU
U+5353 kKorean THAK
U+5353 kMandarin zhuō
U+5353 kTang djak
U+5353 kVietnamese trác
U+5353 kXHC1983 1526.060:zhuō卓 字在 《汉语大字典》中的数据记录:
卓: zhuó（旧读 zhuō）看来是属于补漏？其它的“修正”数据也是属于补漏性质吗？
LuoZijun
commented
6 years ago 我读了一些 pinyin-data 的一些 issue ，总结下修正应该是发生在以下场景当中:
卓 字在《汉语大字典》里面有古音 zhuō 和今音 zhuó 两种读音）卓 字在现代发音 zhuó 而不是 zhuō ）mozillazg
commented
6 years ago @LuoZijun 是的，主要是这两种情况，还有几个是 unihan 中没有数据，《汉语大词典》之类的有数据补了一下拼音。不过整体修改的数据很少，只是在有用户反馈的时候检查了一下，没有刻意去一个一个的检查。
修改都在下面两个文件中进行：
LuoZijun
commented
6 years ago @mozillazg 这个我的想法是，我们不动 Unihan 的数据库，但是另外提供一个函数和数据库来做可选转换。
这样想是因为 维护一个数据库，特别是像 Unihan 这种如此庞大的数据库，是需要相当的精力和专业能力的（以及财力？），这些我们似乎都没有。同时，我也非常乐观的认为这些错误，如果能够联系到 Unihan 的维护人员，并给出相关文献资料，我想应该是会在另外一个版本能得到修正（这在以后有时间可以琢磨下是否可行）？
如果仅仅维护一个修正数据库，那么相对来讲就会轻松很多。
同时，修正数据库能够严谨的给出数据条目的修正类型，应该会更友好。（比如明确标注出数据修正性质: 新增/替换/删除）
当然最后，Rust 的 Unihan 数据库的 PR 还在等待 Review 当中，可能需要等待一些时日 :)
非常感谢那位提交 PR 的协作者。
use unicode::Unihan;
use pinyin::PinYin;
fn main (){
let text = "一段文本。";
let words = text.words();
let res = words.iter()
.zip( words.iter().map(|word| word.pinyin_with_fixed()) )
.cloned()
.collect::<Vec<(String, String)>>();
// [ ("一段", "Yiduan4"), ("文本", "Wenben3"), ("。", "") ]
}
你好，我将
./pinyin-data/pinyin.txt文件进行去声调处理，并统计所有的音节（不带音调），发现了一些奇怪的音节，经过查询后，发现 ế 是越南汉字的训读方式，并非汉语的训读方式。当然不仅仅一个，以下是 根据./pinyin-data/pinyin.txt统计出来的所有可能的 音节:我们这个库是汉语拼音的库，想必这些其它地区文化的训读方式应该要剔除？
如果不符合该规范的，我觉得都不应该视为汉语拼音:
汉语拼音方案
另外，想询问下，这些数据的来源是来自于哪里呢（我个人倾向于使用教育部的数据）？