search

sinovation / ZEN

A BERT-based Chinese Text Encoder Enhanced by N-gram Representations
Apache License 2.0
641 stars 104 forks source link

构建ngram字典 #26

Open testcross-01 opened 1 year ago

testcross-01 commented 1 year ago

您好，我想问一下ZEN模型在构建ngram字典是使用了什么工具？我想在自己的领域的文本上构建一个ngram字典，但不知道如何构建比较好。

GuiminChen commented 1 year ago

您好，您的来信已收到，我会尽快回复您的邮件。

祝您生活愉快！

fany198 commented 1 year ago

您好，我也想知道ZEN模型在构建ngram字典是使用了什么工具？我想在自己的领域的文本上构建一个ngram字典，麻烦您了，我的邮箱是fanyue0205@163.com

GuiminChen commented 1 year ago

您好，您的来信已收到，我会尽快回复您的邮件。

祝您生活愉快！

shizhediao commented 1 year ago

您好， 感谢关注我们的工作，有多种不同的方法可以构建ngram字典。其中一种可以参考这篇文章里用到的PMI方法 (Section 3.1)，相关代码也已开源 https://aclanthology.org/2021.acl-long.259.pdf

GuiminChen commented 1 year ago

您好，您的来信已收到，我会尽快回复您的邮件。

祝您生活愉快！

whsbq commented 8 months ago

您好，我也想问一下ZEN模型在构建ngram字典是使用了什么工具？我想在自己的领域的文本上构建一个ngram字典，麻烦了

GuiminChen commented 8 months ago

您好，您的来信已收到，我会尽快回复您的邮件。

祝您生活愉快！

shizhediao commented 8 months ago

您好， 感谢关注我们的工作，有多种不同的方法可以构建ngram字典。其中一种可以参考这篇文章里用到的PMI方法 (Section 3.1) https://aclanthology.org/2021.acl-long.259.pdf 代码实现在这里：https://github.com/shizhediao/T-DNA/blob/main/TDNA/pmi_ngram.py