JioNLP：中文 NLP 预处理、解析工具包 A Python Lib for Chinese NLP Preprocessing & Parsing

   安装：pip install jionlp

• JioNLP 是一个面向 NLP 开发者的工具包，提供 NLP 任务预处理、解析功能，准确、高效、零使用门槛。请下拉本网页，查阅具体功能信息，并按 Ctrl+F 进行搜索。JioNLP在线版 可快速试用部分功能。关注同名微信公众号 JioNLP 可获取最新的 AI 资讯，数据资源。

  • AI发展方向——从pipeline到end2end
  • 你为什么不相信 LLM 模型评测：深入评测 LLM 接口
  • AI似乎在向着奇怪的方向飞奔
  • ChatGPT这么强，会影响NLPer的就业环境吗？
  • 一文读懂ChatGPT模型原理
  • 花了三周，我又更新了一版开源软件 ffio => FFIO链接

2023-12-12 Add MELLM

• MELLM, short for Mutual Evaluation of Large Language Models, is an automatic evaluation algorithm of LLMs without human supervision. MELLM has been tested effectively on several LLMs and datasets test results and analysis. You can use the example code below to take a try.
• before running this code, you should download norm_score.json and max_score.json from test data with password jmbo.
• If you encounter any error, read the test_mellm.py to download *.json file.

  $ git clone https://github.com/dongrixinyu/JioNLP
  $ cd JioNLP/test/
  $ python test_mellm.py

2023-06-22 添加大语言模型 LLM 评测数据集

• JioNLP 提供了一套 LLM 的测试数据集，并应用 MELLM 算法完成了自动评测。
• 评测结果可关注公众号JioNLP，查阅具体各家评测截图pdf。

  >>> import jionlp as jio
  >>> llm_test = jio.llm_test_dataset_loader(version='1.1')
  >>> print(llm_test[15])
  >>> llm_test = jio.llm_test_dataset_loader(field='math')
  >>> print(llm_test[5])

安装 Installation

• python>=3.6 github 版本略领先于 pip

  $ git clone https://github.com/dongrixinyu/JioNLP
  $ cd ./JioNLP
  $ pip install .

• pip 安装

  $ pip install jionlp

使用 Features

• 导入工具包，查看工具包的主要功能与函数注释

  >>> import jionlp as jio
  >>> print(jio.__version__)  # 查看 jionlp 的版本
  >>> dir(jio)
  >>> print(jio.extract_parentheses.__doc__)

• 星级⭐代表优质特色功能

  1.小工具集 Gadgets

2.数据增强

• 文本数据增强各方法说明

3.正则抽取与解析

4.文件读写工具

5.词典加载与使用

6.实体识别(NER)算法辅助工具集

• 工具包 NER 数据规定说明

7.文本分类

8.情感分析

9.分词

文献引用

• 若论文需要进行引用，可复制以下引用：

Chengyu Cui, JioNLP, (2020), GitHub repository, https://github.com/dongrixinyu/JioNLP

初衷

• NLP 预处理与解析至关重要，且非常耗时。本 lib 能快速辅助完成各种琐碎的预处理、解析操作，加速开发进度，把有限的精力用在思考而非 code 上。
• 如有功能建议、bug，可通过 issue 按模板提出。
• 非常欢迎各位 NLP 开发者和研究者 合作完善本工具包，添加新功能 。

如本工具对您有帮助，请点一下右上角 star ⭐

或者扫码请作者喝杯咖啡 (●'◡'●)，开源项目完全用爱发电，谢谢啦！推荐优先使用【支付宝】 ~~

• 感谢致谢名单中赞助的小伙伴们，你们的打赏让我更有动力

做 NLP不易，欢迎加入自然语言处理 Wechat 交流群

请扫以下码，或wx搜索公众号JioNLP”，关注并回复【进群】