IDEA-CCNL / GTS-Engine

GTS Engine: A powerful NLU Training System。GTS引擎(GTS-Engine)是一款开箱即用且性能强大的自然语言理解引擎,聚焦于小样本任务,能够仅用小样本就能自动化生产NLP模型。
https://gtsfactory.com/
Apache License 2.0
87 stars 9 forks source link

add pipeline module for supporting bagualu #30

Closed pskun closed 1 year ago

pskun commented 1 year ago
  1. 合并单个任务train和inference的逻辑到同一模块;

  2. 新增pipelines模块,为每一个引擎+任务单独提供一个文件;

    • 文件名命名规则为:engine_type + "_" + task_type + ".py"
  3. 加入注册器,新增任务只要实现指定函数即可使用;

    • def train_pipeline(args)
    • def prepare_inference(engine_type, task_type, save_path)
    • def inference(engine_type, task_type, samples, inference_suite)

    测试详情

  4. 调用脚本训练

    企业微信截图_e19d6636-3c27-42de-a576-7eafaea5054f 企业微信截图_6bd89d1a-5527-4193-bcb7-12638dc8c05b 企业微信截图_5fcaac7e-9f28-4943-8a62-59b3083984f9
  5. 调用脚本预测

    企业微信截图_5ec2cffe-3e85-473a-b0d4-8bb33b25d4bb
  6. 调用api训练和预测

    企业微信截图_6b406944-f6db-4ae2-bd9f-394df24e8217

    (成功创建任务并训练)

企业微信截图_ee5f056f-5ad9-4cbb-8bb3-f646264a1575

(成功预测)