opendatalab / labelU-Kit

Data annotation component library --provided as NPM packages
https://opendatalab.github.io/labelU-Kit/
Apache License 2.0
61 stars 15 forks source link

音频标注建议增加自定义文字标注 #455

Closed monkeycc closed 7 months ago

monkeycc commented 7 months ago

现在只能标注 语音类型 但是 语音转文字 没办法进行标注

增加自定义文字标注 用户快捷键标注之后 显示 自定义 然后在右侧栏中 可以自定义各种文字

导出格式 {"audio_filepath": "/home/work/.cache/paddle/Libri/134686/1089-134686-0001.wav", "time": 3.275, "text": "你好很开心认识你"} 或者 001.wav 001.txt 你好很开心认识你

gary-Shen commented 7 months ago

从导出格式上看,在标签上增加一个文本描述的属性是否可以满足?

其中工具的配置可能是:

{
  "key": "语音转文字",
  "type": "string",
  "value": "recognition",
  "attributes": [{
    "key": "语音内容",
    "value": "content",
    "defaultValue": "",
    "required": false
  }]
}

导出格式可能是:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "content": "你好很开心认识你"
      }
    }
  ]
}
gary-Shen commented 7 months ago

如果是希望在右侧属性编辑框可以自定义保存的字段名,如:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "my_custom_field": "你好很开心认识你"
      }
    }
  ]
}

自定义my_custom_field,这样的形式目前不支持。

monkeycc commented 7 months ago

从导出格式上看,在标签上增加一个文本描述的属性是否可以满足?

其中工具的配置可能是:

{
  "key": "语音转文字",
  "type": "string",
  "value": "recognition",
  "attributes": [{
    "key": "语音内容",
    "value": "content",
    "defaultValue": "",
    "required": false
  }]
}

导出格式可能是:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "content": "你好很开心认识你"
      }
    }
  ]
}

这个可以,用户需要转换什么格式 可以自己看着转换

monkeycc commented 7 months ago

如果是希望在右侧属性编辑框可以自定义保存的字段名,如:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "my_custom_field": "你好很开心认识你"
      }
    }
  ]
}

自定义my_custom_field,这样的形式目前不支持。

语音识别 训练要这些数据 "my_custom_field": "你好很开心认识你"

希望以后能自定义 不一定在右侧属性编辑框

gary-Shen commented 7 months ago

从导出格式上看,在标签上增加一个文本描述的属性是否可以满足? 其中工具的配置可能是:

{
  "key": "语音转文字",
  "type": "string",
  "value": "recognition",
  "attributes": [{
    "key": "语音内容",
    "value": "content",
    "defaultValue": "",
    "required": false
  }]
}

导出格式可能是:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "content": "你好很开心认识你"
      }
    }
  ]
}

这个可以,用户需要转换什么格式 可以自己看着转换

文本描述的标签属性目前是支持的,可以试试看:

image

gary-Shen commented 7 months ago

如果是希望在右侧属性编辑框可以自定义保存的字段名,如:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "my_custom_field": "你好很开心认识你"
      }
    }
  ]
}

自定义my_custom_field,这样的形式目前不支持。

语音识别 训练要这些数据 "my_custom_field": "你好很开心认识你"

希望以后能自定义 不一定在右侧属性编辑框

从一个任务看,这个任务内的所有数据应该都需要这个 my_custom_field 字段吧?每个样本标注的时候都手动编辑添加这个字段似乎有点不方便。

还是说在这个任务内所有数据需要自定义的字段名都不一样?

gary-Shen commented 7 months ago

从导出格式上看,在标签上增加一个文本描述的属性是否可以满足? 其中工具的配置可能是:

{
  "key": "语音转文字",
  "type": "string",
  "value": "recognition",
  "attributes": [{
    "key": "语音内容",
    "value": "content",
    "defaultValue": "",
    "required": false
  }]
}

导出格式可能是:

{
  "toolName": "audioSegmentTool",
  "result": [
    {
      "id": "58gz4irdvip",
      "start": 4.2634441087613295,
      "end": 8.845921,
      "order": 1,
      "label": "recognition",
      "attributes": {
        "content": "你好很开心认识你"
      }
    }
  ]
}

这个可以,用户需要转换什么格式 可以自己看着转换

文本描述的标签属性目前是支持的,可以试试看:

image

419738a1-f0de-4deb-a8c1-86bc491faf42

效果如上。

monkeycc commented 7 months ago

这个可以

不过不是 识别内容 而是 标注内容 毕竟需要人工进行标注的

识别内容 可以考虑增加对接 本地语音识别的接口

gary-Shen commented 7 months ago

OK,上面的截图只是示意,字段名可以任意填写的。