search

wenwenyu / PICK-pytorch

Code for the paper "PICK: Processing Key Information Extraction from Documents using Improved Graph Learning-Convolutional Networks" (ICPR 2020)
https://arxiv.org/abs/2004.07464
MIT License
556 stars 193 forks source link

这个项目能识别票据里有的标签（所有kay-value对），而不是仅识别出标定了的比如地址这样的项吗？ #7

Closed jingmouren closed 4 years ago

jingmouren commented 4 years ago

另外，支持不同排版的数据在同一个集合里训练吗？比如发票、收据、火车票在一个训练集里

wenwenyu commented 4 years ago

@jingmouren 模型识别key-value对的能力是根据数据集中标定的key-value对来决定的，训练集中如果未标注key-value对，则模型不会识别; 另一种情况是key-value样本量少，存在不平衡的情况，则模型的recall理论上会降低,导致模型不会预测出样本量少的key-value对。关于不同类型的数据集统一训练，目前的code没有进行过相关实验，这方向我们也有考虑和改进，后续工作会研究。

jingmouren commented 4 years ago

直接训练和识别 key-value对 的好处是，对版式相近（甚至就是比如某个版式扩充了几行）的情况， 相同位置的对能识别出 剩余的少数对的关联方式也是相似的，是不是也能用模型识别出来 另一个项目的issue https://github.com/microsoft/unilm/issues/183 的提议是再做二分类器，直接用图的方法能直接建模和提取吗？

wenwenyu commented 4 years ago

@jingmouren 您上述提到的LayoutLM是一个很好工作，但和本方法在侧重点上还是不同的。本方法不是要找出文档中所有key-value对的spans，而是直接识别出想要提取的value的spans，不需要进行二分类操作，这个过程中不会关联文档中哪个key和value对应（有种情况是提取的关键信息的value在文档中是没有对应key的，比如title），key是预定义的entity，也是在训练时就固定的。对于训练时没有标定的key对应的value，预测也不会被识别，即使在文档中有明显的key-value的关系。希望可以解答你的疑惑。

wenwenyu commented 4 years ago

I am going to close this issue due to no response. Please feel free to reopen or create a new one if you have more questions.

dreamhighchina commented 3 years ago

@jingmouren 您上述提到的LayoutLM是一个很好工作，但和本方法在侧重点上还是不同的。本方法不是要找出文档中所有key-value对的spans，而是直接识别出想要提取的value的spans，不需要进行二分类操作，这个过程中不会关联文档中哪个key和value对应（有种情况是提取的关键信息的value在文档中是没有对应key的，比如title），key是预定义的entity，也是在训练时就固定的。对于训练时没有标定的key对应的value，预测也不会被识别，即使在文档中有明显的key-value的关系。希望可以解答你的疑惑。 LayoutLM里面的时候再接个二分类是什么意思？？？所有的value都要接keys个二分类全连接？？？那模型岂不爆炸？？？是我理解的这个意思？？？大佬