search

PaddlePaddle / Paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）
http://www.paddlepaddle.org/
Apache License 2.0
22.09k stars 5.55k forks source link

demo: sequence_tagging, 预测部分有没有写好的demo. #559

Closed VamWolf closed 7 years ago

VamWolf commented 7 years ago

sequence_tagging 应该与其他的demo 不一样吧. 预测部分.有个解码的过程. 想看解码后的结果怎么搞.

VamWolf commented 7 years ago

补充个core 信息

I1122 15:04:58.418390 23108 Tester.cpp:257]  Pass=0 samples=6221 AvgCost=0 Eval: error=0.0911671 chunk_f1=0.92418 true_chunks=28483 result_chunks=28415 correct_chunks=26292 
*** Aborted at 1479798298 (unix time) try "date -d @1479798298" if you are using GNU date ***
PC: @     0x7f59c94fc674 std::thread::join()
*** SIGSEGV (@0x0) received by PID 23108 (TID 0x7f59ca1a8780) from PID 0; stack trace: ***
    @     0x7f59c9d82160 (unknown)
    @     0x7f59c94fc674 std::thread::join()
    @           0x6cf77c paddle::DoubleBuffer::~DoubleBuffer()
    @           0x6cf9b1 paddle::DoubleBuffer::~DoubleBuffer()
    @           0x6b15f1 paddle::PyDataProvider2::~PyDataProvider2()
    @           0x59d249 std::_Sp_counted_base<>::_M_release()
    @           0x59db4f paddle::Trainer::~Trainer()
    @           0x59136d main
    @     0x7f59c8ba7bd5 __libc_start_main
    @           0x59ce85 (unknown)
zhangjcqq commented 7 years ago

sequence tagging demo 做的是自然语言处理中的chunking任务，实际上是给每个词进行分类，标注一个tag，这个过程的目标是整个序列的标注是最优的。这个demo里没有预测部分。跟其非常类似的一个demo是semantic_role_labeling，同样是个序列标注问题，最后一层也是crf_layer，你可以参考该demo里的预测脚本写法。与crf_layer层相关的论文，可以参考这篇：https://arxiv.org/abs/1508.01991 。

VamWolf commented 7 years ago

semantic_role_labeling 论文里面接了crf layer ，但是demo 代码里面没用. 算了，把outputs ，改成decoding layer试试.

zhangjcqq commented 7 years ago

最近更新的srl demo是用的crf

luotao1 commented 7 years ago

最新的srl demo请见：http://book.paddlepaddle.org/index.cn.html 有预测接口，也使用了crf layer.