Open scofield7419 opened 7 years ago
besides, 注意到validation.in、train.in、test.in的内容都是一样的,那么validation.in的作用是什么呢? train方法体中有# validation的片段。 是为了在训练完后立马与原语料对比验证各种参数的作用吗? 如果是的话,那么为什么不直接用train.in文件呢?
您好,我将你的3个char level输入文件改为我的word level输入文件,格式like this below: efforts O since O 4 O ……(格式都是这样,将近有4w行,中间没有空白行) 然后在BILSTM_CRF.py的forward()中的 (line 118) transitions = tf.reshape(tf.concat(0, [transitions] * self.batch_size), [self.batch_size, 6, 6]) 报错: ValueError: Cannot reshape a tensor with 28800 elements to shape [128, 6, 6] (4608 elements) 是维度转换不对, as I'm a beginer in tf,所以请教您,对于我的word level语料,出错的这个维度到底是指哪个地方的问题呢? 是不是因为输入文件格式没空行的原因吗? 谢谢!
您好,目前所困惑的是,BiLSTM与CRF的结合方式在代码上是如何进行的呢? forward( ) 是CRF的前向算法吧?
你好: 1、API的话,按照它的提示修改就行吧 2、validation.in、train.in、test.in这三个文件都是一些假数据,只是为了跑通程序,validation主要为了防止过拟合和调参等 3、输入文件中,每个样本之间需要用空行分割 4、BiLSTM与CRF的结合可以参考《Neural Architectures for Named Entity Recognition》,代码中的point_score是连接两个model的关键,可以仔细看看
hi,感谢答复! “输入文件中,每个样本之间需要用空行分割”:事实上,我的近有4w行的输入文件,其内容是连续的,并没有空行的。所以不知在何时做空行处理。您指的空行,应该是什么时机给呢?或者说,隔几行空一行呢?
Hi,如果说你的内容是连续的,那你的训练集就一个样本?这样不合理吧?建议可以把4w行的连续内容进行切分(比如按句号切分,按tab切分之类的)。假设最后切分得到4千个样本,则在每个样本后加一个空行,一共有4千个空行。
您好,我是tf beginer, 在我升级了tf到0.11后,tf库有不少的api有一些变化,主要是在BILSTM_CRF.py: from tensorflow.models.rnn import rnn, rnncell的包的改变, raise ImportError("This module is deprecated. Use tf.nn.rnn* instead.") 然而for me,因为对tf模型的不全面了解,要去手动改一些代码是比较困难的…… 您能否抽空指示一下tf版本升级后的代码改进呢:) 谢谢~