search

OpenBMB / BMInf

Efficient Inference for Big Models
Apache License 2.0
572 stars 67 forks source link

QUESTION:请问如何从CPM2.1模型中提取出句向量(输入词则提取词向量) #26

Closed chenpe32cp closed 2 years ago

chenpe32cp commented 2 years ago

ctx = self.encode(np.array([idx]),[input_length]) 我提取ctx的hidden_states取平均作为句子的embedding，但发现这样做的效果不是很好，请问该如何使用CPM2.1正确的获取句子的特征表示呢？

a710128 commented 2 years ago

ctx.hidden_states的形状是(batch, dim_model, seq_len) 最后一维是序列长度，中间那维才是hidden state的维度。

chenpe32cp commented 2 years ago

ctx.hidden_states的形状是(batch, dim_model, seq_len) 最后一维是序列长度，中间那维才是hidden state的维度。

您好，之前理解不到位，抱歉，我更新了以上问题，请问该如何正确的获取句子的向量表示呢