search

mczhuge / Kaleido-BERT

💐Kaleido-BERT: Vision-Language Pre-training on Fashion Domain
MIT License
263 stars 19 forks source link

预处理 #9

Closed Ji-Mingkuo closed 3 years ago

Ji-Mingkuo commented 3 years ago

请问可以开放一下图文预处理模块、token对齐模块吗？

mczhuge commented 3 years ago
  1. 近期会把图像部分预处理release
  2. 文本预处理请参考bert tokenizer
  3. 对齐模块利用在电商数据集上重训练的SAT网络产生热力图，并以此为依据粗糙的对齐image patch和word token。生成的对齐很粗糙，近期我们在想办法设计更为实用的对齐模块。