search

axinc-ai / ailia-models-cpp

C++ version of ailia models repository
17 stars 2 forks source link

ADD japaneseCLIP #43

Open kyakuno opened 4 months ago

kyakuno commented 4 months ago

https://github.com/axinc-ai/ailia-models/tree/master/image_classification/japanese-clip

kyakuno commented 4 months ago 
    // ailiaTokenizerの出力は、末尾にSOTが含まれ、Paddingが含まれない
    // CLIPの場合は、SOTもAIモデルに渡す必要があるので、Paddingのみ行う
    // JapaneseCLIPの場合は、先頭にCLS IDを付与して、末尾のSOTを削除し、Paddingを行う必要がある

    // CLIPのトークンの例
    // 'dog' : [49406 = cls 1929 49407 = sot]
    // ailiaTokenizerの出力
    // 'dog' : [49406 = cls 1929 49407 = sot 0 = pad]

    // JapaneseCLIPのトークンの例
    // '犬' : [   4 = cls    9 1651    3 = pad ...]
    // ailiaTokenizerの出力
    // '犬' : [   9 1651    2 = sot]