Implement tokenizer for stable diffusion

[kyakuno]

• StableDiffusionでailiaTokenizerを使用したPrompt設定に対応。
• live_preview引数を導入（previewが不要な場合はAEを実行せずに高速化）

  117

[kyakuno]

"a photograph of an astronaut riding a hors"の場合、従来の

49406 320 8853 539 550 18376 6765 320 4558 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 

が

49406 320 8853 539 550 18376 553 570 5215 320 71 1127 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 49407 

になり、微妙に挙動が異なる。

[kyakuno]

Pythonだと従来の方なので、Tokenizerが怪しい。

tensor([[49406,   320,  8853,   539,   550, 18376,  6765,   320,  4558, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407, 49407,
         49407, 49407, 49407, 49407, 49407, 49407, 49407]])

[kyakuno]

CLIPのSimpleTokenizerと、transformersのCLIPTokenizerで挙動が異なる？

[kyakuno]

ailia Tokenizerの方に問題があったため、ailia Tokenizerを1.1.12に更新。