usagi / virtual-avatar-connect

配信支援アプリ Virtual Avatar Connect; VAC AI疑似人格共演者、VRM制御、音声認識、画像認識、字幕、翻訳、読み上げ、Twitchチャットなどなど
MIT License
5 stars 1 forks source link

/intput 画像認識 カラースポイトで文字色を抽出して前処理する機能 #1

Closed usagi closed 9 months ago

usagi commented 9 months ago

提案

提案の背景

背景と文字の色がやや近い場合に画像認識の精度が落ちやすい傾向にあります。

image

例としてジュラシックワールドエヴォリューション2のスクショを添付。全体的にこのデザインが使われており、文字認識精度は体感で85%程度とやや微妙でした。

現在はお試しとして Arknights の文字部分を前処理として抽出する設定をプルダウンから選べるようになっていますが、この方式では多様な対象に対応する上で設定作成も保守も、そして使用する際の選択も面倒になります。

そこで、対象によらずカラースポイントで文字として認識(残したい、強調)したい部分を色で指定して、前処理としてその色+閾値だけ残す前処理を行えるよう改修したら便利そうという提案です。

usagi commented 9 months ago

とりあえずなUIじゃができたぞい👀

使い方:

  1. 「色フィルター」の右側の色のサンプルのところをクリックすると、少々わかりにくいけどカラーピックモードになります。
  2. 画像から文字として前処理で残したい色をクリックします。
  3. 「色フィルター」のチェックをONにした状態で画像認識を動作させます。
image

『ジュラシック・ワールド/ 炎の王国』で世界を変えた出来事に続き、『ジュラシック・ワールド/ 新たなる支配者』の記念すべき物語につながる、臨場感にあふれたオリジナルストーリーを体験しよう。

比較用に色フィルターなしの場合:

image

『ジュラシック・ワールド/ 炎の王国』で世界宗取えた画来事に絹さ、 ` ブュラシック・ワールド / 新たなる支配者』の記念すべき物語につながる、臨場感にあふれたオリジナルストーリーを体験しよう。

usagi commented 9 months ago

指定色のR,G,Bに対する許容誤差も設定できるようにしておきましょう。

usagi commented 9 months ago

許容誤差設定UIもつけました。

image