language and model select pane

[shibukazu]

Related Issue

close https://github.com/openly-jp/whisper-ios/issues/188 close #203 close #228

What

• 認識開始前にモデルサイズおよび認識言語を選択する画面を追加

Memo

• 変更を可能な限り減らすように、一部のコードは非理想的な実装になっている

Todo

• [x] モデルサイズが変更された場合に限り、認識開始ボタンを押したときにモデルのロードを行う
• [x] モデルのサイズとUserDefaultのモデルサイズが異なることがないようにする（チェックマークはrecognizerに基づいて表示する）
• [x] ダウンロードされていないモデルが選択されていないときにモデルダウンロードを行う
• [x] モデルのおおよそのサイズを表示する
• [x] 最初のパネルのデザインを調整
• [x] モデル選択画面の各モデル名のボックスサイズをそろえる

[shibukazu]

言語・モデルごとに個別のsheetで設定するのではなく、Presetを選択するsheetを一つのみ表示する

[shibukazu]

上記の変更に伴い、ダウンロードはsheet内で行う

[yasutak]

バグ

• 設定画面からダンロードしたモデルが、サイドバーでダウンロード済みにならない (逆は表示される)
• ダウンロード開始後にモーダルを閉じて、また開くと、ダウンロードの進捗がリセットされる。(consoleからダウンロード自体は継続していることは確認済み)
• 既に選択済みのモデルをタップしても、モデル変更のポップアップが表示される

修正案

• tiny.en, tiny.multとbase.multiは精度が低いため候補から削除
• 容量をGBからMBに
• recommendedモデルの表記 (英日ともにsmall?)
• 録音開始ボタンはホームの赤丸とデザインを揃えた方が見た目がいいと思う。

[shibukazu]

@ooyamatakehisa 録音開始ボタンはいまのデザインが好みなのですが、どう思いますか？

[shibukazu]

修正

• [x] 設定画面からダンロードしたモデルが、サイドバーでダウンロード済みにならない (逆は表示される)
• [x] ダウンロード開始後にモーダルを閉じて、また開くと、ダウンロードの進捗がリセットされる。(consoleからダウンロード自体は継続していることは確認済み)
• [x] 既に選択済みのモデルをタップしても、モデル変更のポップアップが表示される
• [x] tiny.en, tiny.multとbase.multiは精度が低いため候補から削除
  • とりあえずtinyは消します
  • multi -> small, en -> base
• [x] 容量をGBからMBに
• [x] recommendedモデルの表記 (英日ともにsmall?)
  • バンドル済みのモデルに揃えます
• [x] 録音開始ボタンはホームの赤丸とデザインを揃えた方が見た目がいいと思う。
  • 横長ボタンを採用します

[shibukazu]

設定画面からダンロードしたモデルが、サイドバーでダウンロード済みにならない (逆は表示される)

これは現在のmodelLoadMenuItemsの設計では実現できないので大きく実装を変更します

[yasutak]

ExistModelっていう関数があるのでそれ使えばいけるはず。実装はダウンロード済みファイルのパスをチェックしてる。

[shibukazu]

解決するにはダウンロード結果を共有できるなんらかのStateとして管理できなければならない。そのためExistModel関数だけでは解決できないと思う。 現状だとサイドメニューと録音設定画面では異なるWhisperModelを参照している。 サイドメニューでダウンロード -> 録音画面で反映　が起きているのは録音画面を開き直すことでWhisperModelが初期化されているから。逆では初期化されないため反映されない。 解決策としては以下の２つ

• WhisperModelの配列をEnvironmentObject化する
• UserDefaultにダウンロード結果を管理する配列をもたせる

[yasutak]

WhisperModelのインスタンスが異なっても、sizeとlangが同じならダウンロード先のパスは同じになるはずでは?

[shibukazu]

Viewの書き換えが起きるのはStateの変化があった場合のみ モデルダウンロードが起きてもStateの書き換えは起きない

[shibukazu]

ダウンロード開始後にモーダルを閉じて、また開くと、ダウンロードの進捗がリセットされる。(consoleからダウンロード自体は継続していることは確認済み)

これもすごく難しい...sheetはサイドメニューと違って閉じるたびに再レンダリングされてしまうっぽいので・・・ workaroundとしてAppStorageを使用します

isDownloadingのみAppStorageを利用できたため、ダウンロードの進捗は消えてしまいますが、ダウンロード中であるという表示は継続的に表示されます。 progressValueのCGFloatについてはAppStorageを利用できないため、諦めます。（0%のままだと何度もTapされかねないので50%で固定します。）

[shibukazu]

今回の実装範囲ではこちらのissueに対処しています。 サイドメニューについてはサイドメニューからのモデル切り替えを禁止するor今回の実装と同様のチェックを行うことで回避可能です。 https://github.com/openly-jp/whisper-ios/issues/228

[shibukazu]

レビューに際して、ggml-base.en.binとggml-small.multi.binをResourcesに入れてください

[ooyamatakehisa]

@shibukazu いまのデザインってのは、その画像のデザインのこと？

[shibukazu]

@shibukazu いまのデザインってのは、その画像のデザインのこと？

そうです。この横長ボタンが僕のアイデアで、元の録音ボタンをこの画面でも表示したいというのが大戸くんのアイデアです

[yasutak]

まだコード読んでないんですが、ひとまず動作確認の結果です。

不具合

• [x] mac版だと、presetを選ぶ画面に移る前にクラッシュする (buildのtargetは添付画像のようにMac Catalystでお願い。これならIntel版Macでも動作する。)

  

• [x] (仕様かもしれんが)モデルの削除とサイドメニューを閉じるアクションが競合しててモデル削除ができない

  • 今回は対処しません。

• [x] (サイドメニューからロードできなくするんならいらないかもだが)サイドメニューからモデルを変更した際に、プリセットのデフォルトで選択されている組み合わせに緑のチェックマークがつかないことがある。動画を参照のこと

  • 今回は対処しません。refer https://github.com/openly-jp/whisper-ios/issues/228

• (https://www.youtube.com/shorts/Vc2UBbXRinU)。

改善案

• モデル容量が小数点第三位まで表示されてるけど、整数の方がいいと思う。

お願い

• 面倒だけど、新規追加されたテキストの翻訳を頼む。

[ooyamatakehisa]

@shibukazu 自分は正直どっちでもいいかなーという感じ。 じゅもんはどっちでもいいと思うけど、２回連続で赤丸押さないといけないの若干変な感じがするので、どっちかというと認識開始って表示のボタンが出るほうがいいかもと思ったらしい。

[shibukazu]

認識頻度の項目を削除

[shibukazu]

サイドメニューにおけるモデルロード機能を削除する

[yasutak]

ついでに新規ライブラリのライセンス追加も頼む🙇

[shibukazu]

英語環境向けのデザイン修正 デバイス言語に応じたデフォルトモデルの設定

[yasutak]

(記録のため) iPadでpartial sheetの開閉を繰り返すと、sheetが出なくなるバグあり。

[shibukazu]

iPadではsheetを表示するように変更 チェックマークのサイズを変更

[shibukazu]

isDownloadingがキルされた場合もtrueになり続ける問題に対処する