エロ画像がアップロードされないようにしたい

sugizakikun commented 2 months ago

目的

アプリの治安維持のため。現代の春画は勉強と関係ございません！！！！！！！

使うもの（候補）

Google Cloud Vision
https://github.com/EugenCepoi/nsfw_api

sugizakikun commented 2 months ago

管理コスト、運用コストを加味した結果こっちに決定。

AWSで統一させたほうが良い
Fargateを使えば使った分だけお金を払えば良いため

https://github.com/EugenCepoi/nsfw_api

sugizakikun commented 2 months ago

ローカルで春画検出APIを使えるようにする。コンテナの利便性をここで享受する。

docker run -it -p 127.0.0.1:5000:5000/tcp --env PORT=5000 eugencepoi/nsfw_api:latest

春画のURLをリクエストパラメータとした場合

普通の画像のURLをリクエストパラメータとした場合(猫ちゃんの画像だよ)

sugizakikun commented 2 months ago

で、これをAWSのECSにアップしてEC2からもアクセスできるようにする

sugizakikun commented 2 months ago

ECRにログインする

aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 211125705600.dkr.ecr.us-east-1.amazonaws.com

引っ張ってきたdocker-image(eugencepoi/nsfw_api:lates)にECRのURIをタグ付けする.

docker tag eugencepoi/nsfw_api:latest xxxxxxxxxxxxx.dkr.ecr.us-east-1.amazonaws.com/detect-noodie-image:latest

引っ張ってきたイメージをECRにpushする

docker push xxxxxxxxxxxxx.dkr.ecr.us-east-1.amazonaws.com/detect-noodie-image:latest

sugizakikun commented 2 months ago

basic認証が必要と言われた・・・ぴえん

sugizakikun commented 2 months ago

GPT先生に聞いてみたらECR単体じゃ動かないみたい・・・ ECSかFargateとの連携が必要らしい。

AWS ECR にコンテナイメージをプッシュした後、そのイメージを実際に使えるようにするためには、コンテナを実行するための環境が必要です。AWS では、そのために以下のサービスを使用します：

と言うことでFargateの設定をする。 ECRリポジトリにプッシュしたイメージをECS Fargateで起動する

sugizakikun commented 2 months ago

期限付きだけどS3に保存されている画像についても解析は可能。

sugizakikun commented 2 months ago

今後の備忘録として記事を書いてみる。

https://qiita.com/sugichaaaan/items/738867e4bc3a1a0077d9

とりあえずAWSとの連携は完了した 💪🏻

sugizakikun commented 2 months ago

考慮すべきこと

APIレスポンスの異常系を考慮せねばばば

APIロジック


    /**
     * @param $s3Path
     * @return float
     */
    public function calculateNsfwScore($s3Path) :float
    {
        $prefix = 'http://'.config('fargate.task_ip_address').':5000';
        $suffix = '/?url='. urlencode($s3Path);
        $endPoint = $prefix.$suffix;

        $jsonString = $this->httpClient->get($endPoint);
        $jsonArray = json_decode($jsonString, true);

        return  $jsonArray['score'];
    }

エラー時のAPIレスポンス

array:3 [▼ // app/Http/Services/Profile/UpdateProfileImage.php:75
  "error_code" => 500
  "error_reason" => "cannot identify image file <StringIO.StringIO instance at 0x7fb9d1869248>"
  "url" => "https://pictures-local.s3.amazonaws.com/zhgvyzc622skskgo80gggg8c.png"
]

sugizakikun commented 2 months ago

出力形式の統一(構想段階)

やっぱNSFWを使うのなら出力用のドメインクラスを作って出力形式を揃えた方が良さげ。プロフィール画像に限らずカテゴリにも画像を設定することがあるから！

NsfwOutputDomainクラスでも新しく作るかぁ

引数

errorCode: エラーコード。正常系なら200, 異常系の場合は4xx, 500を返す。
message: メッセージ。パターンは以下の通り(※1)。
nsfwScore: 正常系ならAPIで検出したスコアを設定する。異常系なら999.999(あり得ない数値)を設定する。

NsfwOutputDomainのmessageの値(※1)

正常系の場合

Case1: nsfwが0.8未満の場合

Profile image uploaded successfully.

Case2: nsfwが0.8以上の場合

# 「不適切な画像のアップロードが検知されました。」という意味だよ〜
'Inappropriate image upload detected.

異常系の場合

エラーコードによらず$jsonArray['error_reason']の値を表示する。

sugizakikun commented 2 months ago

いや・・・やっぱ正常系と異常系で出力形式は分けるべきかなぁ・・・？ Controllerのreturnの段階でinstance ofによる場合分けをするだけで良さそうだし・・・。

正常系

NsfwResponseDomain

score: float型。APIで計算された値を設定する。
message: string型。scoreによりメッセージの出し分けを行う。(※1)
url: string型。解析対象の画像URLを設定する。

scoreによるメッセージの出しわけ(※1)

Case1: nsfwが0.3未満の場合

画像のアップロードが完了しました。

Case2: nsfwが0.3以上でかつ0.8未満の場合

画像のアップロードが完了しました。
(※ただしサムネイルにぼかし処理が入ります。)

Case3: nsfwが0.8以上の場合

不適切な画像のアップロードが検知されました。

異常系

NsfwErrorResponseDomain

errorCode: int型。エラーコードを返す。
errorMessage: nsfwAPI側で出力されたエラーメッセージを設定する。
url: string型。解析対象の画像URLを設定する。

sugizakikun commented 2 months ago

実現できたのでこのissueはcloseします！🐱 Fargate最高！

sugizakikun / docker-laravel