紙データの照合アプリ「OCR Check」

アプリURL：https://ocrcheck.com/

本アプリは閲覧可能ですが、照合機能は使用不可とさせて頂いております。
理由としましては、本アプリは社内向けに作ったものであり、照合に使うデータの外部への公開をできるだけ控えたいためです。
ドラフト時にデモで照合処理を行っているところをお見せしながら説明させていただけますと幸いです。

概要

わたしは治験の検査員を行っています。 認知機能検査の採点および入力（手書き）を行う業務があります。

その業務において、紙データとエクセルデータの照合に時間がかかる問題を抱えていました。

そこで、OCR技術を活用して、照合作業を効率化するアプリ「OCR Check」を開発しました。

どんな課題を解決するのか？

現状で以下3つの課題があります。

1ヶ月あたり190人、5ヶ月で合計およそ1,000人分のデータを2人体制でチェックしていました。

不一致の見落としがないように注意深く確認していましたが、それでもひと月200件のうち3〜4件ほど見落としがありました。

「どんなに注意してやっても、人力だと見落としが発生してしまう。自動化すれば見落としを防げるし、効率化できるのはないか？」 と考え、照合作業を自動化する方法を調べ始めました。

開発を始める前に行った事前ヒアリングや進捗レビューの内容は、こちらの記事で詳しく解説しています。

OCR Check事前ヒアリング・進捗レビュー・技術を選んだ理由

業務の流れ

業務の流れを順を追って説明します。 まず、被験者様と検査者によって検査が行われます。
検査が終わった時点では、得点は記入されていません。

いきなり検査用紙に得点を記入してしまうと、得点が間違っていた場合に何度も修正した跡が残ってしまうため、検査用紙を印刷します。
検査用紙のコピーと原本が採点チームに渡されます。

採点業務は、まず1人目が採点を行い、検査用紙のコピーに得点を記入します。
その後、2人目と3人目が採点を行います。
3人の得点が一致したらエクセル表に得点を入力します。

その後、検査用紙コピーに記入された得点とエクセルに入力された得点が一致しているかを確認し、一致していたら原本に転記します。

「エクセルに入力して検査用紙コピーと照合する」手順を踏む理由は、原本の正確性を担保するためです。

現状では、①検査用紙のコピーと②エクセルを印刷した紙を見比べて、一致しているか確認しています。
一致していなかったら間違っているほうの得点を修正します。

このように、一致していたらマーカーやチェックを入れて照合の結果を残していました。

アプリを使うとどう変わるか？

OCR Checkを使うと、今まで2人合わせて1時間20分かかっていた作業が15分で完了します。

照合作業が効率化されるだけでなく、ヒューマンエラーの防止や検査員の業務パフォーマンス向上が期待できます。

説明動画

動画で実際にどのように照合処理が行われているか説明しています。
下の画像をクリックしていただくと、YouTube動画が再生されます。

※動画では検査データにモザイク処理がかかっており内容がわかりにくいですが、デモではサンプルデータを使ってモザイクなしでお見せします。

※2倍速での視聴をおすすめします。（音量が小さい場合は誠にお手数ですが大きくして頂けますと幸いです）

照合結果画面

修正すべき不一致の件数と修正箇所が一目でわかります。

工夫したところ

検査用紙データから得点データを抽出するところで、抽出したい数値のみを抽出できず、何度もコードを書き直しました。

• /の後ろが1ケタの数値のときは/の直前の数値を取得
• /の後ろが30のときは/の直前とその前の値を取得

上記を実行するために、pメソッドで出力結果を確認しながらコードを修正していきました。

Google Drive APIのOCR技術によって、PDFファイルの中のテキストデータのみがテキストファイルに出力されます。
その中から得点データのみ抽出し、被験者ごとの配列に格納して照合するメソッドに渡すようにしました。

①検査用紙の得点と②エクセルの得点をそれぞれ被験者ごとの配列に格納して比較しようと考えました。

エクセルデータはRooライブラリを使って行ごとの配列に区切ることができましたが、検査用紙データは自分で設定する必要があったので、検査項目数で区切りました。

最終的に照合結果をどのように表示させるのがいいか悩みましたが、「被験者ごとに表形式で表示する」と決めたことで、[検査用紙データ, エクセルデータ, 照合結果]の形で出力することにしました。

使用した技術

• バックエンド
  • Ruby 3.3.0
  • Ruby on Rails 7.1.3.2
  • Apache(プロキシサーバー化)
  • Rubocop
  • Rspec
• フロントエンド
  • HTML/CSS
  • JavaScript
    一致しなかった項目に色をつける処理を実装しました。
• インフラ
  • Docker
  • AWS(EC2, VPC, Route53, ACM, ALB, WAF)
  • GitHub Actions CI/CDを自動化
• ライブラリ
  • google/apis/drive_v3
    PDFからテキストデータを抽出するために使いました。
    具体的には、PDFをGoogleドキュメント形式に変換し、Googleドキュメントからテキストファイルを出力することで、テキスト部分のみ抽出しています。
  • google/api_client/client_secrets
    Google Drive APIのOCRを活用するにはGoogle認証を通す必要がありました。
  • roo
    フォーム送信したエクセルデータから照合に必要な得点データを取得するために使いました。指定した列の値のみ配列に格納するようにしました。
  • high_voltage
    トップページを表示するために使いました。静的なページをコントローラを作らず表示できないか調べていて見つけました。

インフラ構成図