[구현] OCR API output 전처리

[dudskrla]

OCR API output 전처리

1) 원본 이미지 2) OCR API에서 나온 bbox를 반영한 이미지

• 카테고리에 맞도록 bbox 영역을 수정하고, 텍스트 내용을 수정한다.

해야 할 일

• [x] bbox 수정

• [x] text 수정

• 📑 참고 : line parsing notion site

하위 이슈

6

[dudskrla]

방법1

1. 띄어쓰기와 높이 비율을 모두 고려하여 합치기

전체 텍스트를 대상으로

• 띄어쓰기

  # 접근1) 
  text_width = abs(point[0][0] - point[1][0])
  text_length = len(text) # 공백 포함한 글자수 
  
  space = text_width // text_length 
  
  단, space 는 두 단어의 space에 대해 min() 연산한 결과로 나온 space로 따진다 

• 높이 비율

  # 접근1)
  기준을 0.9 로 설정 

• 텍스트 변경

  • 한 글자씩 띄어쓰기하여 작성하고 있으나, 경우를 나누어서 곧바로 붙이는 것도 생각해보아야 할 듯

    • 뒷 텍스트의 맨 앞 글자가 sep에 해당 하는 경우 / 앞 텍스트의 맨 뒷 글자가 sep에 해당 하는 경우

    sep = "_:/.-@(),"

  • 띄어쓰기(공백이 글자수에 포함되므로)에 영향을 미침

2. 특수문자가 포함된 텍스트 합치기

• 띄어쓰기를 고려하여 + 특수문자가 포함된 텍스트 합치기

  • 단, 높이 비율은 생각하지 않는다
  

  • 위의 사진을 예시로 들면 ( . 을 기준으로 합쳐야 하는 경우)

    앞 뒤 텍스트의 높이 차이가 나는 경우도 합치는 것을 목표로 하므로

3. 이름/회사명 합치기

ex. |가| |나| |다| → |가 나 다|

• 바로 다음(혹은 이전) 글자와 높이 비율이 0.95 (기준 설정 필요) 이상이면 + 시작 y좌표가 같으면 (or 약간의 오차 (기준 설정 필요) 를 고려하여) 하나의 카테고리로 생각하고 합친다

  • 단, 너비 비율은 고려하지 않는다.

  예를 들어, 회사명의 경우 00 0000 → 글자수가 똑같을 것이라고 (너비가 꼭 같다고) 가정할 수 없기 때문

• 띄어쓰기도 고려할 필요 없다

4. 같은 카테고리끼리 합치기 😥

• 헤드와 텍스트 내용 합치기

  ex. |fax.| |000-0000-0000| → |fax. 000-0000-0000|

  • 카테고리 헤드가 한 글자인 경우 → 해결 (글자수를 '한 글자'로 지정)
  • 카테고리 헤드가 여러 글자인 경우 → 고민

• 분리된 텍스트 내용 합치기 → 고민

  ex. |(0000)| |00시 00구 00동| → |(0000) 00시 00구 00동|

[dudskrla]

방법1의 결과

Problem 1) 잘못 합쳐진 내용은 분리 2) 합쳐지지 않은 내용은 합치기

Solution

문제의 방향을 한 가지로 제한하고자, 잘못 합쳐지는 일이 없도록 작은 단위부터 합쳐나가는 방식을 떠올렸습니다.

[dudskrla]

방법2

1. 글자 단위

같은 단어에 포함되어야 하는 글자가 분리된 경우, 이를 합쳐줍니다

구현 내용

두 단어 사이의 간격이 한 단어의 세로 길이의 0.3 배 이하이면, 같은 단어 내에 포함된다고 가정하여 합쳐줍니다.

참고

차량 운행제한 공고 표지 설치규정 (단, 참고에서는 0.2배로 표기되었으나, 0.2배로 적용하면 합쳐지는 경우가 거의 없는 것으로 판단되어, 여기에서는 0.3배로 적용)

2. 글자 단위

이름/회사명과 같이 한 글자씩 간격이 넓게 벌어진 경우, 이를 합쳐줍니다.

구현 내용

1) 이름/회사명에 해당하는지 확인 2) 두 단어 사이의 간격과 폰트 세로 길이의 비율 확인

• (폰트 세로 길이 차이) / (두 단어 사이의 간격)
• 두 단어 사이의 간격이 가까울수록 폰트 크기의 차이를 더 엄격하게 비교하기 위함입니다. 가깝게 위치하더라도 폰트 크기가 다르다면, 다른 카테고리로 분류하기 위해서입니다. 3) 두 단어가 같은 줄에 위치하는지 확인 (y좌표 확인) 4) 두 단어가 같은 폰트 크기인지 확인

위의 조건을 모두 만족하면, 하나의 단어로 합쳐줍니다. (단, 한 글자씩 곧바로 합치는 대신, 각 글자를 모아서 추후 한 번에 합쳐줍니다.)

3. 단어 단위

같은 카테고리에 포함되어야 하는 단어가 분리된 경우, 이를 합쳐줍니다.

구현 내용

1) 두 단어 사이의 간격 <= 두 폰트 가로 길이 크기의 평균

• 기존에는 '두 단어의 폰트 가로 길이의 최솟값'으로 비교문을 작성했으나, 이렇게 조건을 설정하면, 단어 안에 숫자나 괄호와 같은 비교적 가로 길이가 짧은 글자가 다수 포함된 경우, 폰트 가로 길이를 제대로 반영할 수 없기에 예상된 결과가 나오지 않는다고 판단했습니다.
• 따라서, '두 단어의 폰트 가로 길이의 평균값'으로 비교문을 작성했습니다. 2) 두 단어 사이의 간격과 폰트 세로 길이의 비율 확인
• (폰트 세로 길이 차이) / (두 단어 사이의 간격)
• 두 단어 사이의 간격이 가까울수록 폰트 크기의 차이를 더 엄격하게 비교하기 위함입니다. 가깝게 위치하더라도 폰트 크기가 다르다면, 다른 카테고리로 분류하기 위해서입니다. 3) 두 단어가 같은 줄에 위치하는지 확인 (y좌표 확인) 4) 두 단어가 같은 폰트 크기인지 확인

위의 조건을 모두 만족하면, 하나의 카테고리로 생각하고 합쳐줍니다.

+ 글자 단위

특수 문자 한 글자가 존재하는 경우, 이를 제거합니다.

[dudskrla]

방법2의 결과

1. '잘못 합쳐진 내용은 분리' 문제 해결

• 회사명과 휴대폰 번호 분리

Before (방법1)

**After (방법2)**

### 2. '**합쳐지지 않은 내용은 합치기**' 문제 해결 - 회사 소개 : 다른데서는 절대 알 수 없는 특별하고 효율적인 교육 과정 > **Before (방법1)** > **After (방법2)** ### 결론 방법1에서 발생했던 두 가지 문제 모두 방법2에서는 개선되는 현상을 보였습니다.