2023/04/26 ~ 2023/05/10

mojh7 commented 1 year ago

다음 스터디

~2023-05-09 pm 09:20 화요일~ 2023-05-10 pm 09:20 목요일

정리 범위

12.1.2 ~ 12.1.2.2
12.1.2.3 ~ 12.1.3

github-actions[bot] commented 1 year ago

정리 범위 무작위 선택 봇 🔎

장현
단비

danbi5228 commented 1 year ago

12.1.2.3 검색어 확장 (QUERY EXPANSION)

검색어 확장: 사용자가 쿼리에 사용한 검색어로 검색된 결과에서, 공통으로 발견되는 단어들을 모아서 다시한 번 더 검색을 수행하는 방식
- 특정 키워드가 들어간 게시물을 찾고, 연관 있어 보이는 단어들을 뽑아서 다시 전문 검색 쿼리를 실행 (p.225-226 예시 참고)
사용되는 알고리즘: Blind query expansion
- 검색어 결과에서 자주 사용된 단어들을 모아서 다시 전문 검색 쿼리를 실행
원하지 않는 레코드까지 포함된 결과가 나오는 경우가 많고 이를 위해 전문 검색 쿼리를 불필요하게 많이 실행하게 될 수 있음

12.1.3 전문 검색 인덱스 디버깅

MySQL 예전 버전에서는 MyISAM 스토리지 엔진에서만 전문 검색 인덱스를 사용할 수 있었지만, 최근 버전은 InnoDB 엔진도 사용할 수 있게 개선됨에 따라 기능 제어 변수가 다양해졌고 일부 중요한 옵션을 추가하지 않는 경우가 많아지게 됨
이 외의 여러 이유로 전문 검색 쿼리가 원하는 결과를 만들어 내지 못하는 경우가 발생할 수 있게됨
전문 검색 인덱스의 경우 원래의 값을 그대로 사용하지 않고 가공하기 때문에 오류를 찾기 어려우므로 디버깅 기능을 제공하고 있음
참고: p.227 - 228
- 디버깅 설정: SET GLOBAL innodb_ft_aux_table = 'test/tb_bi_gram';
- 전문 검색 인덱스의 설정 내용 보기: SELECT * FROM information_schema.innodb_ft_config;
- 전문 검색 인덱스가 가지고 있는 인덱스 목록 확인: information_schema.innodb_ft_index_table
- 최근에 추가된 레코드의 전문 인덱스 칼럼 토크나이징 확인: information_schema.innodb_ft_index_cache
- 테이블에 레코드가 새롭게 추가되면, 서버는 전문 검색 인덱스를 위한 토큰을 분리해서 디스크로 바로 저장하지 않고 메모리에 임시저장함
- 이 때 사용되는 공간이 위 테이블이고, innodb_ft_cache_size 크기를 넘어서면 한꺼번에 모아서 디스크 파일로 저장함
- 테이블의 레코드가 삭제되면 어떤 레코드가 삭제됐는지, 어떤 레코드가 전문 검색 인덱스에서 삭제되고 있는지 확인: information_schema.innodb_ft_deleted

mojh7 commented 1 year ago

12.1.2 전문 검색 쿼리 모드

MySQL 서버의 전문 검색 쿼리

자연어(natural language) 검색 모드 (기본으로 선택됨)
불리언(boolean) 검색 모드

MySQL 서버에서 자연어 검색 모드와 함께 사용할 수 있는 검색어 확장 기능도 지원한다

12.1.1.1 자연어 검색

검색어에 제시된 단어들을 많이 가지고 있는 순서대로 정렬해서 결과를 반환한다

전문 검색 쿼리의 검색어에는 단일 단어외에도 자연어의 문장을 그대로 사용할 수 있다

문장을 그대로 검색어로 사용하는 형태를 메뉴얼에서는 Phrase Search 라고 한다

SELECT id, title, body
    MATCH(title, body) AGAINST ('MySQL manual is true guide' IN NATURAL LANGUAGE MODE) AS score
    FROM tb_bi_gram
    WHERE MATCH(title, body) AGAINST ('MySQL manual is true guide' IN NATURAL LANGUAGE MODE);

문장이 검색어로 사용되면

검색어를 구분자(공백, 뉴 라인 같은 띄어쓰기 문자)로 단어를 분리
n-gram 파서로 토큰을 생성
각 토큰에 대해 일치하는 단어의 개수를 확인해서 일치율을 계산

검색어 사용된 단어의 일부만 포함하는 결과도 가져온다

"."이나 "," 등과 같은 문장 기호는 모두 무시됨

12.1.2.2 boolean 검색

자연어 검색은 단순히 검색어에 포함된 단어들이 존재하는 결과만 가져오는데

불리언 검색은 쿼리에 사용되는 검색어의 존재 여부에 대해 논리적 연산이 가능하다

SELECT id, title, body
    MATCH(title, body) AGAINST ('+MySQL -manual' IN BOOLEAN MODE) AS score FROM tb_bi_gram
WHERE MATCH(title, body) AGAINST ('+MySQL -manual' IN BOOLEAN MODE);

MySQL를 포함하지만 manual은 포함하지 않는 레코드를 검색하는 쿼리이다

"+" 표시를 가진 검색 단어는 전문 검색 인덱스 칼럼에 존재해야 하며 "-"는 포함돼 있지 않아야 한다

222p 아래 예제를 보면 '+MySQL +manual' 두 단어를 모두 포함하는 레코드만 검색하는 쿼리를 보면 결과가 1건만 반환됐다

불리언 검색에서 쌍따옴표로 묶인 구는 마치 하나의 단어처럼 취급되어 처리된다

223p 위에 쿼리를 보면 '+"MySQL man"' 사용했는데 "MySQL man" 구문을 가진 레코드를 검색한다
띄어쓰기까지 정확히 일치하는 것을 찾는 것이 아닌 MySQL 단어 뒤에 man 이라는 단어가 나오면 일치하는 것으로 판단
'+"MySQL doc"' 를 사용한 쿼리는 MySQL와 doc이라는 2개의 단어가 순서대로 있는 레코드를 찾는데 해당하는 결과가 없어서 0건 반환됐다

불리언 검색에서 불리언 연산자("+", "-" 등)를 전혀 사용하지 않으면 검색어에 포함된 단어 중 아무거나 하나라도 있으면 일치하는 것으로 판단

'MySQL man' 이렇게만 사용하면 MySQL이나 doc 단어 중 아무거나 하나라도 일치하는 레코드 반환

불리언 연산자를 전혀 사용하지 않을 때 자연어 검색과 흡사하게 작동하지만 서로 다른 방식으로 일치율을 계산하는 차이점이 있다

주의

불리언 검색에서 와일드 카드 문자를 이용해서 패턴 검색 적용할 수도 있다

'sour*' 으로 검색하면 MySQL is best open source dbms 반환

하지만 n-gram 인덱스에 대한 불리언 검색에서 와일드카드가 아무런 효과가 없다

'sour' 로 검색해도 위에 결과와 똑같이 반환

이미 n-gram 전문 검색 인덱스의 경우 단어의 일부만 검색하는 기능을 지원하기 때문에 와일드카드 문자를 이용한 패턴 검색 기능이 필요치 않다

다른 연산자들

http://www.innodbcluster.com/?depth=120902

mojh7 / real-mysql-study