검색 인프라를 구축한다.

[gracefulBrown]

• [x] ec2 배포
• [x] 인덱스 매핑
• [x] 벌크로 더미 데이터 구축
• [x] 검색 테스트
• [ ] 데이터 싱크 전략 - #355
• [ ] 보안그룹 설정 - 특정 ip만 허용하도록 하고 추후 고도화 하기

[gracefulBrown]

요약

• ec2에 도커 이미지를 활용하여 es + kibana 를 띄움
• es는 3개의 노드를 이용하여 클러스터를 구성함

도커 관련 특이 사항

• Running the Elastic Stack on Docker 문서를 참고하여 docker-compose.yml 생성
  • 추가 작업으로 ulimits 설정, max map count 수정을 함
• 한글 형태소 분석을 위한 nori plugin을 활용하기 위해 es image는 Dockerfile을 이용하여 생성

키바나 콘솔 링크

http://13.125.7.111:5601/app/dev_tools#/console

[seovalue]

인덱스 매핑

• number_of_shards: default (1)
• number_of_replicas: default (0)
• decompound_mode: default(discard)

  PUT studyLogDocument
  {
  "settings":{
    "index":{
      "analysis":{
        "tokenizer":{
          "nori_tokenizer_mixed_dict":{
            "type":"nori_tokenizer",
            "decompound_mode":"mixed",
            "user_dictionary":"user_dictionary.txt"
          }
        },
        "analyzer": {
          "korean":{
            "type":"custom",
            "tokenizer":"nori_tokenizer_mixed_dict",
            "filter":[
              "nori_readingform","lowercase",
              "nori_part_of_speech_basic"]
            }
          },
          "filter":{
            "nori_part_of_speech_basic":{
              "type":"nori_part_of_speech",
              "stoptags":["E","IC","J","MAG","MAJ","MM","SP","SSC","SSO","SC","SE","XPN","XSA","XSN","XSV","UNA","NA","VSV"]
        }
      }
    }
  }
  }
  }

//user_dictionary.txt

<-- 여기에 개발 용어를 등록하면 좋을 것 같은데, 어떤 것들을 등록하는게 좋을까요? -->

[gracefulBrown]

이렇게 적용해보았습니다~

PUT studylog-document
{
  "settings":{
      "index":{
        "analysis":{
          "tokenizer":{
            "nori_tokenizer_mixed_dict":{
              "type":"nori_tokenizer",
              "decompound_mode":"mixed"
            }
          },
          "analyzer": {
            "korean":{
              "type":"custom",
              "tokenizer":"nori_tokenizer_mixed_dict",
              "filter":[
                "nori_readingform","lowercase",
                "nori_part_of_speech_basic"]
              }
            },
            "filter":{
              "nori_part_of_speech_basic":{
                "type":"nori_part_of_speech",
                "stoptags":["E","IC","J","MAG","MAJ","MM","SP","SSC","SSO","SC","SE","XPN","XSA","XSN","XSV","UNA","NA","VSV"]
          }
        }
      }
    }
  }
}

[gracefulBrown]

개발 elastic stack : 13.125.7.111 운영 elastic stack : 52.78.77.119