data mining

[kyungmin-Earnest-Lim]

왜 데이터를 mining 하는지 -> 상업적 관점에서

• 많은 데이터가 모이고 저장되므로
• 컴퓨터가 싸지고 더 강력해져서
• 더 나은, 맞춤화된 서비스 제공의 필요성/압박 증대

왜 데이터를 mining 하는지 -> 과학적 관점

• 엄청난 속도로 데이터를 수집하고 저장한다.
• 기존의 방법으로는 실현 불가능하다.
• 그런데 데이터 마이닝을 사용하면 가능함

거대한 데이터 셋을 mining - motivation, 왜 하느냐??

• 손쉽게 명확하지않은 데이터의 숨겨진 정보가 있다.
• 유용한 정보를 얻는데 까지 많은 시간이 걸렸는데 데이터 마이닝으로 쉽게 얻을 수 있다.

what is data mining

• 데이터로부터 암묵적이고, 이전에 알려지지 않았으며, 잠재적으로 유용한 정보의 단순하지 않은 추출
• 의미있는 패턴을 발견하기 위해 대량의 데이터를 자동 도는 반자동 방식으로 탐색 및 분석

origins of data mining

• 머신러닝/딥러닝/ai/패턴인식 및 데이터베이스에서 아이디어를 도출한다.
• 데이터가 너무 많고, 데이터에 대한 고차원적 특성, 분산화된 데이터의 속성

data mining tasks

• prediction task

  • 다른 속송의 값들을 기반으로하여 특정 속성의 값을 예측
  • 예측해야 하는 속성은 목표 혹은 종속변수
  • 예측하는 데 사용하는 속성은 독립 변수라고 한다.

• description task (서술 작업)

  • 데이터에 숨어있는 관련성을 요약하는 패턴을 찾아내는것

4 types of data analytics

• 서술(설명)적 descriptive -> 내 비지니스에 어떤 일이 일어나고 있는지 가시화
• 진단적 diagnostic -> 왜 일어나고 있는지
• 예측적 predictive -> 다음에 어떤 일이 일어날지에 대한 가능성 예측
• 처방적 prescriptive -> 전략을 추천받을 수 있다. 내가 어떤것을 하는게 필요한지
  • champion - 기존 전략, challenger - 새로 나오는 전략
• 밑으로 갈수록 더 높은 가치와 난이도를 가진다.

classification (분류) 10 분류 입력 데이터로 인해 판단을 할 수 있는 모델 학습 데이터로 분류에 도움을 ..

decision tree tax income

13 직접 마케팅 직접 소비자에게 판매하는것을 위한 마케팅 그러기위해 메일을 보내기 위한 비용 줄이는것 관련된 여러가지 정보를

14 사례 사기거래인지 아닌지 예측하는것 사기 또는 공정한 거래인지 라벨링 시키는것 실제 신용카드 분류를 통해서 사기인지 아닌지 확인

15 빼앗기는 고객을 예측 분류 사례

16 우주 관측 사진 카탈로그화시킨다.

18

[kyungmin-Earnest-Lim]

25 antecedent 선행되는것

26 목표 - 함께 구입한 것 식별 접근 - 판매한 상품 데이터 종속성찾기

27 재고관리 목표 - 제품수리와 관련된 접근 - 이전의 필요했던 부품들을 가지고 수리하는 수요 조사

28 서열형 데이터 - temporal data라고도 한다

• 상대적인 시간정보가들어가고

29 regression 신재품 판매량 예측 적용 사례로 예측

30 이상치 감지 얼마만큼이 평균에서 나와있는지

31 데이터 품질 데이터 소유권, 그리고 privacy 등등

[kyungmin-Earnest-Lim]

basic association part 1 / 11.23 12주차

candidate의 수를 줄이는 것 apriori principle

• 어떤 항목 집합이 빈발하다면, 그 항목 집합의 모든 부분 집합도 빈발함