4, 5, 6 피드백

[lIms0]

0719 세미나 피드백

• 벡터의 내적 외 다른 곱셈 연산 알아보기
• 지도학습과 비지도학습
• 독립변수와 종속변수의 차이
• numpy, pandas에 대해 더 공부하기
• 베이즈 정리 장단점 알아보기
• 아이젠 벡터, 주 대각선 벡터가 왜 이렇게 생긴지 알아보기
• 확률 질량 함수와 확률 밀도 함수 차이
• 선형 대수학 사용 이유(행렬을 왜 사용하는지)
• 식은 몰라도 어떤 경우 사용하면 좋은지 알아보기
• 상관관계에 대해 알아보기
• 모르는 내용 빼기

[lIms0]

지도 학습

: 입력 데이터(x)와 타겟값(y)을 알고 있는 데이터를 학습하여 이들의 관계를 모델링하는 학습 방법

• x: 독립 변수 / y: 종속 변수
• 주어진 입력 데이터를 기반으로 학습을 수행하고, 이를 통해 새로운 입력 데이터의 타겟 값을 예측하거나 분류
• 새로운 데이터에 대한 타겟값을 예측하는 데에 사용
• 정답이 있는 데이터를 활용해 데이터를 학습시키는 것
• 입력 값(X data)이 주어지면 입력값에 대한 Label(Y data)를 주어 학습시킴
• 예) 개, 고양이를 분류하는 모델 생성과정과 예측 과정

분류

: 종속변수 Y가 이산형 변수(discrete variable)인 경우

• 이산형 변수: 특정한 값(가질 수 있는 값이 유한정)만 가질 수 있는 변수로, 각 값이 몇 번 나타났는지 셀 수 있다.
• 분류 모델이 만들어지기 위해서는 학습 알고리즘이 필요

회귀

: 종속변수 Y가 연속형 변수(continuous variable)인 경우

• 연속형 변수: 연속 범위 내에서 임의의 값(가질 수 있는 값이 무한정)을 가질 수 있는 변수

비지도 학습

: 타겟값(Y)이 없는 입력 데이터(X)만을 학습하는 방법, 입력 데이터에 내재되어 있는 특성을 찾아내는 용도

• 독립변수 X만을 가지고 학습하는 방법
• 종속 변수나 정답 데이터가 없으므로 입력 데이터의 패턴이나 구조를 발견하거나 그룹화하는 데 중점을 둠
• 데이터의 숨겨진 구조를 이해하고, 유사한 패턴이나 특성을 갖는 데이터를 그룹화하는 데 사용

비지도 학습의 종류

1. 군집화(Clustering): 유사한 포인트들끼리 그룹을 만드는 방법

2. 잠재 변수 모델(Latent Variable Model): 표현된 데이터 속에 내재되어 있는 요인을 찾는 것

   • 현재 데이터 속에 내재되어 있는 정보가 관측되지 않은 상태에서 z라는 내재되어 있는 변수를 찾아낸다.
   • 종류 1) 주성분 분석(Principal Component Analysis, PCA) 2) 특이값 분해(Singular Value Decomposition, SVD) 3) 비음수 행렬 분해(Nonnegative Matrix Factorization, NMF) 4) 잠재 디리슐레 할당(Latent Dirichlet Allocation, LDA)
     • ex) Topic Modeling: 문서에서 주제를 찾는 모델링
       • 주어진 문서에 존재하는 단어들의 분포를 보고 주제(latent variable)별로 분류하고, 해당 언어가 그 주제에 어느 정도 기여하고 있는지 알아낸다.

3. 밀도 추정(Density Estimation): 관측된 데이터를 이용하여 데이터 생성에 대한 확률 밀도 함수를 추정

   • 가우시안 혼합 모델(Gaussian Mixture Model, GMM): 정규 분포
   • 커널 밀도 추정(Kernel Density Estimation, KDE): '커널'이라고 하는 몇 가지 분포를 이용해서 데이터를 추정

4. 이상치 탐지(Novelty(or Anomaly) Detection): 다른 포인트들과 비교하여 많이 벗어나 있는 포인트를 찾아내기

   • 종류 1) Local Outlier Factor(LOF) 2) Isolation Forest 3) One-class Support Vector Machine(SVM)
   • 예)

5. 인공신경망 기반 비지도 학습

   • 예) Generative Adversarial Network(GAN)

[lIms0]

독립 변수

: 다른 변수에 영향을 받지 않음

종속 변수

: 독립 변수의 변화에 따라 어떻게 변하는지 알고 싶어하는 변수

독립 변수와 종속 변수는 인과 관계를 가지고 있다.

독립 변수: 원인 종속 변수: 그에 따른 결과 독립 변수와 종속 변수 모두 연속형 자료(예: 몸무게, 키, 성정 등)와 범주형 자료(지역, 성별, 학력 등) 모두 가능. 보통 독립 변수가 연속형 자료라면 공변량(Covariance)라 부르고, 범주형 자료라면 요인(Factor)라고 부름.

[lIms0]

베이즈 정리

: 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리

• 사전확률로부터 사후확률을 구할 수 있음

장점

• 사전 지식을 통합하여 데이터 분석에 활용할 수 있음. 초기에 가지고 있는 사전 지식을 사후 분포에 반영함으로써 정확한 결과를 얻을 수 있음
• 이전 결과를 수정하거나 갱신할 수 있음
• 사전 분포를 정의하고, 데이터를 통해 이를 업데이트하여 보다 정확한 확률 추정을 수행할 수 있음
• 확률 모델의 구축, 가설 검정, 예측, 분류 등의 다양한 분야에서 유용하게 사용될 수 있음

단점

• 베이즈 정리에서는 사전 분포를 선택해야 함. 사전 분포가 잘못 선택되면 부정확한 결과를 얻을 수 있음. 올바른 사전 분포 선택은 도메인 지식과 경험에 기반하여 이루어져야 함
• 수학적 계산이 필요하며 데이터와 모델의 복잡성에 따라 계산이 복잡해질 수 있음. 고차원 문제나 계산적인 한계가 있는 경우에는 계산에 어려움이 있을 수 있음

언제 사용하는가?

• 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용
• 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용됨
• 데이터가 부족하거나 새로운 상황에 대한 확률을 추정할 때
• 새로운 데이터가 발생하면 베이즈 정리를 사용하여 이전 지식을 업데이트하고, 사후 확률을 추정할 수 있음
• 사건 간의 관계를 역으로 추론하는 데 활용

• 확률임에도 귀납적, 경험적인 추론을 사용한다.
  • 귀납적 추론: 개별적인 사실들로부터 일반적인 원리를 이끌어내는 추론 방식
  • 연역적 추론: 전제로부터 결론을 논리적으로 도출하는 추론 방식

[lIms0]

확률 질량 함수 Probability Mass Function

: 이산 확률 변수 X의 분포를 나타내는 함수로 함수 값이 곧 확률이다.

• 이산 확률 변수: 셀 수 있는 확률 변수
  • ex) 동전의 앞면과 뒷면, 주사위의 눈 등

위 코드에서 'dice_values' 변수에는 주사위의 값 범위인 1부터 6까지의 값이 들어 있음. 'pmf' 변수는 주사위의 각 값에 대한 확률을 나타냄. 여기서 주사위가 공평한 경우로 각 값에 대해 동일한 1/6을 할당하였음. 'for' 루프를 사용하여 주사위의 값과 해당 값에 대한 확률을 출력함.

확률 밀도 함수 Probability Density Function

: 연속 확률 변수 X의 분포를 나타내는 함수로 함수의 넓이가 확률이다.

• 연속 확률 변수: 셀 수 없는(연속) 확률 변수
  • 온도, 시간 등

'x' 변수에는 연속 확률 변수의 값 범위가 들어 있음. 'mu'는 정규 분포의 평균이고, 'sigma'는 표준 편차임. 'pdf' 변수에는 정규 분포의 확률 밀도 함수를 계한아여 저장 그 후, 'plt.plot()' 함수를 사용하여 'x'와 'pdf'를 그래프로 표현

[lIms0]

선형 방정식을 역행렬을 사용하여 해를 구하는 법

• 위 코드에서 'A' 는 선형 방정식의 계수 행렬을 나타내는 2x2 numpy 배열.
• 'b'는 선형 방정식의 상수항을 나타내는 1차원 numpy 배열.
• 'np.linalg.inv()' 함수를 사용하여 'A'의 역행렬 'A_inv'를 계산.
• 'np.dot()' 함수를 사용하여 'A_inv'와 'b'의 행렬 곱을 계산하여 해 'x'를 얻음.

빅데이터, 데이터 사이언스에서 선형 대수학을 사용하는 이유

• 데이터의 구조와 관계를 이해하고 모델링하는 데 필수적인 도구
• 이를 통해 데이터의 처리, 변환, 분석, 예측 등 다양한 작업을 수행

아이젠 벡터 Eigenvector

: 해당 선형 변환에 의해 방향만 변경되고 크기는 변하지 않는 벡터

• 선형 변환은 벡터에 대한 변환 또는 변형을 의미하며, 행렬로 표현될 수 있음
• 선형 변환을 A로 나타내면, 아이젠벡터는 다음 식을 만족하는 벡터 v
  • A v = λ v
    • A: 변환 행렬
    • v: 아이젠 벡터
    • λ: 해당 아이젠벡터에 대응하는 아이젠값(Eigenvalue)

특징

• 선형 변환에 의해 변환되어도 방향이 유지됨. (변하지 않음)
• 크기가 변하지 않음. 아이젠벡터의 길이는 변환에 영향을 받지 않음.
  • 단, 아이젠 값은 스케일링 요인을 나타내므로, 아이젠값에 따라 아이젠벡터의 크기가 조절될 수 있음

• 주성분 분석(PCA)에서 주성분은 아이젠벡터로 표현되며, 아이젠값은 해당 주성분의 중요도를 나타냄.

[lIms0]

상관관계

• 두 변수 간의 관련성 또는 연관성을 측정하는 통계적 개념
• 일반적으로 상관계수(correlation coefficient)를 사용하여 상관관계를 나타냄
• 상관계수는 -1에서 1까지 범위를 가지며, 값의 부호와 크기에 따라 상관관계의 강도와 방향성을 나타냄
• 상관계수가 양수일 경우 양의 상관관계(두 변수가 함께 증가 또는 감소)
• 상관계수가 음수일 경우 음의 상관관계(한 변수가 증가하면 다른 변수는 감소)
• 0에 가까울수록 상관관계가 약해짐
• 인과관계를 나타내지 않으며, 두 변수 간의 관련성만을 나타내는 것

인과관계

• 한 변수가 다른 변수에 직접적인 영향을 미치는 관계
• 확인하기 위해서는 실증적인 연구 디자인, 실험 또는 복잡한 분석 방법이 필요
• 이를 통해 통계적으로 유의한 인과관계를 확인할 수 있음

상관관계와 인과관계는 다른 개념

• 상관관계가 있다고 해서 반드시 인과관계가 있는 것 xxx
• 인과관계를 확인하기 위해서는 심층적인 연구가 필요
• 데이터 분석에서는 상관관계와 인과관계를 구분하여 해석하는 것이 중요

[lIms0]