데이터 기초 통계 (with given Classifiers.csv)

[gowun]

• 서로 간 겹치는 컬럼 수
• Classifiers.csv 에서의 gene symbol 은 각 데이터 내에 얼마나 존재하는지
• 각 데이터 별 기초 통계
• Optimal Normalization Method 도출
• Normalization 후, 데이터 간 분포가 유사하다고 볼 수 있는 gene symbol 도출
• 최종 Output: 각 데이터 별 scaled data with filtered gene symbols

[gowun]

• 서로 간 겹치는 컬럼 수: 4개의 데이터셋에서 서로간 겹치는 컬럼수, 16999 mda_mvac: 81.98% from 20737 Gene Symbols mda_ddmvac: 81.7% from 20808 Gene Symbols meta_datasets: 36.94% from 46023 Gene Symbols amc: 69.49% from 24463 Gene Symbols

** 원 데이터의 컬럼수가 많을 수록, 적게 남는다.

[gowun]

• 서로간 겹치는 컬럼(intersect_cols)과 각 15개의 Classifier 간 겹치는 수(Reduced Classifier)와 비율 Metacore&GSEA target genes: [26, 0.8387096774193549] GSEA_R enrichment_all: [37, 0.9736842105263158] GSEA_R enrichment_intersection: [11, 1.0] BC Basal: [19, 1.0] BC basal-9gene: [9, 1.0] BC Luminal: [19, 1.0] BC Luminal-16gene: [16, 1.0] BC P53 pathway: [95, 0.9895833333333334] BC P53like: [19, 1.0] BC P63 pathway: [39, 1.0] Basal-squamous_ref.eau-cancer genome: [93, 0.96875] Luminal_ref.eau-cancer genome: [42, 0.9545454545454546] Luminal-infiltrated_ref.eau-cancer genome: [71, 1.0] Luminal-papillary_ref.eau-cancer genome: [23, 1.0] Neuronal_ref.eau-cancer genome: [94, 0.9690721649484536]

[gowun]

• 각 데이터 별 기초 통계(intersectcols 기준으로만 구함) https://drive.google.com/drive/u/0/folders/1z--nwS7r8hCNR40x4iqQh4ihBOHOu0- 아래의 mda_mvac.csv, mda_ddmvac.csv, meta_datasets.csv, amc.csv 참고 (여러번 등장하는 컬럼들끼리는 평균값을 취했습니다.)

[gowun]

• Optimal Normalization Method 도출
  • 9가지 scaling algorithms: log2, log2_minmax, standard, minmax, max_abs, robust, power, quantile, rankgauss
  • 프로세스
    1. 각 알고리즘 별로 4가지 데이터셋을 스케일링
    2. 스케일링된 4가지 데이터셋 간 pairwise check에서 서로간 충분히 분포가 유사하다고 판단되는 컬럼만 남김 : T-test for means of two independent samples 기반 p_value 1% 이상일 경우 데이터 분포 동일의 귀무가설을 기각하지 못함에 근거함
    3. 각 Reduced Classifier를 모두 포함하는 경우

standard: 16999 remains power: 16998 remains rankgauss: 16995 remains

** 셋 다 "되도록" gaussian 분포로 만들어주는 알고리즘

[gowun]

• 최종 Output: https://drive.google.com/drive/u/0/folders/1z--nwS7r8hCNR40x4iqQh4ihBOHOu0_- 내 scaled_datasets_3mths.pkl (python code로 내려받을 수 있음)