[20220923] Journal Club (PATE, G-PATE)

[capablebear]

G-PATE: Scalable Differentially Private Data Generator via Private Aggregation of Teacher Discriminators (NeurIPS 2021)

Motivation

• privacy budget이 낮을 때, 합성 데이터 utility의 손실을 초래. [dp-gan]
• 대부분의 합성 데이터가 teacher discriminator에 의해 잘못된 label이 지정되면, student discriminator는 편향된 dataset에 대해 train되고 실제 data distribution을 학습하는데 실패. [pate-gan]

Method

• 1) data_split: disjoint n data set(n=# of teacher)
• 2) train_discriminator: using real, fake data(generated by student data generator). calculate gradient(each teacher).
• 3) DP-gradient_aggregator: projected gradient vector. vote teacher. gradient clipping. adding noise restoring original dimension.
• 4) aggregate 결과 전달 to student generator. backprop(sgd).

Contribution

• 낮은 privacy budget에서도 높은 데이터 utility를 갖는 high-dimensional data를 생성/보존

[binable43]

Semi-supervised Knowledge Transfer for Deep learning from Private Training Data (ICLR 2017)

Motivation

• Problems : Implicit data memorization
  • private, sensitive training data can be recovered from model
  • Attack can proceed directly by analyzing internal model parameters
  • Also indirectly by repeatedly querying opaque models to gather data for the attack's analysis

Method

• Teacher model, Student model이 각각 존재
• Single Teacher, underlying data or parameter에 대하여 direct access 불가

Model Overview 1) Data를 N개의 set(Xn, Yn)으로 분할 -> N개의 dataset에 대하여 N개의 teacher classifier가 각각 훈련 2) Teacher classifier를 이용하여 data label 예측 3) Teacher classifier가 가장 많이 예측한 label을 실제 label로 간주 (=Aggregation) 4) 이를 활용하여 Unseen Public data의 라벨을 예측하는 Student classifier 훈련

Contribution

• Training data에 대하여 differential privacy 보장하는 PATE 방식 제안
• Teacher에 대한 Student의 dependency를 낮추기 위해 Semi-supervised learning method를 적용한 PATE-G 제안
• Moment accountant 도입하여 student training에서 의미있는 privacy bounds를 가지도록 함
• 다른 모델 구조, 다른 특성을 가진 dataset에 대하여 적용 가능 (Appendix C. Medical data based on Random Forest)

[binable43]

[질문 list]

• PATE-G
  • discriminator가 Real/Fake, Class 구분 어떻게 하는지 확인하기
• G-PATE
  • discriminator가 정확하게 어떤 역할을 하는지 확인하기
  • experiment 결과가 무엇을 의미하는지 확인하기
  • G-PATE Logistic Regression에서 실험 (a)의 input data가 무엇인지 확인하기