Fake Resume Attacks: Data Poisoning on Online Job Platforms

World Wide Web' 24 Michiharu Yamashita, Thanh Tran, Dongwon Lee

ABSTRACT

オンラインの専門的な求人プラットフォーム（LinkedinやIndeedなど）におけるデータ汚染攻撃（Data Poisoning attacks）はほとんど知られていない
この研究では、初めてオンライン求人プラットフォームにおける求職者と企業のマッチングというHRラスクに見られる重大な着尺性を示す
以下の三つの攻撃しなりを実証している　- (1)企業昇格攻撃（company promotion attack）: 特定の企業が推薦される可能性を高める攻撃　- (2)企業降格攻撃（company demotion attack）: 特定の企業が推薦される可能性を低下させる攻撃　- (3)ユーザ昇格攻撃（user promotion attack）：特定のユーザが特定の企業にマッチングされる可能性を高める
- データ汚染を通じてシステマティックな予測エラーを誘発するFRANCISという「フェイク履歴書」生成フレームワークを開発しました。
実験により、データ汚染攻撃が求職者と企業のマッチングの結果を顕著に歪めることが明らかとなった。　- 基盤となるモデルに関わらず、データ汚染の強度に比例して脆弱性が増幅される
フレームワークはこちらのURLから： https://github.com/mickeymst/FRANCIS

INTRODUCTION

現状 (1)求職者が複数のアカウントを簡単に作成できる（ただし利用規約に違反する行為であることは前提である） (2)求職者が履歴書に偽の経験を書き込むことができる (3)多くのユーザのキャリア経路は自己申告であり、公式文書でその正当性を検証するコストが高いため、ほとんど検証されていない
2022年に、1,000人の存在しない中国のSpaceXエンジニアが偽のプロフィールでLinkedInに登録されてる出来事があった
ABSTRACTで書かれていたことがちらほら
貢献 (1) FRANCISはオンライン求人プラットフォームにおけるデータ汚染攻撃の脆弱性を初めて実証 (2) 新しい攻撃シナリオとデータ汚染フレームワークを提案し、現行のオンライン求人プラットフォームの脆弱性に焦点を当てたフェイク履歴の生成 (3)広範な実験により、ごくわずかなデータ汚染でも、キャリア予測の結果を変化させることができる

RELATED WORK

こういった攻撃に関する危険性の先行研究があるよー
HRではこういうところに機械学習を使ってますよー

PRELIMINARIES（事前の？予備の？）

仮定

商業利用されているモデルの詳細にアクセスすることは難しいため、ブラックボックスアプローチを使用する　- モデルの内部構造を直接確認せずに利用すること

具体的には以下。 (1)攻撃者にとっては、対象予測モデルの具体的なパラメータやアーキテクチャは不明とする（ブラックボックスアプローチ）。 (2)攻撃者は、プラットフォームのセキュリティメカニズム（例：フェイク履歴書のフィルタリング）に検出されるのを回避するため、限られた数のフェイク履歴書しか注入できないとする。 (3)求人プラットフォームにアカウントを作成することは比較的簡単で安価であるとする。 (4)信頼性を確保するために、攻撃者はフェイク履歴書を正当な企業と関連付ける必要がある。 (5)プラットフォーム上のすべてのユーザープロフィールは、現実世界の設定でのプロフェッショナルプロフィールの可視性を反映して、攻撃者にアクセス可能であるものとする。

攻撃シナリオ

図2内で赤色で示されているものが攻撃シナリオ　- モデルの予測結果の配信段階に焦点を当てている　- 具体的には、元々予測された企業 𝑋 を目標企業 𝑌 に変更し、それによって求職者に対する 𝑌 の可視性や特定のユーザーがリクルーターのショートリストで目立つことを影響させることを目的とする具体的には以下 (1) 企業昇進攻撃
特定の企業 𝑋 を対象にし、𝑋 を求職者に推奨される可能性を人工的に増加させる。
小規模企業はしばしば大手で知られる企業に対して人材を引き付けることが難しい。そのため、攻撃者は「一定の金額で、貴社の企業を以前の2倍の求職者に適合するようにできます」という昇進サービスを提供するかもしれません。つまり、攻撃者の目標は対象企業の命中率を最大化することです。キャリア予測モデルが各ユーザーに対して𝑁 企業を推奨するとします。攻撃後、これらの対象企業がユーザーの上位𝑁 企業推奨の中に含まれる割合を示します。攻撃後、はるかに多くのユーザーがこれらの対象企業を上位𝑁 企業の推奨リストの中で見つけることができるようになります。 (2) 企業降格攻撃
企業昇進攻撃の逆です。企業の推奨率を減少させ、対象企業を降格します。実現可能な動機は、企業間の競争であり、1つの企業がプラットフォーム上で他の企業の存在感を弱めたいと考える場合です。 (3) ユーザー昇進攻撃
GoogleやMicrosoftなど特定の企業で働きたいと強く希望しているユーザーでも、必要な資格や経験が足りない場合があります。したがって、これらの求職者がGoogleやMicrosoftのリクルーターに推薦される可能性は低いです。そのため、この攻撃は特定の企業のためにユーザーを昇進させることを目指しており、モデルの出力を操作し、対象ユーザーが対象企業に提供されるショートリストに含まれるようにします。ショートリストシステムは各企業に対して𝐾 ユーザーを含みます。目標はショートリストでの平均表示率を最大化し、対象企業の中で上位𝐾 推奨に対象ユーザーが含まれる割合を示します。

ユーザー降格攻撃には本論文の主な議論では焦点を当てません。これは攻撃者に直接的な利益を提供しないため、実現確率がかなり低いためです。ただし、完全性のために、ユーザー降格のケースを付録Fで提示しています。

データセット

FutureFit AI2
アメリカ合衆国内で少なくとも5つの正当な職務経験を持つ求職者の履歴書をランダムにサンプリング
データセット選択をテクノロジー（Tech）およびビジネス（Business）セクターの2つのドメイン
前処理　- すべての履歴書の職名をジョブタイトルマッピングモデルを使用して標準化し、ESCOベースの標準化されたポジション名に変換　- ESCOスキル定義を活用して、テクノロジーおよびビジネスセクタに関連するポジションのみを残すために、ポジションをフィルタリング　- データを精製するために、履歴書データセット内で1度しか表示されなかった企業をフィルタリング
従業員数が200人未満の企業を「小規模」、1万人以上の企業を「大規模」としてラベル付け

FAKE RESUME ATTACK FRAMEWORK

$D^*$: フェイク履歴書データセット、元のデータともにモデルのトレーニングに使用されることで、攻撃者は望ましい動作を達成するのに役立つ $D = {(x_i, yi)}^N{i=1}$: キャリア履歴データ$x_i$とそれに対応する次の企業$y_i$を含むデータセット。 $y_i$ は $M$ 個の可能な企業 $Y$ の集合に属する。キャリア予測モデル $f: x → Y$ は、パラメータ $\theta f$ によってパラメータ化される

3つのユニークなモジュールからなる

Probabilistic Job Trajectory Generator（確率的職業経歴生成器）

現在の時点までに生成された職業履歴$x_{past}$
ランダムな潜在変数 $z$
合成職業データ$x^$の各トークンは、各時間ステップ $t$ で事前に定められた最大シーケンス長 $T$に到達するまでの条件付き確率関数に基づいて算出される $$x^ = G(X_{past}, z:\theta_G)$$ $\theta_G$ は生成器モデル $G$ に固有の学習パラメータ
目的関数は以下のようになる（ $x{past}, i$ はデータセット内の $i$ 番目のサンプルに対応する以前に生成された職業履歴） $$\min{\theta G} \frac{1}{N} L(f(G(x{past, i}, z; z\theta{G})), y_i) $$

Reality Regulation（現実調整）

説得力のある合成職業経歴を作成するために、提案されるアプローチは基礎となるグラフ構造に忠実らしい
職業移行グラフの構築を行い、ユーザーの職業移行を表すノードを企業が表し、エッジが企業間の移行を表す
キャリアパスの生成において、シーケンス内の各職業はグラフ上で𝑛歩以内で隣接または到達可能である必要がある $$\forall c_i, c_j \in x^*: \text{distance}(c_i, c_j) \leq n \quad $$
$\text{distance}(c_i, c_j)$ はグラフ内の2つの企業ノード $c_i$ と $c_j$の最短パス長を計算
大規模Tech企業の平均次数は42.89、大規模Business企業の平均次数は36.10（表2）
小規模Tech/Business企業の平均次数は約4であり、すべてのTech/Business企業の平均ノード次数は約8
グラフ内の平均ノード次数は大企業と小企業の間で異なる

Attack Module

敵対的な生成器𝐺を操作して合成履歴書を生成し、キャリア予測モデルの結果に意図的に影響を与える
キャリア予測のためのサロゲートモデル（物理シミュレーションを機械学習で代替する手法で、CAEモデルと同様の情報を入力として与え、荷重変位曲線やひずみ分布などを出力）$f$ を設計し、その結果を実際の未知の被害モデルに使用。

$$ L(f(x_i; \thetaf)) = - \sum{c=1}^{C} y_{ic} \log(f_c(x_i; \theta_f)) \quad $$

$C$ : 企業の数
$f_c$ :企業 $c$ の予測確率
以下を最適化したい $$\min_{\theta_G} L^*(f(G(x_i; \theta_G)))$$

目的関数

攻撃シナリオに応じた目的関数を定義します。攻撃者の目標は、各シナリオに関連する目的関数を最適化することで、現実的な偽の履歴書を作成することです。

企業昇格攻撃: 目的は、できるだけ多くのユーザーに対してターゲット企業が予測される可能性を最大化することです。企業降格攻撃: 目的は、サロゲートモデルの予測におけるターゲット企業の可能性を最小化することです。ユーザー昇格攻撃: 目的は、特定のユーザー（または履歴書）がターゲット企業と関連付けられる可能性を最大化することです。

Surrogate Model

キャリア予測タスクには、最先端のモデルとともにRNNモデルを採用しています。LSTMアーキテクチャを用いて、ユーザーの将来のキャリアシフトを示す複雑なパターンを捉えます。

EVALUATION

5.1.1 攻撃パフォーマンスこのセクションでは、実際のデータセットを使用してFRANCISおよびベースラインモデルの評価結果について議論します。評価は以下の研究質問（RQ）に対処することを目的としています：

RQ1: キャリア予測モデルをデータポイズニングすることは可能か？ RQ2: FRANCISの偽履歴書攻撃はベースラインアプローチと比較してどのように機能するか？ RQ3: 偽の履歴書を注入することがキャリア予測のパフォーマンスにどの程度影響を与えるか？

RQ1およびRQ2に対応するため、さまざまなターゲットモデルに対する攻撃の有効性を評価します。

攻撃成功度の測定: キャリア予測におけるデータポイズニング攻撃の文脈で、ターゲットの昇格または降格の成功率を測定するために、元のモデルの平均ターゲットヒット率（HR）の改善率（IR）を使用します。ターゲット企業およびユーザーの選択: 企業昇格および降格攻撃では、「小規模」および「大規模」企業からランダムに100社をサンプルし、平均IR@10を測定します。ユーザー昇格攻撃では、「大規模」企業をターゲットに設定し、特定ユーザー（「大規模」企業を経験したことのないユーザー）およびランダムユーザー（全ユーザーの20％）のHR@10を測定します。

ターゲット被害モデル: キャリア予測モデルとして、最先端の3つのモデル（NEMO、AHEAD、NAOMI）をターゲットに設定します。

ベースライン攻撃モデル: FRANCISと既存の最も互換性のある方法を比較します。

ランダム攻撃: ランダムに生成された職歴を挿入。人気攻撃: 頻繁に登場する企業の上位10％から職歴を生成。 GPT-4攻撃: GPT-4を使用して、現実的な職歴を生成。 DQN攻撃: 目標のジョブの重要性とランクに基づいてトレーニングされたDQNモデルを使用（昇格攻撃のみ）。 5.1.2 偽の履歴書注入が下流タスクのパフォーマンスに与える影響偽の履歴書を注入する際の課題は、実際の履歴書と区別がつかないようにすることです。データポイズニング後のキャリア予測が大幅に変わると、システムに検出されやすくなります。RQ3に対応するため、データポイズニング前後のキャリア予測のパフォーマンス変化を比較し、ベースライン攻撃モデルと比較してどれだけ影響を与えるかを調査します。

RQ1

表3、表4、および表5は、企業昇格攻撃、企業降格攻撃、およびユーザー昇格攻撃の結果を示しています。これらの表では、ターゲット被害モデルとしてLinkedInのキャリア予測モデルであるNEMO [16] を使用し、現実規制モジュールに3つのステップを設定しました。

全体的な結果: 表3から表5の結果は、データセット（技術およびビジネス）、攻撃シナリオ、ターゲット企業、注入率、および攻撃方法に関係なく、キャリア予測におけるデータポイズニングによる脆弱性があることを明確に示しています。脆弱性はポイズニングの強度に比例して増大します。特に、0.1％や1％のような最小限の注入でも、モデルの期待される挙動に大きな影響を与える可能性があります。

図4は、FRANCISによる攻撃を受けた場合の各被害キャリア予測モデルの改善率の比較を示しています。ここでは、「小規模」企業をターゲットにした技術データセットを使用しました。各モデルが成功裏に攻撃され、注入率が増加するにつれて脆弱性が増大することが観察されます。次のセクションでは、NEMO [16] における各特定の攻撃設定についてさらに詳しく議論します。

RQ2

企業昇格攻撃:

小規模企業ターゲット: 10%の注入でFRANCISはTechデータセットで23.17、Businessデータセットで10.48の改善率を達成し、Tech領域では最高のベースラインの2.9倍、Business領域では2.1倍の改善を示しました。0.1%の注入でも、Tech領域でDQNを8.2%上回り、Business領域でGPT-4を13.9%上回りました。大規模企業ターゲット: FRANCISはすべてのベースラインを上回りましたが、その影響は減少しました。0.1%の注入で、Tech領域でGPT-4を12.1%上回り、Business領域でGPT-4とDQNを3%上回りました。5%の注入率では、Tech領域でベースラインの2.8倍、Business領域で2倍のパフォーマンスを示しました。ランダム企業ターゲット: 1%の注入で、Tech領域でGPT-4を9.7%、Business領域でDQNを41.9%上回りました。 GPT-4が生成した履歴書は、大規模企業やランダム企業に対しては効果的でしたが、小規模企業に対しては逆効果でした。これは、GPT-4が著名企業のデータに基づいてトレーニングされているため、小規模企業向けの内容を生成する能力が劣ることが考えられます。

企業降格攻撃:

小規模企業ターゲット: 攻撃が成功し、ヒット率が大幅に減少しました。大規模企業ターゲット: 10%のデータポイズニングでも改善率は0.93から0.94程度と控えめでした。これはデータセット内の大規模企業の優位性に起因し、モデルが予測結果の低下に対して強靭であることを示しています。ランダム企業ターゲット: 影響は中間程度でした。ユーザー昇格攻撃:

ターゲット企業: 大規模企業ターゲットユーザー: 特定ユーザーおよびランダムユーザー小規模な注入率（0.1%）では、観察可能な変化は最小限でしたが、1%以上の注入でHR@10は1.5倍以上の改善を示しました。特定ユーザーは、大規模企業の経験がないことが特徴です。ランダムユーザーに比べて改善率は低く、大規模企業の経験がないことに起因します。一方、Techデータにおけるランダムユーザーでは、データポイズニング後にヒット率が大幅に向上しました。これは、大規模企業との関連予測が他の大規模企業の経験によって大きく影響されることを示唆しています。

RQ3

偽の履歴書の注入がキャリア予測に与える影響を評価します。表6には、偽の履歴書攻撃前後のキャリア予測の全体的なパフォーマンス変化率が示されています。

実験手法:

事前に訓練されたキャリア予測モデル（サロゲートモデル）に対して、企業昇格攻撃のために生成された偽の履歴書を1%の注入率で注入し、追加で20エポックの訓練を行いました。注入後のパフォーマンスの相対的な改善を測定することを主な目的としました。比較ベースラインとして、追加のデータを導入せず、同じ追加訓練エポックを経たシナリオ（「None」）も実施しました。結果:

ランダムおよびポピュラー攻撃は、企業昇格攻撃中にヒット率の改善を達成しましたが、キャリア予測モデルの精度に大きな変化をもたらし、標準的なパフォーマンスから大幅に逸脱しました。 GPT-4およびDQNによって引き起こされたパフォーマンスの変動は一貫性がなく、ターゲット企業に依存していました。一方、FRANCISは元のデータセットに非常に近い挙動を示しました。特に、FRANCISの改善率は元の改善率（「None」）の標準偏差の範囲内に収まりました。このFRANCISの一貫性は、リアリティ規制モジュールの有効性を示しており、生成された履歴書が単なる合成データではなく、本物のキャリア経歴を高い精度で模倣していることを示唆しています。これらの結果から、FRANCISが生成する偽の履歴書は非常に現実的であり、キャリア予測モデルの標準パフォーマンスに与える影響が少ないことが分かりました。

KKaichi / nihira_memo