Anonymized BERT: An Augmentation Approach to the Gendered Pronoun Resolution Challenge

[namakemono]

#	##
論文リンク	https://arxiv.org/abs/1905.01780
著者	Bo Liu
投稿日時	2019-05-06
コード	https://github.com/boliu61/gendered-pronoun-resolution

概要

微調整なしでBERTを使用し、コンテキストレベルでトークンレベルのタスクを埋め込むように設計された新しい拡張戦略を使用して、Gendered Pronoun Resolutionチャレンジに対する7位のソリューションを示します。この方法では、候補名を一連の共通のプレースホルダ名に置き換えることによって参照先を匿名化します。トレーニングデータのサイズを効果的に増やすことによる通常の利点に加えて、このアプローチでは名前に埋め込まれた固有の情報を多様化します。共通の姓の同じセットを使用すると、モデルが名前をよりよく認識し、トークンの長さを短縮し、名前に関連する性別および地域の偏りを取り除くのにも役立ちます。システムはステージ2で0.1947のログ損失を記録しました、そこで増加は0.04の改善に貢献しました。競合後の分析では、異なる埋め込みレイヤーを使用すると、システムのスコアは0.1799となり、3位になります。