一部の Windows10 環境で PatchSerializerTest に失敗する

[hrtwt]

起こっていること

CI と @hrtwt の使用しているPC3台の win10 環境で PatchSerializerTest#testPatch に失敗する． @hrtwt の環境では master(v1.7.4) でも失敗する．

失敗のフロー （手元で調べた，CIはどうなってるか不明）

• ASTRewrite#rewriteAST が IllegalArgumentException を投げる． https://github.com/kusumotolab/kGenProg/blob/7871b21e7cc4e6408b34d048393f7aff53b45ae2/src/main/java/jp/kusumotolab/kgenprog/project/jdt/JDTOperation.java#L54

• JDTOperation#apply が例外を NullObject である createGenerationFailedSourceCode に変換． https://github.com/kusumotolab/kGenProg/blob/7871b21e7cc4e6408b34d048393f7aff53b45ae2/src/main/java/jp/kusumotolab/kgenprog/project/jdt/JDTOperation.java#L33-L36

• 100行目で予期していない NullObject が返ってくるため，110行目のアサーションに引っかかる． https://github.com/kusumotolab/kGenProg/blob/7b1d7552ba2138c8b25a3840c1e821b43f97241a/src/test/java/jp/kusumotolab/kgenprog/output/PatchSerializerTest.java#L100 https://github.com/kusumotolab/kGenProg/blob/7b1d7552ba2138c8b25a3840c1e821b43f97241a/src/test/java/jp/kusumotolab/kgenprog/output/PatchSerializerTest.java#L110

試したこと

• example/CloseToZero01/src/example/CloseToZero.java に含まれる日本語をすべて削除するとテストに成功する． https://github.com/kusumotolab/kGenProg/blob/32f06b8e23f126e763887fe95968a85b21e9f55d/example/CloseToZero01/src/example/CloseToZero.java#L5-L16

• 上の状態で，下の //bug here を //バグヒアー に変更するとテストに失敗する． https://github.com/kusumotolab/kGenProg/blob/32f06b8e23f126e763887fe95968a85b21e9f55d/example/CloseToZero01/src/example/CloseToZero.java#L19

• v1.7.2 ではテストに成功し， v1.7.3 では失敗する．

[tt-kuma]

intellijからテスト実行したら成功したが，gradle testでテストしたら失敗した．

[ty-v1]

自分のWindows環境での調査

• intellij + junitで実行 -> 落ちない
• intellij + gradleで実行 -> 落ちる

エンコーディングの確認

• intellij + junitで実行: UTF-8

• intellij + gradleで実行: windows-31j(shift-jis)

windows環境によってテスト結果が異なるのは，テストの実行方法の違いが原因でよさそう

[ty-v1]

原因

実行環境の文字コードがUTF-8以外かつマルチバイト文字が修正対象に含まれるときに，ASTの操作に失敗するため．

詳細

kGPはソースコードとASTを保持している． https://github.com/kusumotolab/kGenProg/blob/32f06b8e23f126e763887fe95968a85b21e9f55d/src/main/java/jp/kusumotolab/kgenprog/project/jdt/GeneratedJDTAST.java#L22-L25

753によってソースコードは，UTF-8で保持される．一方で，ASTはデフォルトのエンコーディングとして読み込まれたソースコードから作られる．

https://github.com/kusumotolab/kGenProg/blob/32f06b8e23f126e763887fe95968a85b21e9f55d/src/main/java/jp/kusumotolab/kgenprog/project/jdt/JDTASTConstruction.java#L75

UTF-8のファイルをwindows-31jとして読み込んだため，AST側のソースコードとkGP側のソースコードでノードと位置の対応がとれなくなる．そのため，ASTへの操作をkGP側のソースコードに適用できなくなり，パッチが生成できずテストが落ちる.

https://github.com/kusumotolab/kGenProg/blob/7871b21e7cc4e6408b34d048393f7aff53b45ae2/src/main/java/jp/kusumotolab/kgenprog/project/jdt/JDTOperation.java#L52-L58

[ty-v1]

下のコードのメソッドの最後にa++を挿入する時を考える．　　

public class Sample {

  /**
   * Java学習用のサンプル
   * 変数宣言と単項演算子のサンプルである
   */
  method() {
    int a = 0;
  }
}

windows環境で実行すると，JDTは上のコードをwindows-31jとして読み込みASTを作る．

public class Sample {

  /**
   * Java蟄ｦ鄙堤畑縺ｮ繧ｵ繝ｳ繝励Ν
   * 螟画焚螳｣險?縺ｨ蜊倬??ｼ皮ｮ怜ｭ舌?繧ｵ繝ｳ繝励Ν縺ｧ縺ゅｋ
   */
  method() {
    int a = 0;
  }
}

windows-31jとして読み込んだコードから生成されるAST

このASTにa++を挿入すると以下のASTができる．

public class Sample {

  /**
   * Java蟄ｦ鄙堤畑縺ｮ繧ｵ繝ｳ繝励Ν
   * 螟画焚螳｣險?縺ｨ蜊倬??ｼ皮ｮ怜ｭ舌?繧ｵ繝ｳ繝励Ν縺ｧ縺ゅｋ
   */
  method() {
    int a = 0;
    a++;
  }
}

一方で，UTF-8として読み込んだコードから以下のASTが生成される．

UTF-8として読み込んだコードは109文字であるため，このASTに対して操作を適用，つまり126文字目にa++を挿入することはできない．そのため，MalformedTreeExceptionが発生する．