search

HIROKO-M / Test_002

0 stars 0 forks source link

【不具合】管理用サイトの集計レポートのデータが正しく反映されていない #168

Open HIROKO-M opened 2 weeks ago

HIROKO-M commented 2 weeks ago

1. 事象

管理用サイトの集計レポートのデータが正しく反映されていません。 具体的に、管理用サイトにASP AF-Aのデータが表示されていません。

![image][pasted-2023.10.23-17.35.32.png]

![image][pasted-2023.10.23-17.35.37.png]

2. 原因

・管理用サイトにASP AF-Aのデータが表示されないのは、「report_analysis」バッチの実行に問題が発生したからです。 ・「report_analysis」バッチの実行に問題が発生したのは、第三者のサイト（https://af-a.jp/conversions） のDOM構成が更新されたからです。 ・「report_analysis」バッチの処理はDOMのデータを利用する為、DOM構成が更新されると「report_analysis」バッチが正しく実行できなく、管理用サイトにASP AF-Aのデータが表示されないなると推測しております。

3. 暫定対応

管理用サイトにASP AF-Aのデータが表示される為にdjangoのソースコード構成を変更します。

4. 恒久対応

AFFILIATE_FRIENDS-2060の恒久対策を踏まえます。DOM構成が更新された場合、Chatworkへエラーメッセージを送信します。その時、開発者は新しいDOM構成を確認して更新の必要なバッチを修正します。

HIROKO-M commented 2 weeks ago

@Giang Nguyen Thi Kim (Bee Tech - Comtor) @Kien Bui Hoang (Bee Tech - Comtor) cc@Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Toru Kaneko（Bee Tech） @君野 翼

お世話になります。 返信が大変遅くなりまして申し訳ございません。

9月・10月の集計データに関して確認しまして ご指摘の以下内容以外のデータが一致していることを確認いたしました。

※社内テストの際に、ASP「バリューコマース」の10月データ分が一致しておりません。 　確認したところ、案件ID：2114677 【資生堂】エリクシール<還元176円分ポイント>に成果報酬が一致していないことを分かりました。

よって、本件はこれにてクローズとさせていただきます。 ご対応ありがとうございました。

HIROKO-M commented 2 weeks ago

@松田 寛子 cc @君野 翼 @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Giang Nguyen Thi Kim (Bee Tech - Comtor) お世話になっております。

上記報告について本番環境集計レポートデータ取得バッチ処理を調整し、 現在データ取得できるようになりました。

現状、9月・10月の集計データを再取得し、 ASP「アフィリエイトフレンズ-A」のデータが反映され、ユーザーサイトのレポートと一致するようになりました。

お手数をおかけしますが、ご確認お願い致します。

※社内テストの際に、ASP「バリューコマース」の10月データ分が一致しておりません。 　確認したところ、案件ID：2114677 【資生堂】エリクシール<還元176円分ポイント>に成果報酬が一致していないことを分かりました。 　こちらに関して、おそらく以前ご相談頂きましたバリューコマースのデータ不一致の件が原因ではないかと思います。 　他のASPにおいて集計データが一致しております。

以上、ご報告とさせて頂きます。 どうぞよろしくお願い致します。

HIROKO-M commented 2 weeks ago

@松田 寛子 cc @君野 翼 @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Giang Nguyen Thi Kim (Bee Tech - Comtor) 本件について、11/17に本番環境への反映が完了致しました。 ただし、本日確認で11/18に取得した集計データでは「アフィリエイトフレンズ-A」のデータが含まれておりません。

現在原因調査を進ませて頂いており、 特定の際、ご報告とさせて頂きます。

HIROKO-M commented 2 weeks ago

@Giang Nguyen Thi Kim (Bee Tech - Comtor) cc@Kien Bui Hoang (Bee Tech - Comtor) @君野 翼 @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Toru Kaneko（Bee Tech）

お世話になります。 STG環境にて、問題ないことを確認いたしました。 ご対応ありがとうございます。

引き続き、本番環境への反映をお願いいたします。 どうぞよろしくお願いいたします。

HIROKO-M commented 2 weeks ago

@松田 寛子 cc @君野 翼 @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Giang Nguyen Thi Kim (Bee Tech - Comtor) お世話になっております。

本件においてSTG環境に修正分の反映完了致しました。 10月分の集計データ取得で確認したところ、ASP AF-Aのデータを含めて、全データが一致したことも確認できております。 STG環境でご確認頂き、問題なければ本番環境への反映を速やかに準備いたします。

どうぞよろしくお願い致します。

HIROKO-M commented 2 weeks ago

@松田 寛子 @君野 翼 cc @Giang Nguyen Thi Kim (Bee Tech - Comtor) お世話になっております。

本件について、対応・報告が遅くなり、誠に申し訳ございません。

弊社は現在、本件の対応をSTG環境に反映中ではありますが、 トラブルが発生したため、現状修正分のソースコードを反映できません。 よって、こちらのトラブル解消で本件のSTG環境への反映を来週火曜（11/14）に変更させて頂きたいと思います。

どうぞよろしくお願い致します。

HIROKO-M commented 2 weeks ago

@君野 翼 cc @松田 寛子 @Giang Nguyen Thi Kim (Bee Tech - Comtor) パスワード定期変更のこと承知致しました。 ご共有ありがとうございます。

HIROKO-M commented 2 weeks ago

@Kien Bui Hoang (Bee Tech - Comtor) cc @Giang Nguyen Thi Kim (Bee Tech - Comtor) @松田 寛子

横槍失礼します。 パスワードは定期的に更新しておりまして、大変失礼しました。

以下でお願いします。 VvdVatNNWLu9

何卒宜しくお願い致します。

HIROKO-M commented 2 weeks ago

@松田 寛子 @君野 翼 cc @Giang Nguyen Thi Kim (Bee Tech - Comtor) いつもお世話になっております。

本日付きで本件を対応開始とさせて頂いております。 確認したところ、開発・STG・本番3環境ともデフォルト処理としてASP AF-A 集計データ蓄積する際support@af-a.jpのアカウントを利用し、データを取得しておりますが、 所が、現状パスワードが不正となり、上記アカウントでAF-Aへのログインができていなく、こちらのアカウントのデータが反映されていません。 （他アカウントのデータには影響ありません） ![image][pasted-2023.11.01-11.33.19.png]

よって、確認させて頂ければとお思いますが、 現在、ASP AF-A においてsupport@af-a.jpのアカウントが稼働でしょうか？ 稼働の場合、パスワードを再度ご共有頂けますでしょうか？

以上、ご確認お願い致します。

HIROKO-M commented 2 weeks ago

コメントなし

HIROKO-M commented 2 weeks ago

@Giang Nguyen Thi Kim (Bee Tech - Comtor) cc @Kien Bui Hoang (Bee Tech - Comtor) @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Toru Kaneko（Bee Tech） @君野 翼

お世話になります。 上記ご連絡をありがとうございます。 対応工数についても承知いたしました。 引き続き、よろしくお願いいたします。

続いて、ご質問いただいた内容に回答いたします。

AFFILIATE_FRIENDS-2063 でご連絡頂いたように、ASP AF-A は11月末にサービス終了になりますが、上記対策実装が必要でしょうか？ 2024/4/1までサーバー稼働の予定であるため、対策を実装する方向になると思いますが、DOMからデータ読み取りの実装は時間かかると想定していますので、念のための確認になります。

おっしゃる通り、AF-Aは年4月までの稼働にはなりますが、 それまでは集計レポート上にしっかりデータ蓄積させておきたいのでご対応をお願いしたいです。

どうぞよろしくお願いします。

HIROKO-M commented 2 weeks ago

@君野 翼 @松田 寛子 cc @Toru Kaneko（Bee Tech） @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Giang Nguyen Thi Kim (Bee Tech - Comtor) お疲れ様です。

本件について、弊社の開発者は引き続き調査を行い、事象発生原因を正確に特定できましたので、下記のようにまとめさせて頂きます。

事象発生原因

発生原因について、主に2つあります。 ・ASP AF-A DOM構成の変更 ・ASP AF-A 管理画面でデータ出力（xlsxファイルのダウンロード）機能の削除によるデータ読み取りエラー発生 　![image][pasted-2023.10.27-17.44.27.png]

対策

・DOM構成の変更： 　→ DOM構成を更新

・データ出力機能の削除 　以前はxlsxをダウンロードし、読み取る処理をしましたが、ダウンロード機能がない現状、ASP管理画面のDOMでデータを読み取ることを提案いたします。 　※管理画面のDOMを出力データのxlsxに比較したところ、xlsxファイルではDOMにないフィールドがあり、DOMでデータを取得する場合下記データが取得できなくなります。 　・genre_name 　・genre_id

対応工数

・コーデイング：24時間 ・AWS EC2 env の設定：2時間 ・テスト（開発環境・Stg環境）：14時間 → 合計工数：40時間

スケジュールとして、 11/1～11/8 STG環境確認まで対応完了の想定です。

上記にも報告させて頂いた通り、 本件は管理サイトの集計レポートのみが修正対象になり、会員サイトへの影響はありません。 また、恒久対策について、展開中であります。

報告とついでに1つ確認させて頂きたいと思います。 AFFILIATE_FRIENDS-2063 でご連絡頂いたように、ASP AF-A は11月末にサービス終了になりますが、上記対策実装が必要でしょうか？ 2024/4/1までサーバー稼働の予定であるため、対策を実装する方向になると思いますが、DOMからデータ読み取りの実装は時間かかると想定していますので、念のための確認になります。

以上、ご確認のほどよろしくお願い致します。

HIROKO-M commented 2 weeks ago

@松田 寛子 cc @Toru Kaneko（Bee Tech） @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Giang Nguyen Thi Kim (Bee Tech - Comtor) ご確認ありがとうございます。

上記質問にご回答させて頂きます。

会員サイト側への影響は以下チケットにて改修済み https://fujitech.backlog.jp/view/AFFILIATE_FRIENDS-2058 今回はあくまで、管理用サイトへの影響を改修するという理解で合っておりますか？

はい、こちらの理解で合っております。 会員サイトへの影響は既に改修済みで、今回は管理画面のみの改修になり、会員サイトへ影響ありません。

上記対応を進めていただいた後、暫定対応が完了しましたら 「report_analysis」バッチの再実行を行い、取得できていなかった分のデータを取得いただけますでしょうか？

こちらも承知しました。 改修確認でき次第、バッチを再実行し、データを再取得するようにいたします。

以上、ご確認のほどよろしくお願い致します。

HIROKO-M commented 2 weeks ago

@Giang Nguyen Thi Kim (Bee Tech - Comtor) cc @Kien Bui Hoang (Bee Tech - Comtor) @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Toru Kaneko（Bee Tech） @君野 翼

連投失礼します。

上記対応を進めていただいた後、暫定対応が完了しましたら 「report_analysis」バッチの再実行を行い、取得できていなかった分のデータを取得いただけますでしょうか？

どうぞよろしくお願いします。

HIROKO-M commented 2 weeks ago

@Giang Nguyen Thi Kim (Bee Tech - Comtor) cc @Kien Bui Hoang (Bee Tech - Comtor) @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Toru Kaneko（Bee Tech） @君野 翼 お世話になります。 上記ご連絡をいただきましてありがとうございます。

AF-AのDOM構成が更新されたことによる影響について、念のため確認させてください。 会員サイト側への影響は以下チケットにて改修済み https://fujitech.backlog.jp/view/AFFILIATE_FRIENDS-2058 今回はあくまで、管理用サイトへの影響を改修するという理解で合っておりますか？

暫定対応に関しましては、会員側サービスの停止などの影響が出ないのであれば 問題ございませんので進めていただければと存じます。

どうぞよろしくお願いします。

HIROKO-M commented 2 weeks ago

@松田 寛子 cc @君野 翼 @Toru Kaneko（Bee Tech） @Teruaki Iwane (Bee Tech - Promo Manager) @Thao Do Thi Phuong (Bee Tech - QC Manager) @Kien Bui Hoang (Bee Tech - Comtor) いつもお世話になっております。 本日本番環境でデータを確認したところ、「管理用サイトの集計レポートのデータが正しく反映されていない」事象を検知致しました。 事象の内容、原因、対策等を本チケットに纏めました。 問題なければ、暫定対応を進めさせていただきます。 （恒久対策はAFFILIATE_FRIENDS-2060チケットで進めております）

ご確認のほどよろしくお願いします。

HIROKO-M commented 2 weeks ago

コメントなし