Enriching x-forwarded-for field doesn't work in CloudFront Logs - Githubissues

aws-samples / siem-on-amazon-opensearch-service

A solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.

MIT No Attribution

573 stars 189 forks source link

Enriching x-forwarded-for field doesn't work in CloudFront Logs #423

Open yoshiyama3 opened 11 months ago

yoshiyama3 commented 11 months ago

Summary

v2.10.2 より clientip_xff によるエンリッチメント機能が追加されましたが、CloudFront ログに対応していないことを確認しました。

Details

cloudfront-realtime と cloudfront-standard ログで clientip_xff が定義されていない
user.ini へ設定を追加したところ、エンリッチ対象のフィールドの値が不適切な状態になった
- 例）source.ip の値が trusted_proxy.db に含まれている、かつ x_forwarded_for が 203.0.113.3 の場合
- 想定：source.ip の値が 203.0.113.3 に置き換わる
- 実際：source.ip の値が 0.0.0.3 に置き換わる（より正確には 3） user.ini で追加した設定

clientip_xff = source.ip x_forwarded_for

Version

siem-es-loader v2.10.2a

Cause of error

恐らく以下の点が原因

ignore_malformed が true なため、不適な数値が入ってもそのまま取り込まれる
CloudFront アクセスログの x-forwarded-for フィールドについて形式が siem/xff.py で想定している形式と異なる
- CloudFront 側では以下のような形式で出力されるが es-loader 上では str として処理されている
- 203.0.113.3
- 203.0.113.3,203.0.113.4