Outlier detection and handling

[IdoRafael]

1. מבחנים סטטיסטיים על פיצ'רים ספציפיים (Z-score, היסטוגרמה והחלטה על ערך שמעליו אתה מנקה את הדאטה, boxplot).

אם הדאטה לא מתפלג נורמלית אתה יכול להפעיל log ואז אולי זה יעזור ואז תוכל לבצע את מבחן Z.

2. יש ב-skleran שיטות להבין אם כלל הרשומה היא outlier אבל הייתי נזהר קצת מזה כי לפעמים זה לא מתפקד טוב אם הדאטה מלוכלך מדי.

3. החלטה מה לעשות עם outlier: להפטר מרשומה, או להפוך ערך outlier ל-null (ואח"כ לטפל בו ב-imputation).

4. אלגוריתמים לדוגמא:

   • EllipticEnvelope: http://scikit-learn.org/stable/modules/generated/sklearn.covariance.EllipticEnvelope.html#sklearn.covariance.EllipticEnvelope

*plot_lof: זה אלגוריתם יותר טוב מ-eliptic envelop: http://scikit-learn.org/stable/auto_examples/neighbors/plot_lof.html

[IdoRafael]

Manually test features for illogical entries (like negative salary, etc).