Discussion #2 - complete separation trong logistric regression

[giangnguyen2412]

Trong quá trình dịch mình thấy có 1 vấn đề với logistic regression được đề cập trong 4.5.2.

Logistic regression can suffer from complete separation. If there is a feature that would perfectly separate the two classes, the logistic regression model can no longer be trained. This is because the weight for that feature would not converge, because the optimal weight would be infinite.

Mình muốn discuss về vấn đề này một chút. Trong công thức của hồi quy logistic:

Nếu x1 là đặc trưng gây ra complete separation, khi này giá trị x1 sẽ hoàn toàn control việc huấn luyện.

Nếu label là 0, thì giá trị beta1 sẽ âm vô cùng và nếu label là 1 thì giá trị beta1 là dương vô cùng để cực đại MLE. Khi này trọng số beta1 sẽ không thể hội tụ do update step giữa mỗi sample là quá lớn (-infinity -> infinity or vice versa).

Ai có cách giải thích khác ko nhỉ?

[tungnguyen1234]

Em nghĩ cách giải của anh ổn rồi, em gợi ý là làm rõ tại sao feature 1 control việc huấn luyện.

• Nếu feature 1 control hoàn toàn việc huấn luyện, thì giả sử mình cố định các x_j^(i) của y^(i) và giá trị đúng là y^(i) = 1, thì feature 1 có thể đảm bảo rằng P(y^(i)) = 1 mà không phụ thuộc vào các giá trị b_j đổi ra sao trong lúc huấn luyện. Để điều đó xảy ra thì như anh nói là b_1 tới inf. Lý luận sẽ tương tự khi mình coi giá trị đúng là y^(i) = 0.