[Model] Random Forest

[passi3]

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error

# 학습 및 테스트 데이터 준비
X_train = train_data.drop(columns=['deposit'])
y_train = train_data['deposit']
X_test = test_data.copy()

# 학습 데이터를 검증용으로 분할
X_train_split, X_val_split, y_train_split, y_val_split = train_test_split(X_train, y_train, test_size=0.2, random_state=42)

# 모델 초기화
rf = RandomForestRegressor(n_estimators=500, max_depth=6, random_state=42)

# 모델 학습
rf.fit(X_train_split, y_train_split)

# 검증 세트에 대한 예측
y_val_pred = rf.predict(X_val_split)

# 테스트 세트에 대한 예측
y_test_pred = rf.predict(X_test)

# 평가
mae_val = mean_absolute_error(y_val_split, y_val_pred)

print(f"Validation MAE: {mae_val}")

[passi3]

• RF + train data Holdout MAE: 4725.01 n_estimator = 100

[passi3]

• Dataset: V8

• columns: 'area_m2', 'contract_date_numeric', 'floor', 'built_year', 'latitude', 'longitude', 'age', 'contract_0', 'contract_1', 'contract_year_month', 'deposit', 'apt_idx', 'area', 'grid_id', 'nearest_subway_distance', 'nearest_subway_idx', 'nearest_park_distance', 'apt_deposit_rank', 'apt_area_deposit_rank', 'recent_deposit', 'nearest_park_idx', 'nearest_school_idx', 'nearest_school_distance', 'park_area'

• Hyper parameters: n_estimators=100 max_depth=20

• Score(MAE): train: 2777 val: 3705 test: 3842

• Feature Importances:

• 새로운 데이터셋에서 MAE 값이 줄어드는 것이 확인됨

• RF는 max_depth가 증가할 수록, 다른 피처들의 importance도 같이 증가하는 경향이 확인되나, train에 대해서만 과적합되는 것으로 추정됨에 따라 max_depth에 따른 test MAE 값 확인 필요