Thuy van du bao - Feature engineering

[chanelcolgate]

Description

• Trước khi đi sâu vào việc build model, điều quan trọng là phải hiểu được dữ liệu và đảm bảo rằng dữ liệu đã được định dạng phù hợp cho mô hình

  Actions

• Ví dụ dữ liệu về thời gian
  • Đầu tiên xóa và biến đổi cột thời gian thành kiểu dữ liệu datatime

    date_time = pd.to_datetime(df.pop('Date time'), format='%d.%m.%Y %H:%M:%S')

  • Nhưng nó vẫn là dạng string. Chuyển đổi nó thành giây:

    timestamp_s = date_time.map(pd.Timestamp.timestamp)

  • Thời gian tính bằng giây vẫn chưa phải là đầu vào hữu dụng cho mô hình. Nó phải có tính định kỳ hàng ngày và hàng năm rõ ràng. Một cách đơn giản là chuyển đổi thành một tín hiệu mà dùng sin và cos để chuyển đổi thành "Time of day" và "Time of year"

    
    day = 24*60*60
    year = (365.2425)*day

df['Day sin'] = np.sin(timestamp_s (2 np.pi / day)) df['Day cos'] = np.cos(timestamp_s (2 np.pi / day)) df['Year sin'] = np.sin(timestamp_s (2 np.pi / year)) df['Year cos'] = np.cos(timestamp_s (2 np.pi / year))

#### Estimate
#### Tests
- Đối với thời gian
```python
plt.plot(np.array(df['Day sin'])[:25])
plt.plot(np.array(df['Day cos'])[:25])
plt.xlabel('Time [h]')
plt.title('Time of day signal')