Thắc mắc và nhận xét của nhóm 1

[ngockhain]

• Mình có thắc mắc một chút là các bạn tổ chức dữ liệu như thế nào, mình có xem qua dữ liệu csv nhưng không hiểu gì hết luôn @.@
• Nhận xét: mô hình phân lớp của bạn xịn ghê, đúng 100% luôn :3

[VinhLoiIT]

• Nhóm mình hiện tại đang xem xét cập nhật câu hỏi mà bữa trước thầy có nói, thì nhóm định làm thêm module detection (luc này khỏi Google nhé :v). Thì hiện tại nhóm đang thử tải thêm data liên quan và tùy vào data để nhóm xác định lại cách bố trí dữ liệu, phân chia thư mục... Nên @tvluon nếu thu thập được data sẽ cập nhật câu hỏi và dữ liệu luôn nhe cậu
• Còn hiện tại các file csv trên github là mình mới làm thử với một vài ảnh đã thu thập. File csv được xuất từ trang đánh label là makesense.ai. Do lúc xuất ra nó không để dòng title của các cột nên mình cũng khá phân vân. Nhưng sau đó mình có dùng pandas để thêm các title các cột vào rồi bạn. Cái này tùy vào soft đánh label thôi, @tvluon sẽ pick rồi sau đó 2 đứa đánh label
• Cám ơn nhận xét của bạn nhưng mà còn sớm lắm bạn =))). Hiện mình chỉ viết thử trên số lớp nhỏ (2 lớp) và số ảnh nhỏ (khoảng 10-20 ảnh mỗi lớp) để xem các bước sau khi có dữ liệu để làm thì như thế nào thôi. Ban đầu mình còn tính dùng Deep Learning cơ =)))

[tvluon]

• Về phần đúng 100% thì như bạn Lợi đã nói, do data quá ít (^.^) và các ảnh đều cùng 1 style nên may mắn thôi.
• Từ giờ tới cuối tuần nếu không fix được vấn đề data có thể bọn mình sẽ đổi sang chủ đề khác.

Cuối cùng, cảm ơn bạn đã góp ý.

[KienTrann]

Bạn @VinhLoiIT có hỏi trên moodle về vụ chia các tập trước hay sau augmentation. Mình đã có trả lời trên moodle, nhưng sau khi nghe thấy kết quả 100% của tụi em thì mình vẫn đang suy nghĩ về vụ nên chia trước hay chia sau. Cho mình hỏi thêm:

• Dữ liệu của tụi em là bao nhiêu lớp, mỗi lớp bao nhiêu ảnh? Tụi em chia ra các tập theo tỉ lệ bao nhiêu?
• Nếu không augmentation thì độ lỗi trên các tập là bao nhiêu?
• Nếu augmentation rồi mới chia thì độ lỗi trên các tập là bao nhiêu?

[VinhLoiIT]

@KienTran89

• Dữ liệu của tụi em là bao nhiêu lớp, mỗi lớp bao nhiêu ảnh? Tụi em chia ra các tập theo tỉ lệ bao nhiêu?

Dữ liệu hiện tại thì tụi em chia thành 5 lớp, @tvluon sẽ update histogram phân bố giữa các lớp sau ạ, tỉ lệ là 60-20-20 tương ứng train/val/test

• Nếu không augmentation thì độ lỗi trên các tập là bao nhiêu?

Cái này em chưa chạy thử ạ

• Nếu augmentation rồi mới chia thì độ lỗi trên các tập là bao nhiêu?

Em mới cập nhật ở commit 50eea4e17d89a7b78b6ffeac931a188b1d2aefe3 về dataset mới và kết quạ tạm thời ạ (do tụi em chưa chạy full để tìm các siêu tham số tối ưu).

• Độ lỗi trên tập huấn luyện là 0% (tức 100% accuracy)
• Độ lỗi trên tập validation là 0.69% (tức 99.31% accuracy)
• Độ lỗi trên tập kiểm tra (khi em chọn bộ siêu tham số tạm thời) là 0.92% (tức 99.08% accuracy)

[tvluon]

@KienTran89 , Thưa thầy, em đã update histogram dữ liệu trong file dataset/pre_process_data.ipynb, thầy có thể xem để biết dữ liệu phân bố thế nào trước và sau khi augmentation ạ.

[KienTrann]

@VinhLoiIT , @tvluon : Uh. Quay lại câu hỏi nên chia các tập trước hay sau augmentation, mình chép lại ý mà mình đã trả lời trên moodle:

Như mình có nói trên lớp, tập validation/test là để ước lượng độ lỗi khi triển khai thực tế. Để ước lượng tốt thì mình cần cố gắng làm qui trình xử lý trên tập validation/test giống như qui trình khi triển khai thực tế.

Mình đang hình dung khi triển khai thực tế thì thế nào. Đầu tiên, mình sẽ chụp tấm ảnh mà trong đó có logo và các thứ khác, rồi đi qua bước detection để ra ảnh chỉ chứa logo (hiện giờ tụi em đang làm bằng tay bước này phải không?). Như vậy thì ảnh chỉ chứa logo sau bước detection cũng có thể bị xoay, mờ sáng, che khuất, ... (do ảnh ban đầu là vậy), đúng không? Vậy thì tập valdation/test ở bước phân lớp cũng nên có những cái này.

Hiện giờ, tập dữ liệu mà tụi em thu thập được như thế nào? Có đủ đa dạng để phủ các trường hợp ảnh chụp trong thực tế không?

[tvluon]

@KienTran89 Dạ thưa thầy,

• Phần detection nhóm em vẫn chưa làm, dữ liệu ảnh sau khi thu thập được sẽ được đánh label thủ công để crop logo ra sau đó qua bước augmentation để phục vụ việc huấn luyện phân lớp.
• Về dữ liệu thì trong bộ dữ liệu nhóm em thu thập được đã phủ đủ tất cả các trường hợp trên tuy nhiên phân bố không đều. Cụ thể thì em cũng không thống kê được nhưng trong quá trình đánh label thì em thấy dữ liệu dạng bị che khuất và xoay ít hơn các dạng khác.

[KienTrann]

@tvluon , @VinhLoiIT Uh.

• Tụi em thử chạy mà không augmentation gì cả và xem kết quả thế nào.
• Mình thấy thông thường (thông thường thôi nha, không phải tuyệt đối) người ta chỉ augmentation trên tập train. Còn nếu augmentation trên cả tập validation và test thì mình thấy có trường hợp này là có thể chấp nhận được: tập dữ liệu thu thập được không đủ đa dạng để phủ các trường hợp có thể xảy ra khi triển khai thực tế (và không thu thập thêm dữ liệu được nữa) --> tập validation/test không gần với các trường hợp có thể xảy ra khi triển khai thực tế --> augmentation tập validation/test sẽ giúp đánh giá chính xác hơn. Tụi em xem xem dữ liệu của tụi em có rơi vào dạng này không.
• Một cách khác mà mình nghĩ cũng hợp lý là như này, tụi em xem thử thế nào: chia tập validation/test sao cho 2 tập này đa dạng, phủ các trường hợp có thể xảy ra khi triển khai thực tế, và không augmentation (dù sao thì dữ liệu augmentation cũng mang tính "artificial", chứ không thật); còn tập train thì augmentation thoải mái, không có vấn đề gì cả.