Góp ý lần 1

[nguyen-quang-phu]

1612508- Nguyễn Quang Phú Chào các bạn, theo như mình thấy nhóm bạn thu thập dữ liệu chỉ thu thập số lượng ngôn ngữ theo từng năm. Khi báo cáo nhóm bạn nói khi nhập 1 từ khóa ví dụ như "data science" thì mô hình của bạn sẽ đưa ra nên học ngôn ngữ gì, vậy nhóm bạn có nên lấy thêm các thông tin khác không. Khi người dùng nhập một từ khóa thì có ràng buộc gì ko (như là phải thuộc trong lĩnh vực công nghệ thông tin không, ví dụ nếu mình cho từ khóa biology có được không hay là từ phải thuộc chuyên ngành như bioinformatics)

[lehoanganh298]

Thank bạn đã góp ý. Vì hôm trước trình bày đề tài về dự đoán ngôn ngữ nên học này thấy có nhiều vấn đề nên nhóm mình đã đổi lại chủ đề. Chủ đề hiện tại của nhóm mình là:

Xây dựng một movie recommender - giới thiệu cho người dùng những phim mà người dùng có khả năng cao là sẽ thích

Input:

Người dùng sẽ rating khoảng 10 (hoặc nhiều hơn) các phim mà mình đã xem trong quá khứ (theo số điểm 1-10)

Output:

Danh sách một số phim trong database mà người dùng nhiều khả năng sẽ thích

Cách huấn luyện:

Thu thập một danh sách người dùng, mỗi người dùng có 1 danh sách các phim đã xem và rating của họ (>=100 phim/người). Từ danh sách này sẽ sử dụng thuật toán machine learning cho recommender system để tính ra được độ tương đồng của những người với nhau và những bộ phim với nhau, từ đó có thể dự đoán được rating của người dùng đối với những phim mà họ chưa xem.

Dữ liệu đã thu thập được :

chúng mình crawl dữ liệu từ trang IMDB. Đầu tiên là crawl danh sách những user có số lượng review lớn, lưu danh sách trong file crawl-users/users.txt. Sau đó với mỗi người thu thu thập tất cả rating của họ có, lưu trong các file crawl-ratings/ratingsxxx-yyy.csv Có cả các file crawler kèm theo, viết bằng Golang.

Bạn xem qua và có góp ý gì thì cho chúng mình biết nhé Thân

[nguyen-quang-phu]

Chào bạn, mình có thắc mắc là:

• Tại sao chỉ lấy những user vote hơn 100 bô phim, tại vì không phải ai cũng coi hơn 100 bộ phim cả.
• Giả sử có vài bộ phim (có thể là nhiều phim) không ở trong list rating của bạn, vậy hệ thống có recommend phim đó không (phim đó có thể có rất nhiều người vote nhưng những người vote phim đó không vote hơn 100 bộ)

[lehoanganh298]

Chào bạn, về các thắc mắc của bạn:

• Chỉ lấy những user vote trên 100 phim vì đối với hệ thống recommendation thì những user có số lượng tương tác càng cao thì việc dự đoán những xu hướng sở thích phổ biến sẽ có độ chính xác càng cao (ví dụ người thích xem phim A, B, C thì cũng có khả năng cao thích xem phim E,, F). Số lượng tương tác của mỗi người dùng càng nhiều thì việc dự đoán sẽ càng chính xác. Nếu như những user có quá ít tương tác thì sẽ không thu được nhiều thông tin cho việc dự đoán (ví dụ nếu 1 người chỉ xem vài phim hành động thì ta không rút ra được thông tin gì nhiều, những thể loại phim khác mà người ta có thể thích...).
• Vì tổng thể số lương phim rất lớn, và dataset của chúng mình không thể nào cover hết tất cả các phim, nhưng cũng được một số lượng đáng kể. Những phim mà không xuất hiện trong dataset thì model sẽ không recommend được.