hoangminhquan-lhsdt / optimizers

Implementation of various optimizers running on test functions for optimization
2 stars 1 forks source link

Review đề cương (lần 1) #1

Closed KienTrann closed 3 years ago

KienTrann commented 3 years ago

Trong quá trình làm khóa luận, khi tiếp nhận review của mình, đầu tiên tụi em xem thử review của mình có hợp lý không? Nếu hợp lý thì tụi em sửa, còn nếu chưa hợp lý thì có thể trao đổi thêm với mình để mình hiểu tại sao tụi em nghĩ là chưa hợp lý (đôi khi có thể là do tụi em chưa hiểu hết review của mình, cũng có thể là do khi review mình chưa hiểu ý của tụi em).


Mục 1 Thông tin chung

Thời gian thực hiện: Từ 01/2021 đến 07/2021

Mình nghĩ nên sửa "07/2021" thành "06/2021" để nhất quán với mục "2.6 Kế hoạch thực hiện".


Mục 2.1 Giới thiệu về đề tài

Bài toán tối ưu các tham số trong mô hình mạng nơ-ron nhiều tầng ẩn

Trong tên đề tài, bài toán mà tụi em đưa ra là "huấn luyện mạng nơ-ron nhiều tầng ẩn", nhưng ở đây tự nhiên tụi em lại quăng ra một bài toán gọi là "tối ưu các tham số trong mô hình mạng nơ-ron nhiều tầng ẩn"; người đọc sẽ băn khoăn: không biết 2 bài toán này giống nhau hay khác nhau?

Input: các tham số của mạng nơ-ron được khởi tạo ngẫu nhiên hoặc khởi tạo bằng 0

Mình nghĩ nói input là hàm chi phí (có khi còn được gọi là hàm lỗi, hàm mục tiêu, ...) với các tham số là các trọng số của mạng nơ-ron thì đúng hơn (cũng cần giải thích thêm về ý nghĩa của hàm chi phí trong ngữ cảnh mạng nơ-ron).

Hàm lỗi Hàm mục tiêu

Tự nhiên tụi em quăng ra 2 thuật ngữ này, người đọc sẽ băn khoăn: không biết 2 thuật ngữ này giống nhau hay khác nhau?

Trong mục 2.1 này, mình thấy tụi em chỉ mới nói về bài toán, chưa nói về phương pháp giải quyết bài toán mà khóa luận chọn để tập trung tìm hiểu (tham khảo file đề cương mà mình đã gửi).


Mục 2.2 Mục tiêu đề tài

họ các thuật toán adaptive

Tự nhiên tụi em quăng ra thuật ngữ này, người đọc sẽ băn khoăn: thuật toán Adam có liên quan gì với "họ các thuật toán adaptive"?

Cài dặt

Lỗi chính tả.

thuyết trình,...

Lỗi chính tả: sau dấu phẩy mình nghĩ là nên có khoảng trắng.


Mục 2.3 Phạm vi đề tài

Đề tài chỉ tìm hiểu và cài đặt lại mô hình

Tụi em xem lại: đề tài của tụi em là tìm hiểu và cài đặt lại "mô hình" hay "thuật toán"?

chỉ riêng việc tìm hiểu nguyên lí hoạt động

Nguyên lý hoạt động của cái gì?

đây không phải là mục tiêu chính

Thiếu dấu chấm câu.


Mục 2.4 Cách tiếp cận dự kiến

Thuật toán AdaGrad

Không biết nhảy từ đâu ra.

bước nhảy riêng biệt

Mình nghĩ là nên giải thích rõ hơn ở chỗ này.

các thuật toán RMSProp

"các"?

Có thể được

?


Mục 2.5 Kết quả dự kiến của đề tài

thí nghiệm thêm các cải tiến

Thiếu dấu chấm câu.


Mục 2.6 Kế hoạch thực hiện

lý thuyết của bài toán

Lý thuyết của bài toán (huấn luyện mạng nơ-ron nhiều tầng ẩn) hay của phương pháp giải bài toán (thuật toán Adam) hay của đề tài (bài toán + phương pháp giải).

hoangminhquan-lhsdt commented 3 years ago

1712644_1712688_Proposal.pdf Dạ thầy cho em gửi phiên bản đã chỉnh sửa (có highlight các phần được sửa) ạ. Phần màu đỏ gạch ngang là những phần bị bỏ đi, và màu xanh có gạch chân là những phần thay thế hoặc được thêm vào.

Riêng có 1 phần

thuyết trình,...

Lỗi chính tả: sau dấu phẩy mình nghĩ là nên có khoảng trắng.

Theo em biết thì khi đặt dấu ba chấm sau dấu phẩy, chúng ta không cần thêm khoảng trắng ạ. image