search

dlapplications / dlapplications.github.io

dl_ap wiki
https://dlapplications.github.io
MIT License
1 stars 3 forks source link

Deep Learning on Edge #15

Open nxthuan512 opened 6 years ago

nxthuan512 commented 6 years ago

Hi mọi người,

Theo trao đổi lần trước với Đức Anh và Tuấn mình sẽ viết bài về nội dung DL trên hardware (HW) Nội dung mình dự định sẽ chia ra nhiều phần, mọi người góp ý.

Thanks.

hitogen commented 6 years ago

@nxthuan512 nội dung series nghe rất hấp dẫn, nội dung này bằng tiếng việt chắc hiếm người viết. e thấy link ni viết cũng chi tiết, gửi đại ca tham khảo https://towardsdatascience.com/deep-learning-on-the-edge-9181693f466c

ducanh841988 commented 6 years ago

Mình cũng nghĩ thế. Ở VN chắc không mấy người làm DL trên edge device. Quá hot!!!

ducanh841988 commented 6 years ago

@nxthuan512 Bài DL on edge, why not cloud sao rồi? Update tình hình nhé.

nxthuan512 commented 6 years ago

@ducanh841988 Sorry for late. Có gì tui gửi bản nháp trong 3 ngày tới.

nxthuan512 commented 6 years ago

Hi,

Gửi mọi người link https://github.com/dlapplications/dlapplications.github.io/blob/master/_posts/dl_ap/2018-07-25-dl-edge-1.md

Thanks, Thuận

ducanh841988 commented 6 years ago

Bài viết rất hay. Dự đoán các hướng tiếp theo trong tương lai. Có 2 comments:

HaiDang2001VN commented 6 years ago

Dạ bài viết đem đến một cái nhìn trực quan và tổng quát về các công nghệ DL on Edge ạ. Mà trước hết thì phần 1 em thắc mắc tại sao 142MB/s = 1.14GB/s ạ, em chưa hiểu lắm? Với lại các ảnh hưởng của kỹ thuật Deep Learning on Edge lên các phương pháp Deep Learning truyền thống ạ (như là giảm tiêu thụ năng lượng cho các server deep learning, giảm chi phí và thời gian tính toán ở server, ...). Cuối cùng là liệu các chip SoC có hứa hẹn một tương lai cho chip để thực hiện AGI không ạ? Cảm ơn anh @nxthuan512 về bài viết thú vị ạ.

hitogen commented 6 years ago

@nxthuan512 bài viết rất dễ hiểu ạ. Trong các bài viết sau, nếu có thể thì rất mong chờ đại ca giải thích thêm những cải tiến về model ở phần 3.a. @HaiDang2001VN a nghĩ e nhầm giữa Gb/s và GB/s. Gb/s là gigabits/s chứ ko phải gigabyte/s.

HaiDang2001VN commented 6 years ago

Dạ @hitogen cảm ơn anh ạ. Em cũng mong có thể có những bài về phương pháp đưa các models trên Tensorflow hay PyTorch lên Edge devices trong tương lại ạ, @nxthuan512 .

gachiemchiep commented 6 years ago

@nxthuan512

Vừa review ở : https://github.com/dlapplications/dlapplications.github.io/commit/7530671bd0c10ba396315336331fd31d9fe6505f .

Đã thêm TOC (table of content) ở phần trên đầu bài và tạm thời ẩn bài viết đi cho đến khi review xong .
Các Review đánh dấu bằng TODO nhé .

nxthuan512 commented 6 years ago

Hi all, Mình gửi lại bài viết đã sửa theo comments. Mọi người xem qua. Lỗi chính tả mình chưa check kịp, sẽ bổ sung sau. https://github.com/dlapplications/dlapplications.github.io/blob/nxthuan512-patch-2/_posts/dl_ap/2018-07-25-dl-edge-1.md

@ducanh841988: Quantization dịch ra tiếng Việt là lượng tử hóa đúng không? Thấy hồi học ĐH các thầy hay dùng. Quantization ở đây không phải chỉ đơn giản là chuyển số thực về số nguyên mà có rất nhiều phương pháp. Có 2 loại chính là uniform và non-uniform. Trong uniform, số thực được chuyển sang số nguyên, kế đó giảm số bit. Trong non-uniform, phân bố của weights/activation trong log domain sẽ được dùng để quantization. Kết quả cải thiện nhiều "For instance, using 4 b with uniform quantization results in a 27.8% loss in accuracy versus a 5% loss for log base-2 quantization for VGG-16." (Sze. 2017). Ngoài ra có thể dùng các pp clustering để nhóm các weights lại dùng chung, từ đó giảm kích thước model.

@HaiDang2001VN: Cái đó anh viết sai đơn vị, đã sửa. Thanks. Việc tối ưu hiện nay thực hiện trên cả 2 phase: training (trên server) và inference (trên các thiệt bj edge). Ví dụ: trong training phase rất nhiều pp giúp việc training nhanh (Adam), chống overfitting (Dropout, ...) hoặc Inception, ... Về mặt năng lượng, theo anh, không phải là tiêu chí quan trọng trong training phase. Server thường cần xử lí nhanh. Tuy nhiên, trong inference phase, khi dùng trên các thiết bị di động edge, model nhỏ gọn ít tốn năng lượng quan trọng hơn.
Nhiều trường/viện/công ty cũng đang xây dựng flow từ Tensorflow xuống chip. Ví dụ như Harvard quảng cáo framework của họ trong năm nay. Họ làm ra chip, làm ra tools để chuyển model đã train trên Tensorflow xuống chip. http://vlsiarch.eecs.harvard.edu/research/deep-learning/ Chip SoC tích hợp AI core sẽ ngày càng phổ biến. Trước mắt có thể các công ty lớn sẽ tập trung cho các thị trường nhiều lợi nhuận như smartphone, smartcar, ... (Galaxy S9 cũng nói họ dùng AI trên chip https://www.hardwarezone.com.sg/feature-samsung-galaxy-s9-everything-we-know-so-far/artificial-intelligence-ai. ) Với độ hot như hiện nay, AGI có thể đạt được trong 10 năm tới ?! (iPhone ra đời năm 2007 và how much has the world changed since then)

@gachiemchiep ông xem lại thử cần gì bổ sung không. Thanks.

gachiemchiep commented 6 years ago

@nxthuan512 Tôi đã review ở https://github.com/dlapplications/dlapplications.github.io/commit/47a617b6e6a46624950baa8c9fe1eb487e1c71b3 nhé . Bằng tính năng comment trong commit. Nên nhấn vào rồi kéo xuống xem comment nhé