tpphu / golang-training

Golang for Backend Developer with Nordic Coder
https://nordiccoder.com/khoa-hoc/golang-for-backend-dev/
131 stars 50 forks source link

Upgrade thêm chương trình crawler #13

Closed tpphu closed 5 years ago

tpphu commented 5 years ago

Theo như buổi học các bạn được khuyến khích/đề nghị làm thêm các yếu tố sau.

  1. Thiết kế chương trình để chạy trên nhiều instances với biến .env để xác định số lượng instance (node) cần chạy và instance hiện tại.
  2. Thiết kế chương trình để crawl được theo kiểu bất đồng bộ/đồng thời nhiều url, nhưng có limit về số lượng network được gọi.
  3. Viết chương trình cho đúng với việc cập nhật url đang running và idle.
  4. Add thêm parser vào chương trình
  5. Các thiết kế khác/bài toán khác mà các bạn nghĩ là các bạn muốn làm.