[x] Issues 解決:第一次開啟時,常會有 server is overloaded 問題( sql session 問題)
[x] Issues 解決:爬蟲時間錯亂 (修改主機時區和 CloudSQL 時區)
[x] UI調整:文章列表頁(/),新增 “文章是幾天/分鐘前更新” 的欄位
[x] UI調整:爬蟲狀態頁(/status),新增 “爬蟲是幾天/分鐘前更新” 的欄位
下次報告前要完成哪些事項?
新增支線任務的功能 - group 標籤 (看附圖可能比較快理解):
每個被爬蟲的網頁會被分類到一個 group tag
當使用者選擇 group tag 分類標籤時,會列出這個 Group 內所有的文章列表
當資料庫有新增 Group tag 時,前台和後台的頁面要都能全部自動更新
可能會遇到的問題:
目前資料庫還在重新規劃,預計每個網站只會被分配到一個 group tag,雖然理論上一個網站會有多個類型標籤才合理,但之後會希望每個 group 會有各自的 rss,如果多個標籤的話會導致 rss 串 Line Bot 後訊息通知會重複推播,所以最終還是決定就一個 Group tag。
前台的使用者介面加上 group tag 後使用者體驗有點不直覺還需要再思考一下
其他心得
Huli:
rss 好像有錯
https://crawler.maxlist.xyz/rss.xml
This page contains the following errors:
error on line 62 at column 7: Opening and ending tag mismatch: channel line 0 and rss
Below is a rendering of the page up to the first error.
group tag 這取名有點怪,如果每個網站會有多個,就叫做 tag 就好
如果只會有一個,叫做 category 就好
今天討論了什麼?結論是什麼?
最新的進度是什麼?
主線任務:
目前已經可以部署一個基本的 docker compose 包含 flask + nginx (上次只有研究到 dockerfile),未來 nginx 細節部分像是 ssl 或是多個子網域還有待研究
支線任務:
前台 Blog https://crawler.maxlist.xyz/ 控制台 https://crawler.maxlist.xyz/list
本週調整內容
下次報告前要完成哪些事項?
新增支線任務的功能 - group 標籤 (看附圖可能比較快理解):
可能會遇到的問題:
其他心得
Huli:
rss 好像有錯 https://crawler.maxlist.xyz/rss.xml This page contains the following errors: error on line 62 at column 7: Opening and ending tag mismatch: channel line 0 and rss Below is a rendering of the page up to the first error.
group tag 這取名有點怪,如果每個網站會有多個,就叫做 tag 就好 如果只會有一個,叫做 category 就好