search

abalone0204 / Clairvoyance

Make Taiwan a Better Place to Work
MIT License
837 stars 89 forks source link

提供違反勞基法記錄 #66

Open Ayukawayen opened 7 years ago

Ayukawayen commented 7 years ago

目前違法記錄是向求職小幫手查詢，不過資料有一段時間沒更新了。

做了一個程式自動去抓各縣市公告網頁上的資料存到Google試算表，看有沒有幫助： https://docs.google.com/spreadsheets/d/1uLR9eFePzLzlnkO1k1yh2-2_TJCOYGGEatGCQOgpz9M

目前只有九個縣市園區的資料，因為只能處理HTML格式資料。 XD (新北市開發中，如果能加上新北至少六都就齊了)

用Google Sheets API就可以把資料讀回去。 詳細資訊見 https://github.com/Ayukawayen/LaborViolationSample 。

之前看了求職小幫手更新作業的實況影片，還滿辛苦的。 想說能不能做自動化降低人力負擔，不然人工作業好像難以為繼。

iblislin commented 7 years ago

北市的用 http://web2.bola.taipei/bolasearch/chhtml/page/20 會不會比較方便？

Ayukawayen commented 7 years ago

單論台北市，我覺得(對程式來說)到Data.Taipei讀CSV檔可能更容易處理: http://data.taipei/opendata/datalist/datasetMeta?oid=23630879-4926-4877-a48a-a0ae6cc2f7d5

北市相對好處理因為資料來源和格式滿多種可以選的。

abalone0204 commented 7 years ago

有幫助。

之前沒想過用直接用 google sheet 來做 XDD

但要接起來的話，可能要提供一個直接輸入名字就能找到違法紀錄的 interface？ 你要不要直接找求職小幫手的作者談談看呀？XD

Ayukawayen commented 7 years ago

你要不要直接找求職小幫手的作者談談看呀？XD

等我把後端的code整理好 XD

其實我覺得我這些東西榮尼王都做得到， 只是求職小幫手對資料品質要求高，花在校驗資料的人力負擔重，即時性就比較不好而已。

Ayukawayen commented 7 years ago

之前沒想過用直接用 google sheet 來做 XDD 但要接起來的話，可能要提供一個直接輸入名字就能找到違法紀錄的 interface？

Google Sheets不用錢 XD 而且DoS問題給Google去煩惱就好 (或許並不怎麼煩惱?)

中間加一個關鍵字查詢的介面是沒問題，只是要吃運算資源，我想說放在Client端來做吧，提供一個Javascript API，把Sheets上的資料都先拉回本機，被呼叫時到本機記憶體查關鍵字後回傳結果。

owenhsieh commented 7 years ago

新北市只能看html真的有夠...Orz 最近也在做類似的事情Orz

Ayukawayen commented 7 years ago

試著接了一下 https://github.com/Ayukawayen/Clairvoyance/tree/feature/labor_violation

在background加了一個laborViolationBackground.js(這名字有點鳥)在元件啟動時到Sheets抓資料回來。(之後每兩小時到Sheets更新一次)

在searchPackageByNameApi裡多向background查一次(透過getLaborViolationRecords.js)，然後濾掉兩邊重覆的記錄。

如果有問題請通知我，合用的話就自己Pull回去吧 XD

p.s. 新北的資料接上了