爬取113年總統副總統選舉政治獻金資料庫 csv 檔案

[gibbs-shih]

爬取113年總統副總統選舉政治獻金資料庫 csv 檔案

[gibbs-shih]

• 初始化新的專案 npx create-next-app@latest political-donations-crawler
• 安裝 axios 用於 HTTP 請求，cheerio 用於解析 HTML npm install axios cheerio

[gibbs-shih]

從 HTML 內容來看，網頁的主要內容是通過 JavaScript 動態加載的 意味著在初始的 HTML 中並沒有要查找的關鍵字或內容 使用像 axios 和 cheerio 這樣的工具無法獲取動態加載的內容

💡 使用像 Puppeteer 這樣的工具來模擬一個完整的瀏覽器環境，可以執行 JavaScript 並獲取動態加載的內容 npm install puppeteer

[gibbs-shih]

執行指令 npm start

[gibbs-shih]

建立sql lite 資料庫, 使用prisma npm install sqlite3 npm install prisma --save-dev

初始化 npx prisma init

完成schema格式

生成 prisma client npx prisma generate

使用 prisma 遷移功能來建立資料庫及資料表 npx prisma migrate dev --name init

[gibbs-shih]

使用以下兩個資料, 解析存入資料庫 #2

• expenditures.csv
• incomes.csv

[gibbs-shih]

take 8 hr