仕様

[tynmarket]

• lambda, golang, t2nano
  • 0.0068 * 24 * 31 * 110 = 556
  • https://aws-rough.cc/lambda/
• dynamodbで月毎のパーティションにする？
• プライムリーディングの特定カテゴリの新刊をクロールしTwitterに投稿
• URLの形式ははてなブログと同じにする
  • https://www.amazon.co.jp/exec/obidos/ASIN/B07XV8VSZT/トラッキング ID
• クロール間隔
  • 1 - 3ページ
  • 1時間に1回
  • 4 - 10ページ
  • 半日に1回
  • 10 - 20ページ
  • 1日に1回

取得対象

• トップページ
  • https://www.amazon.co.jp/b/?node=5298794051
• コミック
  • https://www.amazon.co.jp/s/?node=5347026051
• 小説・評論
  • https://www.amazon.co.jp/s/?node=5347092051
• 趣味・暮らし
  • https://www.amazon.co.jp/s/?node=5347111051
• その他
  • https://www.amazon.co.jp/s/?node=5347118051&page=2

テーブル設計

• prime_books
  • パーティションキーは asin, グローバルセカンダリインデックスは year_month
  • asin, year_month, date, title, category, created_at
  • asin, title, author, category, rank, publication_date, year_month, date, affi_url, tweeted, end_at