search

Spotify-Playground / spotify-API

0 stars 0 forks source link

readme

πŸ‘ͺ spotify-API

이 곡간은 spotify APIλ₯Ό 톡해 PySparkλ₯Ό μ—°μŠ΅ν•˜λŠ” κ³΅κ°„μž…λ‹ˆλ‹€ :)

πŸ“š μ€€λΉ„λ¬Ό!

μš°λ¦¬λŠ” 둜컬 ν™˜κ²½μ—μ„œ μ‹€μŠ΅μ„ μ§„ν–‰ν•˜κΈ° λ•Œλ¬Έμ—, μ•„λž˜μ™€ 같은 쀀비물듀이 ν™˜κ²½μ— κ΅¬μ„±λ˜μ–΄ μžˆμ–΄μ•Ό ν•΄μš”.

🧰 μ„€μΉ˜ ν”„λ‘œκ·Έλž¨

  1. Spark/spark-3.2.4-bin-hadoop3.2
  2. Zeppelin/zeppelin-0.10.1-bin-all
  3. Airflow/airflow-2.6.1 (DAG μ—°μŠ΅μ„ ν•˜κ³  싢은 κ²½μš°μ—λ§Œ!)

πŸƒ μ‹œμž‘ λͺ…λ Ήμ–΄

Spark μ‹œμž‘ λͺ…λ Ήμ–΄ (job-submit을 ν•  μ˜ˆμ •μ΄λΌλ©΄ ν•„μš” μ—†μŒ!)

# sbin λ””λ ‰ν† λ¦¬λ‘œ 이동
$ ./start-master.sh

# localhost μ—μ„œ spark host ν™•μΈν•˜κΈ°!
$ ./start-worker.sh spark://neivekim76.local:7077 -m 1g

Zeppelin μ‹œμž‘ λͺ…λ Ήμ–΄

# bin λ””λ ‰ν† λ¦¬λ‘œ 이동
$ ./zeppelin-daemon.sh

Airflow μ‹œμž‘ λͺ…λ Ήμ–΄

$ airflow standalone

🧐 μ–΄λ””μ—μ„œ 무슨 곡뢀λ₯Ό ν•˜λ©΄ λ˜λ‚˜μš”?

1. πŸ–₯️ issue

'issue' 뢀뢄은 κ°μžκ°€ κ³΅λΆ€ν•œ λ‚΄μš©, λ˜λŠ” κ³΅μœ ν•˜κ³ μž ν•˜λŠ” 자료 등을 자유둭게 μ λŠ” λ„ν™”μ§€μž…λ‹ˆλ‹€! λ‹€λ₯Έ μ‚¬λžŒλ“€μ΄ 올린 μžλ£Œλ“€λ„ 적절히 μ°Έκ³ ν•˜λ©΄μ„œ μ‚¬μš©ν•΄μ£Όμ‹œλ©΄ 쒋을 것 κ°™μ•„μš”.

2. πŸ“‚ directory

정리쀑!