크롤링 할때 사이트 약관? 확인하는법

[Lucete28]

1. 크롤링 하고싶은 사이트에 들어간다
   • 예) https://genius.com/
2. 뒤에 robots.txt를 붙인다
   • 예) https://genius.com/robots.txt
3. 확인한다.