나무위키 크롤링하지 마세요

나무위키에 있는 데이터를 수집하고 싶었다. 언어 인공지능을 공부하기 위해서였다. 

그러나 크롤링으로는 쉽지 않았다.

 

첫째, requests를 사용하면 403 에러를 반환받는다.

둘째, selenium을 사용하고

undetected_chromedriver

 

를 사용해도 30건 이상 크롤링하면서 봇으로 인식하기 시작했다.

 

그러니 나무위키를 크롤링하지 마세요. 시간이 아깝습니다. 

 

 

 

나무위키에는 덤프 기능이 제공됩니다!!! 

 

간단하게는 huggingface에 올려주신 나무위키 데이터를 다운로드 받을 수 있다

https://huggingface.co/datasets/heegyu/namuwiki

heegyu/namuwiki · Datasets at Hugging Face

 

직접 받으려면 여기를 참고하자

https://namu.wiki/w/%EB%82%98%EB%AC%B4%EC%9C%84%ED%82%A4:%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4%20%EB%8D%A4%ED%94%84

나무위키:데이터베이스 덤프 - 나무위키