대한민국 커뮤니티에 올라오는 많은 게시물 중에서 덧글이 일정량 이상인 글들에 한해서만 크롤링하여 저장하는 머신 입니다.
- python 3.x
- Mongodb
- ln -s
$(pwd)/pre-commit $ (pwd)/.git/hooks/ - cp env.dist.dev .env
- python3 -m venv venv
- source venv/bin/activate .
- pip install -r requirement.txt
james-song/community_crawler
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|