Day 1 종합실습: 데이터 수집 미니 파이프라인

Open-Meteo, Countries.dev, ip-api의 데이터를 비동기로 수집하고 Pydantic으로 검증한다. 검증된 데이터는 CSV와 Parquet으로 저장한 뒤 읽기·쓰기 시간을 비교한다.

실행 환경

• Python 3.13
• 가상환경 활성화 상태에서 실행

python -m pip install -r requirements.txt
python main.py

품질 검사

pytest -v
ruff check .

생성 파일

실행 후 다음 파일이 만들어진다.

data/csv/weather.csv
data/csv/country.csv
data/csv/ip_location.csv
data/parquet/weather.parquet
data/parquet/country.parquet
data/parquet/ip_location.parquet

파일 구성

api_client.py       API 비동기 수집
models.py           Pydantic 모델과 응답 변환
storage.py          CSV·Parquet 저장과 성능 측정
main.py             전체 파이프라인 실행
tests/test_models.py  모델 검증 테스트