Selenium ยท CDP๋ก ATP ์ ์ ๋ฐ์ดํฐ๋ฅผ ์์งํด DB ยท API ยท ์น ํ๋ฉด ยท ๋ฐฐํฌ ยท ์๋ํ๊น์ง 1์ธ์ผ๋ก ๊ตฌ์ถํ ํ์คํ ๋ฐ์ดํฐ ์๋น์ค.
๐ ์๋น์ค ๋ฐ๋ก๊ฐ๊ธฐ ยท ์ค๊ณ ์๋ ยท ์งํ ๊ณผ์ ยท ๋ฌธ์ ํด๊ฒฐ
- ๋ฌธ์
- ๊ฒฝ๊ธฐ ์ผ์ ยท ์์: ์ฌ๋ฌ ์ฌ์ดํธ์์ ์ฝ๊ฒ ํ์ธ ๊ฐ๋ฅ
- ์ ์ Biography: ๋ถ์ฐ๋์ด ํ๋์ ๋ชจ์๋ณด๊ธฐ ์ด๋ ค์
- ํด๊ฒฐ
- ์คํฌ๋ํ์ผ๋ก ํ์ํ ์ ๋ณด๋ฅผ ์์งํด ํ ๊ณณ์์ ์ ๊ณตํ๋ ์น ์๋น์ค ๊ตฌํ
- ๋ธ๋ผ์ฐ์ ๊ฐ ๋ฐ๋ JSON ์๋ต ์์ง โ ์๋ณธ DB ์ ์ฅ โ ์ ์
- Biography: ์๋ฌธ ๋ณ๊ฒฝ ์์๋ง ํ๊ตญ์ด ๋ฒ์ญ
- ๊ฒฐ๊ณผ
- ๊ฒฝ๊ธฐ ์ผ์ ยท ์์ ยท Biography๋ฅผ ํ ๊ณณ์์ ์กฐํ
- ์ ์ ๋ชฉ๋ก ์์ฒญ N+1ํ โ 1ํ๋ก ๋จ์ถ
- ์ ์ 20๋ช ๋ฐ์ดํฐ ์ด์ ์ค
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ์ญํ | 1์ธ ยท ๊ธฐํ, ๋ฐ์ดํฐ ์์ง, DB ์ค๊ณ, ๋ฐฑ์๋, ํ๋ก ํธ์๋, ๋ฐฐํฌ, ์๋ํ |
| ๊ธฐ๊ฐ | 2026.09 โ 2026.10 (3์ฃผ) |
| ๊ท๋ชจ | ์ ์ 20๋ช ยท DB ํ ์ด๋ธ 8๊ฐ ยท REST API 6๊ฐ |
| ๋ฐฐํฌ | DB Supabase ยท API Render ยท ์น Vercel |
- ๋ฐ์ดํฐ ์์ค ๋ถ์: ๊ฐ๋ฐ์ ๋๊ตฌ๋ก ํ๋ฉด ๋ฐ์ดํฐ์ ์ถ์ฒ(API ์๋ต ยท HTML)๋ฅผ ํ์ ํด ์์ง ๋ฐฉ์ ์ค๊ณ
- ๋ธ๋ผ์ฐ์ ๊ธฐ๋ฐ ์์ง: Selenium + CDP Network ๋ก๊ทธ๋ก API ์๋ต(JSON) ์์ง, ๋ด ์ฐจ๋จ(403) ๋์
- ELT ํ์ดํ๋ผ์ธ: Raw ์ ์ฌ โ ์ ์ ยท ์ ๊ทํ โ UPSERT, ์๋ณธ ๊ธฐ๋ฐ ์ฌ์ฒ๋ฆฌ ๊ตฌ์กฐ
- LLM ์ฐ๋: ๋ณ๊ฒฝ ๊ฐ์ง๋ก ํธ์ถ ์ต์ํ, Structured Output(JSON Schema)๊ณผ ์๋ต ๊ฒ์ฆ
- ์๋น ยท ์ด์: REST API ์ค๊ณ(N+1 ์ ๊ฑฐ), Supabase ยท Render ยท Vercel ๋ฐฐํฌ, ์ค์ผ์ค๋ง ์๋ํ
5๊ฐ ํต์ฌ ๊ฒฐ์ ์ ๋ฌธ์ โ ๋ฐฉ๋ฒ ์์ผ๋ก ์ ๋ฆฌ
- ๋ฌธ์
requests์์ฒญ ์403 Forbidden์ฐจ๋จ- ํ๋ฉด HTML ํ์ฑ์ ๋ ์ด์์ ๋ณ๊ฒฝ์ ์ทจ์ฝ
- ๋ฐฉ๋ฒ
- Selenium ์คํ โ CDP ๋คํธ์ํฌ ๋ก๊ทธ์์ JSON ์๋ต ์ถ์ถ
- JSON์ ์๋ Biography๋ง HTML ํ์ฑ
- ๊ฒฐ๊ณผ: ํ๋กํ ยท ์์ ยท ๊ฒฝ๊ธฐ ยท ํต๊ณ ยท ์ด๋ฏธ์ง 5์ข ์ JSON์ผ๋ก ์์ง
- ๋ฌธ์ : ์์ง ์ฆ์ ์ ์ ํ๋ฉด ์ ์ ๊ท์น ๋ณ๊ฒฝ ์ ์ฌ์์ง ํ์
- ๋ฐฉ๋ฒ:
raw_data์ ์ถ์ฒ ยท URL ยท ์ ์ ID ยท ์์ง ์๊ฐ๊ณผ ํจ๊ป ์๋ณธ ์ ์ฌ ํ ์ ์ - ๊ฒฐ๊ณผ: ์ ์ ๊ท์น์ด ๋ฐ๋์ด๋ ์ฌ์์ง ์์ด ์๋ณธ์ผ๋ก ์ฌ์ฒ๋ฆฌ ๊ฐ๋ฅ
- ๋ฌธ์ : ๋ฐ์ดํฐ๋ง๋ค ๊ฐฑ์ ์ฃผ๊ธฐ๊ฐ ๋ค๋ฆ (์์ ์ฃผ ๋จ์, ํ๋กํ ยท Biography ๋ณ๊ฒฝ ๋น๋ ๋ฎ์)
- ๋ฐฉ๋ฒ
- ์์ ยท ๊ฒฝ๊ธฐ ยท ํต๊ณ: ์ฃผ 2ํ / ํ๋กํ ยท ์ด๋ฏธ์ง ยท Biography: ์ 1ํ
- ํค ๊ธฐ์ค UPSERT(์์ผ๋ฉด ๊ฐฑ์ , ์์ผ๋ฉด ์ถ๊ฐ) โ ์ฌ์คํํด๋ ๊ฒฐ๊ณผ ๋์ผ
- ๊ฒฐ๊ณผ: ์์ ยท ๊ฒฝ๊ธฐ ยท ํต๊ณ ์ฃผ 2ํ, ํ๋กํ ยท Biography ์ 1ํ ์๋ ์์ง ์ด์
- ๋ฌธ์ : ์ 1ํ ์ฌ์์ง ์ ๋ณ๊ฒฝ ์๋ ์๋ฌธ๋ ๋ฐ๋ณต ๋ฒ์ญ โ API ๋น์ฉ ๋ญ๋น
- ๋ฐฉ๋ฒ
- ๊ธฐ์กด ยท ์ ๊ท ์๋ฌธ ์น์ ๋ณ ๋น๊ต โ ๋ณ๊ฒฝ ์์๋ง Gemini ํธ์ถ
- JSON Schema๋ก ์๋ต ํ์ ๊ณ ์
- ์๋ฌธ ยท ๋ฒ์ญ ๊ฐ์ ๊ฒ์ฆ,
item_order๋ก ์์ ์ฌ๋งคํ
- ๊ฒฐ๊ณผ: ๋ณ๊ฒฝ ์๋ ์ ์๋ Gemini ํธ์ถ ์๋ต
- ๋ฌธ์ : ๋ชฉ๋ก ์กฐํ ํ ์ ์๋ง๋ค ์์๋ฅผ ์ฌ์์ฒญ (N+1 ์์ฒญ)
- ๋ฐฉ๋ฒ:
/players์๋ต์ ์ต์ ์์ ยท ์ ์ ํฌํจ - ๊ฒฐ๊ณผ: ๋ชฉ๋ก ํ๋ฉด ์์ฒญ N+1ํ โ 1ํ
| ๋จ๊ณ | ์์ | ๊ฒ์ฆ |
|---|---|---|
| 1. ๋ฐ์ดํฐ ์์ค ๋ถ์ | ๊ฐ๋ฐ์ ๋๊ตฌ๋ก ๋ฐ์ดํฐ ์ถ์ฒ ํ์
, requests ยท Playwright ยท Selenium ๋น๊ต ์คํ |
403 ์ฐจ๋จ ํ์ธ, CDP๋ก JSON ์๋ต ํ๋ณด |
| 2. ํ์ดํ๋ผ์ธ ๊ตฌ์ถ | Raw ์ ์ฌ โ ์ ์ โ UPSERT, ์์ง๊ธฐ ์ผ๋ฐํ | ์ ์ ID๋ง ๋ฐ๊ฟ ๋์ผ ์์ง๊ธฐ๋ก ๋ค์ ์ ์ ์์ง |
| 3. API ๊ฐ๋ฐ | FastAPI REST API 6๊ฐ | ํ๋ฉด๋ณ ํ์ ์๋ต ๊ตฌ์กฐ ์ ์ |
| 4. ํ๋ก ํธ์๋ | React ์ ์ ๋ชฉ๋ก ยท ์นด๋ ยท ์์ธ ํ๋ฉด | API ์ฐ๋, ์นด๋ ์๋ค ยท Biography Story |
| 5. ๋ฐฐํฌ | Supabase ยท Render ยท Vercel, CORS ์ค์ | ๋ฐฐํฌ ํ๊ฒฝ ํ๋ฉด ยท API ์ฐ๊ฒฐ |
| 6. ์๋ํ | Windows ์์ ์ค์ผ์ค๋ฌ | ์ฃผ 2ํ ยท ์ 1ํ ์๋ ์์ง |
| 7. ๊ฐ์ | N+1 ์์ฒญ ์ ๊ฑฐ, SPA ๋ผ์ฐํ ์ค์ | ๋ชฉ๋ก ํ๋ฉด ์์ฒญ 1ํ๋ก ๊ฐ์ |
options.set_capability("goog:loggingPrefs", {"performance": "ALL"}) # Network ๋ก๊ทธ ํ์ฑํ
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Network.enable", {})
driver.get(stats_page_url)
performance_logs = driver.get_log("performance")
for log in performance_logs:
message = json.loads(log["message"])["message"]
if message["method"] != "Network.responseReceived":
continue
response = message["params"]["response"]
if target_pattern not in response.get("url", ""): # ํต๊ณ API ์๋ต๋ง ํํฐ๋ง
continue
body_result = driver.execute_cdp_cmd( # requestId๋ก ์๋ต ๋ณธ๋ฌธ ์กฐํ
"Network.getResponseBody",
{"requestId": message["params"]["requestId"]}
)
stats_data = json.loads(body_result["body"])
break
# (base64 ๋์ฝ๋ฉ, ์์ธ ์ฒ๋ฆฌ, ๋ก๊ทธ ์ถ๋ ฅ ์๋ต)translate_player_bio.py ยท check_bio_changed.py
response = client.models.generate_content(
model="gemini-3.1-flash-lite",
contents=prompt,
config=types.GenerateContentConfig(
temperature=0.2,
response_mime_type="application/json",
response_schema={ # ์๋ต ์คํค๋ง ๊ณ ์
"type": "ARRAY",
"items": {
"type": "OBJECT",
"properties": {
"item_order": {"type": "INTEGER"},
"translated_text": {"type": "STRING"}
},
"required": ["item_order", "translated_text"]
}
}
)
)
translated_items = json.loads(response.text)
if len(translated_items) != len(texts): # ๋๋ฝ ๊ฒ์ฆ
raise ValueError(f"์๋ฌธ {len(texts)}๊ฐ / ๋ฒ์ญ {len(translated_items)}๊ฐ")
translated_by_order = { # item_order ๊ธฐ์ค ์ฌ๋งคํ
item["item_order"]: item["translated_text"]
for item in translated_items
}- ํ์:
requests๋ก ํ์ด์ง ์์ฒญ ์ 403 ์๋ต - ์์ธ ๋ถ์: ์๋ต ์ํ ์ฝ๋ ยท ๋ณธ๋ฌธ ์ถ๋ ฅ์ผ๋ก ๋น๋ธ๋ผ์ฐ์ ์์ฒญ ์ฐจ๋จ ํ์ธ (test_atp_request.py)
- ํด๊ฒฐ: Selenium ๋ธ๋ผ์ฐ์ ์คํ + CDP Network ๋ก๊ทธ ๊ธฐ๋ฐ ์๋ต ์์ง์ผ๋ก ์ ํ
- ๊ฒฐ๊ณผ: ํ๋กํ ยท ์์ ยท ๊ฒฝ๊ธฐ ยท ํต๊ณ ยท ์ด๋ฏธ์ง 5์ข JSON ์์ง
- ํ์: ์ 1ํ ์ฌ์์ง๋ง๋ค ๋์ผ ์๋ฌธ ์ฌ๋ฒ์ญ
- ์์ธ ๋ถ์: ๋ณ๊ฒฝ ์ฌ๋ถ์ ๋ฌด๊ดํ๊ฒ ๋ฒ์ญ ๋จ๊ณ ์คํ
- ํด๊ฒฐ: ๊ธฐ์กด ์๋ฌธ๊ณผ ์น์ ๋ณ ๋น๊ต ํ ๋ณ๊ฒฝ ์์๋ง ๋ฒ์ญ
- ๊ฒฐ๊ณผ: ๋ณ๊ฒฝ ์๋ ์ ์๋ Gemini ํธ์ถ ์๋ต
- ํ์: ๋ก์ปฌ์์๋ ์์ง๋๋ ํต๊ณ ์๋ต์ด Actions ํ๊ฒฝ์์ ๋ฏธ์์ง
- ์์ธ ๋ถ์: ์๋ต URL ๋ก๊ทธ ์ถ๊ฐ, Chrome ์คํ ์ต์ ์กฐ์ ์ผ๋ก ์์ธ ๋ฒ์ ์ถ์ ์๋
- ํด๊ฒฐ: Windows ์์
์ค์ผ์ค๋ฌ๋ก ์ ํ. ์์ ์คํ์ด ํ์ํ Python
schedule๋ฐฉ์๋ ์ ์ธ - ๊ฒฐ๊ณผ: ์ฃผ 2ํ ยท ์ 1ํ ์๋ ์์ง ์ด์
- ํ์: ๋ชฉ๋ก ์กฐํ ํ ์ ์๋ง๋ค
/rankings?limit=1์ถ๊ฐ ์์ฒญ - ์์ธ ๋ถ์: ๋ชฉ๋ก API๊ฐ ํ๋ฉด์ ํ์ํ ์ต์ ์์๋ฅผ ๋ฏธํฌํจ
- ํด๊ฒฐ:
/players์๋ต์ ์ต์ ์์ ยท ์ ์ ํฌํจ (์ปค๋ฐ) - ๊ฒฐ๊ณผ: ๋ชฉ๋ก ํ๋ฉด ์์ฒญ N+1ํ โ 1ํ, ํ๋ก ํธ์๋ ์์ฒญ ๋ก์ง ๋จ์ํ
| ์ ์ ์นด๋ (์๋ฉด) | ์์ ์ด๋ ฅ |
|---|---|
![]() |
![]() |
Biography (์๋ฌธ ์์ง โ LLM ๋ฒ์ญ)
| ์์ด (์์ง ์๋ฌธ) | ํ๊ตญ์ด (Gemini ๋ฒ์ญ) |
|---|---|
![]() |
![]() |
- ๋ก์ปฌ ์ค์ผ์ค๋ฌ ์์กด: PC ์ข ๋ฃ ์ ์์ง ์ค๋จ โ ํด๋ผ์ฐ๋ ์ค์ผ์ค๋ง ํ์
- ์์ง ๋์ ํ์ฅ: ์ ์ ์ถ๊ฐ ์ ์ฐจ๋ ADD_PLAYER_GUIDE.md๋ก ์ ๋ฆฌ, ๋์ ํ๋ ์ ์์ง ์๊ฐ ์ฆ๊ฐ ๋์ ํ์
- ํ ์คํธ ๋ถ์ฌ: ์ ์ ยท ๋งคํ ํจ์ ๋จ์ ํ ์คํธ๋ก ์ธ๋ถ ์คํค๋ง ๋ณ๊ฒฝ ์กฐ๊ธฐ ๊ฐ์ง ํ์
| ์์ญ | ๊ธฐ์ |
|---|---|
| ์ธ์ด | Python, JavaScript(JSX), HTML, CSS |
| ์์ง | Selenium, Chrome DevTools Protocol(CDP) Network ๋ก๊ทธ |
| ๋ฒ์ญ | Google Gemini API (google-genai, Structured Output) |
| DB ยท ์คํ ๋ฆฌ์ง | PostgreSQL, Supabase(Storage ํฌํจ), psycopg |
| ๋ฐฑ์๋ | FastAPI, Uvicorn |
| ํ๋ก ํธ์๋ | React 19, Vite 8, React Router 7, CSS(์ปดํฌ๋ํธ๋ณ ํ์ผ) |
| ์๋ํ | Windows ์์ ์ค์ผ์ค๋ฌ |
| ๋ฐฐํฌ | Supabase ยท Render(API) ยท Vercel(์น) |
- ์์ง ๋ฐฉ์์ ๋ฐ๊พธ๊ธฐ ์ ์ ์๋ต์ ์ง์ ํ์ธํด ์์ธ๋ถํฐ ํน์ ํ๋ ์ ๊ทผ
- ์๋ณธ ์ ์ฅ๊ณผ ์ ์ ๋ฅผ ๋ถ๋ฆฌํด ์ฌ์ฒ๋ฆฌ ๊ฐ๋ฅํ ๊ตฌ์กฐ๋ฅผ ๋จผ์ ์ค๊ณํ๋ ๊ฒ์ ๊ฐ์น
- AI ๋ฒ์ญ ๊ฒฐ๊ณผ๋ ์๋ต ํ์ ๊ณ ์ ๊ณผ ๊ฒ์ฆ์ ๊ฑฐ์ณ์ผ ์๋น์ค ๋ฐ์ดํฐ๋ก ์ธ ์ ์๋ค๋ ์
API ยท DB ํ ์ด๋ธ
| Method | Endpoint | ์ค๋ช |
|---|---|---|
| GET | /players |
์ ์ ๋ชฉ๋ก + ์ต์ ์์ ยท ์ ์ |
| GET | /players/{player_id} |
์ ์ ์์ธ ์ ๋ณด ยท ์ด๋ฏธ์ง URL |
| GET | /players/{player_id}/bio |
Biography (์๋ฌธ ยท ํ๊ธ) |
| GET | /players/{player_id}/rankings |
์์ ์ด๋ ฅ |
| GET | /players/{player_id}/stats |
ํต๊ณ |
| GET | /players/{player_id}/matches |
๊ฒฝ๊ธฐ ยท ๋ํ ์ ๋ณด |
| ํ ์ด๋ธ | ์ญํ |
|---|---|
raw_data |
์์ง ์๋ณธ ยท ์์ง ์ ๋ณด |
players |
์ ์ ๊ธฐ๋ณธ ์ ๋ณด |
player_images |
์ ์ ์ด๋ฏธ์ง ๊ฒฝ๋ก |
player_ranking_history |
์์ ยท ์ ์ ์ด๋ ฅ |
player_stats |
์ ์ ํต๊ณ |
matches ยท tournaments |
๊ฒฝ๊ธฐ ยท ๋ํ ์ ๋ณด |
player_bios |
Biography ์๋ฌธ ยท ๋ฒ์ญ |
์คํ ๋ฐฉ๋ฒ ยท ํด๋ ๊ตฌ์กฐ
ํ๊ฒฝ ๋ณ์ (.env, ์ ์ฅ์ ๋ฏธํฌํจ)
DB_HOST=
DB_PORT=
DB_NAME=
DB_USER=
DB_PASSWORD=
GEMINI_API_KEY=๋ฐฑ์๋
pip install -r requirements.txt
uvicorn backend.main:app --reloadํ๋ก ํธ์๋ (VITE_API_BASE_URL ๋ฏธ์ค์ ์ http://127.0.0.1:8000)
cd frontend
npm install
npm run dev๋ฐ์ดํฐ ์์ง
python crawler/get_players_from_db.py # ์ฃผ 2ํ: Ranking ยท Matches ยท Statistics
python crawler/run_monthly_player_data.py # ์ 1ํ: Profile ยท Bio ยท ImageSPORTORY/
โโโ crawler/ # ์์ง ยท Raw ์ ์ฌ ยท ์ ์ ยท ๋ฒ์ญ ์คํฌ๋ฆฝํธ
โ โโโ experiments/ # ์์ง ๋ฐฉ์ ๊ฒ์ฆ์ฉ ํ
์คํธ ์ฝ๋
โโโ backend/ # FastAPI (main.py ยท routers/)
โโโ frontend/ # React ยท Vite
โโโ docs/ # ์๋ํ ยท ์ ์ ์ถ๊ฐ ๊ฐ์ด๋, ํ๋ฉด ์บก์ฒ
โโโ requirements.txt





