Skip to content
Jenny5789Public

About

A tennis data service connecting ATP records with player stories.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

ย 

History

35 Commits

Folders and files

NameName
Last commit message
Last commit date
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 

Repository files navigation

SPORTORY ย ย ย ย ย 2026.09

Selenium ยท CDP๋กœ ATP ์„ ์ˆ˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•ด DB ยท API ยท ์›น ํ™”๋ฉด ยท ๋ฐฐํฌ ยท ์ž๋™ํ™”๊นŒ์ง€ 1์ธ์œผ๋กœ ๊ตฌ์ถ•ํ•œ ํ’€์Šคํƒ ๋ฐ์ดํ„ฐ ์„œ๋น„์Šค.

๐Ÿ”— ์„œ๋น„์Šค ๋ฐ”๋กœ๊ฐ€๊ธฐ ยท ์„ค๊ณ„ ์˜๋„ ยท ์ง„ํ–‰ ๊ณผ์ • ยท ๋ฌธ์ œ ํ•ด๊ฒฐ

Python Selenium PostgreSQL FastAPI React Gemini

์ˆ˜์ง‘ํ•œ ATP ์„ ์ˆ˜ ์นด๋“œ ๋ชฉ๋ก

๊ฐœ์š”

  • ๋ฌธ์ œ
    • ๊ฒฝ๊ธฐ ์ผ์ • ยท ์ˆœ์œ„: ์—ฌ๋Ÿฌ ์‚ฌ์ดํŠธ์—์„œ ์‰ฝ๊ฒŒ ํ™•์ธ ๊ฐ€๋Šฅ
    • ์„ ์ˆ˜ Biography: ๋ถ„์‚ฐ๋˜์–ด ํ•œ๋ˆˆ์— ๋ชจ์•„๋ณด๊ธฐ ์–ด๋ ค์›€
  • ํ•ด๊ฒฐ
    • ์Šคํฌ๋ž˜ํ•‘์œผ๋กœ ํ•„์š”ํ•œ ์ •๋ณด๋ฅผ ์ˆ˜์ง‘ํ•ด ํ•œ ๊ณณ์—์„œ ์ œ๊ณตํ•˜๋Š” ์›น ์„œ๋น„์Šค ๊ตฌํ˜„
    • ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋ฐ›๋Š” JSON ์‘๋‹ต ์ˆ˜์ง‘ โ†’ ์›๋ณธ DB ์ €์žฅ โ†’ ์ •์ œ
    • Biography: ์›๋ฌธ ๋ณ€๊ฒฝ ์‹œ์—๋งŒ ํ•œ๊ตญ์–ด ๋ฒˆ์—ญ
  • ๊ฒฐ๊ณผ
    • ๊ฒฝ๊ธฐ ์ผ์ • ยท ์ˆœ์œ„ ยท Biography๋ฅผ ํ•œ ๊ณณ์—์„œ ์กฐํšŒ
    • ์„ ์ˆ˜ ๋ชฉ๋ก ์š”์ฒญ N+1ํšŒ โ†’ 1ํšŒ๋กœ ๋‹จ์ถ•
    • ์„ ์ˆ˜ 20๋ช… ๋ฐ์ดํ„ฐ ์šด์˜ ์ค‘

ํ•œ๋ˆˆ์— ๋ณด๊ธฐ

ํ•ญ๋ชฉ ๋‚ด์šฉ
์—ญํ•  1์ธ ยท ๊ธฐํš, ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘, DB ์„ค๊ณ„, ๋ฐฑ์—”๋“œ, ํ”„๋ก ํŠธ์—”๋“œ, ๋ฐฐํฌ, ์ž๋™ํ™”
๊ธฐ๊ฐ„ 2026.09 โ€“ 2026.10 (3์ฃผ)
๊ทœ๋ชจ ์„ ์ˆ˜ 20๋ช… ยท DB ํ…Œ์ด๋ธ” 8๊ฐœ ยท REST API 6๊ฐœ
๋ฐฐํฌ DB Supabase ยท API Render ยท ์›น Vercel

ํ•ต์‹ฌ ์—ญ๋Ÿ‰

  1. ๋ฐ์ดํ„ฐ ์†Œ์Šค ๋ถ„์„: ๊ฐœ๋ฐœ์ž ๋„๊ตฌ๋กœ ํ™”๋ฉด ๋ฐ์ดํ„ฐ์˜ ์ถœ์ฒ˜(API ์‘๋‹ต ยท HTML)๋ฅผ ํŒŒ์•…ํ•ด ์ˆ˜์ง‘ ๋ฐฉ์‹ ์„ค๊ณ„
  2. ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜ ์ˆ˜์ง‘: Selenium + CDP Network ๋กœ๊ทธ๋กœ API ์‘๋‹ต(JSON) ์ˆ˜์ง‘, ๋ด‡ ์ฐจ๋‹จ(403) ๋Œ€์‘
  3. ELT ํŒŒ์ดํ”„๋ผ์ธ: Raw ์ ์žฌ โ†’ ์ •์ œ ยท ์ •๊ทœํ™” โ†’ UPSERT, ์›๋ณธ ๊ธฐ๋ฐ˜ ์žฌ์ฒ˜๋ฆฌ ๊ตฌ์กฐ
  4. LLM ์—ฐ๋™: ๋ณ€๊ฒฝ ๊ฐ์ง€๋กœ ํ˜ธ์ถœ ์ตœ์†Œํ™”, Structured Output(JSON Schema)๊ณผ ์‘๋‹ต ๊ฒ€์ฆ
  5. ์„œ๋น™ ยท ์šด์˜: REST API ์„ค๊ณ„(N+1 ์ œ๊ฑฐ), Supabase ยท Render ยท Vercel ๋ฐฐํฌ, ์Šค์ผ€์ค„๋ง ์ž๋™ํ™”

์•„ํ‚คํ…์ฒ˜

ATP ์›น์‚ฌ์ดํŠธ โ†’ ์ˆ˜์ง‘ โ†’ Raw ์ €์žฅ โ†’ ์ •์ œ ยท ๋ฒˆ์—ญ โ†’ DB โ†’ API โ†’ ์›น ํ™”๋ฉด

์„ค๊ณ„ ์˜๋„

5๊ฐœ ํ•ต์‹ฌ ๊ฒฐ์ •์„ ๋ฌธ์ œ โ†’ ๋ฐฉ๋ฒ• ์ˆœ์œผ๋กœ ์ •๋ฆฌ

1. ์ˆ˜์ง‘: ํ™”๋ฉด HTML ๋Œ€์‹  JSON ์‘๋‹ต ์ˆ˜์ง‘

  • ๋ฌธ์ œ
    • requests ์š”์ฒญ ์‹œ 403 Forbidden ์ฐจ๋‹จ
    • ํ™”๋ฉด HTML ํŒŒ์‹ฑ์€ ๋ ˆ์ด์•„์›ƒ ๋ณ€๊ฒฝ์— ์ทจ์•ฝ
  • ๋ฐฉ๋ฒ•
    • Selenium ์‹คํ–‰ โ†’ CDP ๋„คํŠธ์›Œํฌ ๋กœ๊ทธ์—์„œ JSON ์‘๋‹ต ์ถ”์ถœ
    • JSON์— ์—†๋Š” Biography๋งŒ HTML ํŒŒ์‹ฑ
  • ๊ฒฐ๊ณผ: ํ”„๋กœํ•„ ยท ์ˆœ์œ„ ยท ๊ฒฝ๊ธฐ ยท ํ†ต๊ณ„ ยท ์ด๋ฏธ์ง€ 5์ข…์„ JSON์œผ๋กœ ์ˆ˜์ง‘

2. ์ €์žฅ: ์›๋ณธ ์šฐ์„  ์ ์žฌ, ์ •์ œ๋Š” ํ›„์† ์ฒ˜๋ฆฌ

  • ๋ฌธ์ œ: ์ˆ˜์ง‘ ์ฆ‰์‹œ ์ •์ œํ•˜๋ฉด ์ •์ œ ๊ทœ์น™ ๋ณ€๊ฒฝ ์‹œ ์žฌ์ˆ˜์ง‘ ํ•„์š”
  • ๋ฐฉ๋ฒ•: raw_data์— ์ถœ์ฒ˜ ยท URL ยท ์„ ์ˆ˜ ID ยท ์ˆ˜์ง‘ ์‹œ๊ฐ๊ณผ ํ•จ๊ป˜ ์›๋ณธ ์ ์žฌ ํ›„ ์ •์ œ
  • ๊ฒฐ๊ณผ: ์ •์ œ ๊ทœ์น™์ด ๋ฐ”๋€Œ์–ด๋„ ์žฌ์ˆ˜์ง‘ ์—†์ด ์›๋ณธ์œผ๋กœ ์žฌ์ฒ˜๋ฆฌ ๊ฐ€๋Šฅ

3. ๊ฐฑ์‹ : ๋ฐ์ดํ„ฐ๋ณ„ ์ฃผ๊ธฐ ์ˆ˜์ง‘ + UPSERT

  • ๋ฌธ์ œ: ๋ฐ์ดํ„ฐ๋งˆ๋‹ค ๊ฐฑ์‹  ์ฃผ๊ธฐ๊ฐ€ ๋‹ค๋ฆ„ (์ˆœ์œ„ ์ฃผ ๋‹จ์œ„, ํ”„๋กœํ•„ ยท Biography ๋ณ€๊ฒฝ ๋นˆ๋„ ๋‚ฎ์Œ)
  • ๋ฐฉ๋ฒ•
    • ์ˆœ์œ„ ยท ๊ฒฝ๊ธฐ ยท ํ†ต๊ณ„: ์ฃผ 2ํšŒ / ํ”„๋กœํ•„ ยท ์ด๋ฏธ์ง€ ยท Biography: ์›” 1ํšŒ
    • ํ‚ค ๊ธฐ์ค€ UPSERT(์žˆ์œผ๋ฉด ๊ฐฑ์‹ , ์—†์œผ๋ฉด ์ถ”๊ฐ€) โ†’ ์žฌ์‹คํ–‰ํ•ด๋„ ๊ฒฐ๊ณผ ๋™์ผ
  • ๊ฒฐ๊ณผ: ์ˆœ์œ„ ยท ๊ฒฝ๊ธฐ ยท ํ†ต๊ณ„ ์ฃผ 2ํšŒ, ํ”„๋กœํ•„ ยท Biography ์›” 1ํšŒ ์ž๋™ ์ˆ˜์ง‘ ์šด์˜

4. ๋ฒˆ์—ญ: ๋ณ€๊ฒฝ ๊ฐ์ง€ + ๊ตฌ์กฐํ™” ์‘๋‹ต + ๊ฒ€์ฆ

  • ๋ฌธ์ œ: ์›” 1ํšŒ ์žฌ์ˆ˜์ง‘ ์‹œ ๋ณ€๊ฒฝ ์—†๋Š” ์›๋ฌธ๋„ ๋ฐ˜๋ณต ๋ฒˆ์—ญ โ†’ API ๋น„์šฉ ๋‚ญ๋น„
  • ๋ฐฉ๋ฒ•
    • ๊ธฐ์กด ยท ์‹ ๊ทœ ์›๋ฌธ ์„น์…˜๋ณ„ ๋น„๊ต โ†’ ๋ณ€๊ฒฝ ์‹œ์—๋งŒ Gemini ํ˜ธ์ถœ
    • JSON Schema๋กœ ์‘๋‹ต ํ˜•์‹ ๊ณ ์ •
    • ์›๋ฌธ ยท ๋ฒˆ์—ญ ๊ฐœ์ˆ˜ ๊ฒ€์ฆ, item_order๋กœ ์ˆœ์„œ ์žฌ๋งคํ•‘
  • ๊ฒฐ๊ณผ: ๋ณ€๊ฒฝ ์—†๋Š” ์„ ์ˆ˜๋Š” Gemini ํ˜ธ์ถœ ์ƒ๋žต

5. API: ํ™”๋ฉด ๋‹จ์œ„ ์‘๋‹ต ์„ค๊ณ„

  • ๋ฌธ์ œ: ๋ชฉ๋ก ์กฐํšŒ ํ›„ ์„ ์ˆ˜๋งˆ๋‹ค ์ˆœ์œ„๋ฅผ ์žฌ์š”์ฒญ (N+1 ์š”์ฒญ)
  • ๋ฐฉ๋ฒ•: /players ์‘๋‹ต์— ์ตœ์‹  ์ˆœ์œ„ ยท ์ ์ˆ˜ ํฌํ•จ
  • ๊ฒฐ๊ณผ: ๋ชฉ๋ก ํ™”๋ฉด ์š”์ฒญ N+1ํšŒ โ†’ 1ํšŒ

์ง„ํ–‰ ๊ณผ์ •

๋‹จ๊ณ„ ์ž‘์—… ๊ฒ€์ฆ
1. ๋ฐ์ดํ„ฐ ์†Œ์Šค ๋ถ„์„ ๊ฐœ๋ฐœ์ž ๋„๊ตฌ๋กœ ๋ฐ์ดํ„ฐ ์ถœ์ฒ˜ ํŒŒ์•…, requests ยท Playwright ยท Selenium ๋น„๊ต ์‹คํ—˜ 403 ์ฐจ๋‹จ ํ™•์ธ, CDP๋กœ JSON ์‘๋‹ต ํ™•๋ณด
2. ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ• Raw ์ ์žฌ โ†’ ์ •์ œ โ†’ UPSERT, ์ˆ˜์ง‘๊ธฐ ์ผ๋ฐ˜ํ™” ์„ ์ˆ˜ ID๋งŒ ๋ฐ”๊ฟ” ๋™์ผ ์ˆ˜์ง‘๊ธฐ๋กœ ๋‹ค์ˆ˜ ์„ ์ˆ˜ ์ˆ˜์ง‘
3. API ๊ฐœ๋ฐœ FastAPI REST API 6๊ฐœ ํ™”๋ฉด๋ณ„ ํ•„์š” ์‘๋‹ต ๊ตฌ์กฐ ์ •์˜
4. ํ”„๋ก ํŠธ์—”๋“œ React ์„ ์ˆ˜ ๋ชฉ๋ก ยท ์นด๋“œ ยท ์ƒ์„ธ ํ™”๋ฉด API ์—ฐ๋™, ์นด๋“œ ์•ž๋’ค ยท Biography Story
5. ๋ฐฐํฌ Supabase ยท Render ยท Vercel, CORS ์„ค์ • ๋ฐฐํฌ ํ™˜๊ฒฝ ํ™”๋ฉด ยท API ์—ฐ๊ฒฐ
6. ์ž๋™ํ™” Windows ์ž‘์—… ์Šค์ผ€์ค„๋Ÿฌ ์ฃผ 2ํšŒ ยท ์›” 1ํšŒ ์ž๋™ ์ˆ˜์ง‘
7. ๊ฐœ์„  N+1 ์š”์ฒญ ์ œ๊ฑฐ, SPA ๋ผ์šฐํŒ… ์„ค์ • ๋ชฉ๋ก ํ™”๋ฉด ์š”์ฒญ 1ํšŒ๋กœ ๊ฐ์†Œ

ํ•ต์‹ฌ ์ฝ”๋“œ

CDP Network ๋กœ๊ทธ์—์„œ API ์‘๋‹ต ์ถ”์ถœ

collect_player_stats.py

options.set_capability("goog:loggingPrefs", {"performance": "ALL"})   # Network ๋กœ๊ทธ ํ™œ์„ฑํ™”
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Network.enable", {})

driver.get(stats_page_url)
performance_logs = driver.get_log("performance")

for log in performance_logs:
    message = json.loads(log["message"])["message"]
    if message["method"] != "Network.responseReceived":
        continue

    response = message["params"]["response"]
    if target_pattern not in response.get("url", ""):         # ํ†ต๊ณ„ API ์‘๋‹ต๋งŒ ํ•„ํ„ฐ๋ง
        continue

    body_result = driver.execute_cdp_cmd(                      # requestId๋กœ ์‘๋‹ต ๋ณธ๋ฌธ ์กฐํšŒ
        "Network.getResponseBody",
        {"requestId": message["params"]["requestId"]}
    )
    stats_data = json.loads(body_result["body"])
    break
# (base64 ๋””์ฝ”๋”ฉ, ์˜ˆ์™ธ ์ฒ˜๋ฆฌ, ๋กœ๊ทธ ์ถœ๋ ฅ ์ƒ๋žต)

LLM Structured Output๊ณผ ์‘๋‹ต ๊ฒ€์ฆ

translate_player_bio.py ยท check_bio_changed.py

response = client.models.generate_content(
    model="gemini-3.1-flash-lite",
    contents=prompt,
    config=types.GenerateContentConfig(
        temperature=0.2,
        response_mime_type="application/json",
        response_schema={                                    # ์‘๋‹ต ์Šคํ‚ค๋งˆ ๊ณ ์ •
            "type": "ARRAY",
            "items": {
                "type": "OBJECT",
                "properties": {
                    "item_order": {"type": "INTEGER"},
                    "translated_text": {"type": "STRING"}
                },
                "required": ["item_order", "translated_text"]
            }
        }
    )
)

translated_items = json.loads(response.text)

if len(translated_items) != len(texts):                      # ๋ˆ„๋ฝ ๊ฒ€์ฆ
    raise ValueError(f"์›๋ฌธ {len(texts)}๊ฐœ / ๋ฒˆ์—ญ {len(translated_items)}๊ฐœ")

translated_by_order = {                                      # item_order ๊ธฐ์ค€ ์žฌ๋งคํ•‘
    item["item_order"]: item["translated_text"]
    for item in translated_items
}

๋ฌธ์ œ ํ•ด๊ฒฐ

1. ์ˆ˜์ง‘: ATP ์š”์ฒญ 403 Forbidden

  • ํ˜„์ƒ: requests๋กœ ํŽ˜์ด์ง€ ์š”์ฒญ ์‹œ 403 ์‘๋‹ต
  • ์›์ธ ๋ถ„์„: ์‘๋‹ต ์ƒํƒœ ์ฝ”๋“œ ยท ๋ณธ๋ฌธ ์ถœ๋ ฅ์œผ๋กœ ๋น„๋ธŒ๋ผ์šฐ์ € ์š”์ฒญ ์ฐจ๋‹จ ํ™•์ธ (test_atp_request.py)
  • ํ•ด๊ฒฐ: Selenium ๋ธŒ๋ผ์šฐ์ € ์‹คํ–‰ + CDP Network ๋กœ๊ทธ ๊ธฐ๋ฐ˜ ์‘๋‹ต ์ˆ˜์ง‘์œผ๋กœ ์ „ํ™˜
  • ๊ฒฐ๊ณผ: ํ”„๋กœํ•„ ยท ์ˆœ์œ„ ยท ๊ฒฝ๊ธฐ ยท ํ†ต๊ณ„ ยท ์ด๋ฏธ์ง€ 5์ข… JSON ์ˆ˜์ง‘

2. ๋ฒˆ์—ญ: ๋ณ€๊ฒฝ ์—†๋Š” Biography ๋ฐ˜๋ณต ๋ฒˆ์—ญ

  • ํ˜„์ƒ: ์›” 1ํšŒ ์žฌ์ˆ˜์ง‘๋งˆ๋‹ค ๋™์ผ ์›๋ฌธ ์žฌ๋ฒˆ์—ญ
  • ์›์ธ ๋ถ„์„: ๋ณ€๊ฒฝ ์—ฌ๋ถ€์™€ ๋ฌด๊ด€ํ•˜๊ฒŒ ๋ฒˆ์—ญ ๋‹จ๊ณ„ ์‹คํ–‰
  • ํ•ด๊ฒฐ: ๊ธฐ์กด ์›๋ฌธ๊ณผ ์„น์…˜๋ณ„ ๋น„๊ต ํ›„ ๋ณ€๊ฒฝ ์‹œ์—๋งŒ ๋ฒˆ์—ญ
  • ๊ฒฐ๊ณผ: ๋ณ€๊ฒฝ ์—†๋Š” ์„ ์ˆ˜๋Š” Gemini ํ˜ธ์ถœ ์ƒ๋žต

3. ์ž๋™ํ™”: GitHub Actions์—์„œ ํ†ต๊ณ„ ์‘๋‹ต ์ˆ˜์ง‘ ์‹คํŒจ

  • ํ˜„์ƒ: ๋กœ์ปฌ์—์„œ๋Š” ์ˆ˜์ง‘๋˜๋˜ ํ†ต๊ณ„ ์‘๋‹ต์ด Actions ํ™˜๊ฒฝ์—์„œ ๋ฏธ์ˆ˜์ง‘
  • ์›์ธ ๋ถ„์„: ์‘๋‹ต URL ๋กœ๊ทธ ์ถ”๊ฐ€, Chrome ์‹คํ–‰ ์˜ต์…˜ ์กฐ์ •์œผ๋กœ ์›์ธ ๋ฒ”์œ„ ์ถ•์†Œ ์‹œ๋„
  • ํ•ด๊ฒฐ: Windows ์ž‘์—… ์Šค์ผ€์ค„๋Ÿฌ๋กœ ์ „ํ™˜. ์ƒ์‹œ ์‹คํ–‰์ด ํ•„์š”ํ•œ Python schedule ๋ฐฉ์‹๋„ ์ œ์™ธ
  • ๊ฒฐ๊ณผ: ์ฃผ 2ํšŒ ยท ์›” 1ํšŒ ์ž๋™ ์ˆ˜์ง‘ ์šด์˜

4. API: ์„ ์ˆ˜ ๋ชฉ๋ก ํ™”๋ฉด N+1 ์š”์ฒญ

  • ํ˜„์ƒ: ๋ชฉ๋ก ์กฐํšŒ ํ›„ ์„ ์ˆ˜๋งˆ๋‹ค /rankings?limit=1 ์ถ”๊ฐ€ ์š”์ฒญ
  • ์›์ธ ๋ถ„์„: ๋ชฉ๋ก API๊ฐ€ ํ™”๋ฉด์— ํ•„์š”ํ•œ ์ตœ์‹  ์ˆœ์œ„๋ฅผ ๋ฏธํฌํ•จ
  • ํ•ด๊ฒฐ: /players ์‘๋‹ต์— ์ตœ์‹  ์ˆœ์œ„ ยท ์ ์ˆ˜ ํฌํ•จ (์ปค๋ฐ‹)
  • ๊ฒฐ๊ณผ: ๋ชฉ๋ก ํ™”๋ฉด ์š”์ฒญ N+1ํšŒ โ†’ 1ํšŒ, ํ”„๋ก ํŠธ์—”๋“œ ์š”์ฒญ ๋กœ์ง ๋‹จ์ˆœํ™”

๊ฒฐ๊ณผ ํ™”๋ฉด

์„ ์ˆ˜ ์นด๋“œ (์•ž๋ฉด) ์ˆœ์œ„ ์ด๋ ฅ
์„ ์ˆ˜ ์นด๋“œ ์ˆœ์œ„ ์ด๋ ฅ

Biography (์›๋ฌธ ์ˆ˜์ง‘ โ†’ LLM ๋ฒˆ์—ญ)

์˜์–ด (์ˆ˜์ง‘ ์›๋ฌธ) ํ•œ๊ตญ์–ด (Gemini ๋ฒˆ์—ญ)
Biography ์˜์–ด ์›๋ฌธ Biography ํ•œ๊ตญ์–ด ๋ฒˆ์—ญ

ํ•œ๊ณ„์™€ ๊ฐœ์„  ๋ฐฉํ–ฅ

  • ๋กœ์ปฌ ์Šค์ผ€์ค„๋Ÿฌ ์˜์กด: PC ์ข…๋ฃŒ ์‹œ ์ˆ˜์ง‘ ์ค‘๋‹จ โ†’ ํด๋ผ์šฐ๋“œ ์Šค์ผ€์ค„๋ง ํ•„์š”
  • ์ˆ˜์ง‘ ๋Œ€์ƒ ํ™•์žฅ: ์„ ์ˆ˜ ์ถ”๊ฐ€ ์ ˆ์ฐจ๋Š” ADD_PLAYER_GUIDE.md๋กœ ์ •๋ฆฌ, ๋Œ€์ƒ ํ™•๋Œ€ ์‹œ ์ˆ˜์ง‘ ์‹œ๊ฐ„ ์ฆ๊ฐ€ ๋Œ€์‘ ํ•„์š”
  • ํ…Œ์ŠคํŠธ ๋ถ€์žฌ: ์ •์ œ ยท ๋งคํ•‘ ํ•จ์ˆ˜ ๋‹จ์œ„ ํ…Œ์ŠคํŠธ๋กœ ์™ธ๋ถ€ ์Šคํ‚ค๋งˆ ๋ณ€๊ฒฝ ์กฐ๊ธฐ ๊ฐ์ง€ ํ•„์š”

๊ธฐ์ˆ  ์Šคํƒ

์˜์—ญ ๊ธฐ์ˆ 
์–ธ์–ด Python, JavaScript(JSX), HTML, CSS
์ˆ˜์ง‘ Selenium, Chrome DevTools Protocol(CDP) Network ๋กœ๊ทธ
๋ฒˆ์—ญ Google Gemini API (google-genai, Structured Output)
DB ยท ์Šคํ† ๋ฆฌ์ง€ PostgreSQL, Supabase(Storage ํฌํ•จ), psycopg
๋ฐฑ์—”๋“œ FastAPI, Uvicorn
ํ”„๋ก ํŠธ์—”๋“œ React 19, Vite 8, React Router 7, CSS(์ปดํฌ๋„ŒํŠธ๋ณ„ ํŒŒ์ผ)
์ž๋™ํ™” Windows ์ž‘์—… ์Šค์ผ€์ค„๋Ÿฌ
๋ฐฐํฌ Supabase ยท Render(API) ยท Vercel(์›น)

๋ฐฐ์šด ์ 

  • ์ˆ˜์ง‘ ๋ฐฉ์‹์„ ๋ฐ”๊พธ๊ธฐ ์ „์— ์‘๋‹ต์„ ์ง์ ‘ ํ™•์ธํ•ด ์›์ธ๋ถ€ํ„ฐ ํŠน์ •ํ•˜๋Š” ์ ‘๊ทผ
  • ์›๋ณธ ์ €์žฅ๊ณผ ์ •์ œ๋ฅผ ๋ถ„๋ฆฌํ•ด ์žฌ์ฒ˜๋ฆฌ ๊ฐ€๋Šฅํ•œ ๊ตฌ์กฐ๋ฅผ ๋จผ์ € ์„ค๊ณ„ํ•˜๋Š” ๊ฒƒ์˜ ๊ฐ€์น˜
  • AI ๋ฒˆ์—ญ ๊ฒฐ๊ณผ๋Š” ์‘๋‹ต ํ˜•์‹ ๊ณ ์ •๊ณผ ๊ฒ€์ฆ์„ ๊ฑฐ์ณ์•ผ ์„œ๋น„์Šค ๋ฐ์ดํ„ฐ๋กœ ์“ธ ์ˆ˜ ์žˆ๋‹ค๋Š” ์ 
API ยท DB ํ…Œ์ด๋ธ”
Method Endpoint ์„ค๋ช…
GET /players ์„ ์ˆ˜ ๋ชฉ๋ก + ์ตœ์‹  ์ˆœ์œ„ ยท ์ ์ˆ˜
GET /players/{player_id} ์„ ์ˆ˜ ์ƒ์„ธ ์ •๋ณด ยท ์ด๋ฏธ์ง€ URL
GET /players/{player_id}/bio Biography (์˜๋ฌธ ยท ํ•œ๊ธ€)
GET /players/{player_id}/rankings ์ˆœ์œ„ ์ด๋ ฅ
GET /players/{player_id}/stats ํ†ต๊ณ„
GET /players/{player_id}/matches ๊ฒฝ๊ธฐ ยท ๋Œ€ํšŒ ์ •๋ณด
ํ…Œ์ด๋ธ” ์—ญํ• 
raw_data ์ˆ˜์ง‘ ์›๋ณธ ยท ์ˆ˜์ง‘ ์ •๋ณด
players ์„ ์ˆ˜ ๊ธฐ๋ณธ ์ •๋ณด
player_images ์„ ์ˆ˜ ์ด๋ฏธ์ง€ ๊ฒฝ๋กœ
player_ranking_history ์ˆœ์œ„ ยท ์ ์ˆ˜ ์ด๋ ฅ
player_stats ์„ ์ˆ˜ ํ†ต๊ณ„
matches ยท tournaments ๊ฒฝ๊ธฐ ยท ๋Œ€ํšŒ ์ •๋ณด
player_bios Biography ์›๋ฌธ ยท ๋ฒˆ์—ญ
์‹คํ–‰ ๋ฐฉ๋ฒ• ยท ํด๋” ๊ตฌ์กฐ

ํ™˜๊ฒฝ ๋ณ€์ˆ˜ (.env, ์ €์žฅ์†Œ ๋ฏธํฌํ•จ)

DB_HOST=
DB_PORT=
DB_NAME=
DB_USER=
DB_PASSWORD=
GEMINI_API_KEY=

๋ฐฑ์—”๋“œ

pip install -r requirements.txt
uvicorn backend.main:app --reload

ํ”„๋ก ํŠธ์—”๋“œ (VITE_API_BASE_URL ๋ฏธ์„ค์ • ์‹œ http://127.0.0.1:8000)

cd frontend
npm install
npm run dev

๋ฐ์ดํ„ฐ ์ˆ˜์ง‘

python crawler/get_players_from_db.py      # ์ฃผ 2ํšŒ: Ranking ยท Matches ยท Statistics
python crawler/run_monthly_player_data.py  # ์›” 1ํšŒ: Profile ยท Bio ยท Image
SPORTORY/
โ”œโ”€โ”€ crawler/            # ์ˆ˜์ง‘ ยท Raw ์ ์žฌ ยท ์ •์ œ ยท ๋ฒˆ์—ญ ์Šคํฌ๋ฆฝํŠธ
โ”‚   โ””โ”€โ”€ experiments/    # ์ˆ˜์ง‘ ๋ฐฉ์‹ ๊ฒ€์ฆ์šฉ ํ…Œ์ŠคํŠธ ์ฝ”๋“œ
โ”œโ”€โ”€ backend/            # FastAPI (main.py ยท routers/)
โ”œโ”€โ”€ frontend/           # React ยท Vite
โ”œโ”€โ”€ docs/               # ์ž๋™ํ™” ยท ์„ ์ˆ˜ ์ถ”๊ฐ€ ๊ฐ€์ด๋“œ, ํ™”๋ฉด ์บก์ฒ˜
โ””โ”€โ”€ requirements.txt

About

A tennis data service connecting ATP records with player stories.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages