[DB] 1,626만행 전량 재적재 (배치 적재·인덱스, 현재 ~40만행)

[reo-23]

개요 (DB · md DB-2/DB-5)

현재 ~40만행 → 1,626만행 전량 재적재.

완료 조건

• 배치 적재·인덱스 설계
• 재적재 완료 + 결측일 0 복원 정합성 검증 통과(M1 게이트)
• 처리 시간·메모리·디스크 기록

리스크

• 미완 시 표본 적재로 W3 진행, 성능 검증 W4 이월(md R1)

[choigod1023]

🟡 현황 정리 (닫지 않음)

현재 inventory 409,459행은 기관×품목 집계 스냅샷(원장 1,626만행 아님). 이는 서빙 성능상 의도된 설계 — SS/ROP·경보는 집계값으로 충분.

• 백테스트/수요예측용 시계열은 DB가 아니라 parquet로 제공: 정본 레포 `output_full/backtest/stock_monthly_panel.parquet`(752만행, 0복원 월별패널) + `series_stats.parquet`.
• 원장 전량을 DB에 넣을지는 용량·비용 대비 실익 확인 후 결정 권장(Neon 프리티어). 넣는다면 배치적재+월파티셔닝+(기관,품목,재고마감일) 인덱스 필요.

[reo-23]

2026-07-28 전제 정정 및 목표 전환 제안

전제 정정 — import_batches 확인 결과 원본 전량 처리는 이미 완료되어 있습니다.

항목	값
total_rows / valid_rows	16,263,091 / 16,257,973
mapping_rate	98.11%
status	COMPLETED

즉 inventory 40.9만 행은 미완료 적재가 아니라 (기관, 표준코드) 단위 집계 결과입니다. "현재 ~40만행"이라는 이슈 제목의 전제가 사실과 다릅니다.

목표 전환 제안 — 재적재 자체보다 시간축·부서축을 갖는 시계열 테이블 신설이 실제 필요 작업입니다 → #63

재적재를 실행한다면 함께 반영해야 할 사항 2건

1. 행수 유실 — 정의서 기재 16,265,602 vs 적재 16,263,091 = 2,511행 유실. 물품명 줄바꿈을 quotechar 로 처리하면 복구됨 → [데이터] DAT 파서 quotechar 미처리로 2,511행 유실 — 재적재 시 행수 검증 게이트 #66
2. 항등식 정정 — 종전 "정합성 위반 3.14%"는 데이터 오류가 아니라 항등식 정의 오류였음. 자동폐기출고량 제외 시 100% 일치 → [데이터] 재고 항등식 정정 — 자동폐기출고량은 수지 미반영 컬럼, 수요 집계에서 제외 ai#42

연관: #63, #66, #64 (정합성 게이트), DGU-TeamLex/ai#42