[DB] 결측일 0 복원 규칙 확정 및 정합성 검증

[reo-23]

개요 (DB · md DB-3)

결측일 0 복원 규칙을 확정하고 정합성을 검증한다.

완료 조건

• 결측일 0 복원 규칙 확정
• 정합성 검증(수불식 일치, 음수/0 재고 리포트)

관련

• ai mu 결측일 0 복원 보정과 페어

[choigod1023]

🟡 정합성 검증 완료 / 규칙 확정은 팀 승인 대기 (닫지 않음)

검증됨: 원장은 거래일만 행이 있는 희소 패널(시계열당 관측 중앙값 11일/731일). 결측일을 수요0으로 복원하지 않으면 mu가 ~8배 과대(12.77→1.95).

내가 채택한 규칙(B): 시계열별 최초등장월~기간말을 완전패널로 펴고 결측월 수요=0. (근거: 최초등장 이전은 미취급으로 보고 제외, 이후는 미거래=수요0으로 간주)

• 대안 규칙A(전 기간 0채움)·규칙C(마지막거래 이후 절단)와 비교 필요.
• 팀 공식 확정 요청: A/B/C 중 무엇을 표준으로 할지. 현재 DB·백테스트 데이터셋은 B로 통일돼 있음.

[choigod1023]

추가 안건: 원장→DB 변환 시 음수 재고 처리 규칙도 함께 확정 필요

이 이슈는 "결측일 0 복원"이 주제인데, 원장→inventory 변환에서 문서화되지 않은 또 하나의 값 처리 규칙이 이미 적용되고 있는 걸 발견해서 같이 확정 요청드립니다.

발견 내용 (2026-07-18 실측)

원장(물품재고_정규화완료.parquet, 16,265,602행)에서 기관×물품 최종 마감재고량을 직접 재계산해 DB inventory.on_hand 와 대조했습니다.

	원장 재계산	DB on_hand
행수	409,519	409,459
0인 행	30.7%	31.3%
평균	950.0	948.6
음수 행	2,269건	0건

→ on_hand 는 이미 원장 유래가 맞고 값도 일치합니다(재적재 불필요). 다만 원장에 있는 음수 최종재고 2,269건이 DB에서는 0건 — 적재 과정에서 음수가 클리핑(또는 제외)되고 있으나 어디에도 명시돼 있지 않습니다.

확정 필요 사항

1. 음수 재고를 어떻게 처리할 것인가?
   • (A) 0으로 클리핑 — 현재 동작. 단순하나 "왜 음수가 났는지" 신호가 사라짐
   • (B) 원값 보존 + 플래그 컬럼 — 데이터 품질 추적 가능, status 파생 로직 수정 필요
   • (C) 해당 행 제외 — 행수 불일치 유발
2. 음수의 원인 규명: 반품/보정 출고가 입고보다 큰 경우인지, 기초재고 누락인지. 원인에 따라 처리 방식이 달라집니다.
3. 결정된 규칙을 import_ssis_dataset.py docstring 과 본 이슈에 명시.

참고 — 함께 발견된 데이터 품질 이슈 (별건이나 관련)

• on_hand 상위 2행이 **전국 총합의 51.5%**를 차지합니다((금연)멘톨캔디 99,999,400 · 임신축하용품 99,997,569). 단위(UoM) 오류 의심.
• 1만 이상 이상치 1,449건 / 570개 기관(전체 기관의 16%)에 분포.
• 이에 따라 summary.totalOnHand 는 단위 혼재 합계라 대표지표로 부적합 → 별도 PR에서 stockoutItems(128,250) · outlierItems(1,449) 지표를 추가하고 경고를 명시했습니다.
• 이상치 1,449건 검토용 xlsx(기관별 집계 포함)를 산학협력 채널로 SSIS에 확인 요청할 예정입니다.

[choigod1023]

결측일 0 복원 규칙 확정안 + 정합성 검증 결과

1. 규칙 확정 (제안)

규칙 B — 관측기간 전체를 분모로 결측일을 수요 0으로 복원

일평균수요(mu) = Σ정상출고량 / T      (T = 품목 최초 등장일 ~ 기간말 총 일수)
표준편차(sigma) = √( Σ출고량²/T − mu² )
하한: mu ≥ 0.5, sigma ≥ 0.1

근거: 원장은 거래가 있는 날만 기록되는 희소 자료다. 거래일만 평균하면 "거래한 날의 평균"이 되어 실제 일평균의 약 8배로 과대추정된다. 분모를 T로 두어 결측일을 수요 0으로 복원하면 정상화된다(mu 평균 12.77 → 1.95). fix_inventory_stats.py:106-112.

참고로 규칙 A(전량 재적재 시 결측 행을 물리적으로 채움)는 집계 설계상 별도이며, 본 규칙은 적재된 요약행에서 통계를 산출하는 단계에 해당합니다. #39(전량 재적재)와 상호 배타적이지 않습니다.

2. 정합성 검증 (2026-07-24, 운영 DB 409,459행)

음수/0 재고 리포트

항목	값	판정
on_hand < 0	0	✅ 적재 시 0 클리핑(#40 안건 반영)
available < 0	0	✅
on_hand = 0	128,250	재고 0(원인은 아래)
mu < 0.5	0	✅ 하한 정상
mu = 0.5(하한 적용)	296,537	무수요 추정 품목

수불식(재고 연속성) 검증 — 원장 16,265,602행 기준:

• 정상출고량 > 이전최종재고량 + 입고량(있지도 않은 재고를 출고) = 54,930행(0.34%)
• 이 위반은 재고 기재 누락의 직접 증거로, 재고 0 품목 원인 분류에서 DATA_MISSING 3,991건으로 별도 표시했습니다(ai#32).

3. 재고 0 의 원인 분해 (부가)

재고 0(128,250)이 전부 결품은 아니며, 정합성으로 분리했습니다:

원인	건수
실제 결품(TRUE_STOCKOUT)	63,398
미운영(NOT_OPERATED, 출고이력 없음)	60,824
데이터누락(DATA_MISSING, 정합성 위반)	3,991

완료 조건 대응

• 결측일 0 복원 규칙 확정 → 규칙 B(위)
• 정합성 검증(수불식 일치, 음수/0 재고 리포트) → 위 표. 음수 0, mu 하한 정상, 위반 0.34% 식별·분류 완료

규칙 B로 팀 확정해 주시면 닫겠습니다. 다른 규칙(예: 하한값 0.5 조정)을 원하시면 알려주세요.

[reo-23]

2026-07-28 정의서 v3 근거 — 규칙 확정 가능

정의서 v3 의 재고마감일 정의가 "재고 마감이 발생한 일자" 로 명시되어 있습니다. 즉 행이 없는 날은 재고 0 이 아니라 기록이 없는 것입니다.

이에 따라 결측일 복원 규칙을 다음으로 확정할 수 있습니다.

항목	처리
재고량(이전최종재고량·마감재고량)	직전값 유지 (carry forward)
출고량·입고량	0 으로 채움

희소성 실측 — 기관×품목 조합별 관측일수 중앙값은 2024~25 기준 11일 / 731일입니다(조합 409,459개 전수). 복원 없이 산출한 mu 는 실측상 과대해지므로(scripts/fix_inventory_stats.py 헤더 참조) 본 규칙 확정이 선행되어야 합니다.

주의 — 순수요는 정상출고량 이며 자동폐기출고량 은 수요에서 제외해야 합니다 (DGU-TeamLex/ai#40, DGU-TeamLex/ai#42).

연관: DGU-TeamLex/ai#40, DGU-TeamLex/ai#42, #63