AI 적중 기록

MoneyBall Score AI가 얼마나 정확한지 솔직하게 공개합니다. 시즌 내 모든 검증 완료 예측 기준.

최종 업데이트: 2026년 8월 23일

검증 완료

312

경기

전체 적중률

54.5%

170/312 적중

Brier Score

0.247

낮을수록 좋음 (동전=0.25)

보정 오차

-0.9%p

잘 보정됨

최근 30일 AI 토론 사용률

0/108 AI 추론 활성 (0%)

나머지 108건은 정량 모델만 사용했습니다 (AI 토론·사후분석 미적용). 보통 API 한도·일시 장애 영향이며, 적중 기록은 AI 토론이 적용된 예측만 사용합니다.

8/1

8/15

AI 토론 활성정량 fallback예측 없음

최근 정량 fallback: 8. 23. 오후 04:17 KST

최근 예측 폼

최근 20경기 9적중 (45%)vs 전체 54%▼ 하락 중

●××●●×●×●●×●×××××●×●

검증 완료된 최근 20경기 순서. 왼쪽이 이전, 오른쪽이 최신.

신뢰도 vs 실제 적중률

AI가 60% 확신으로 예측하면 실제로 60%를 맞히는가? 대각선에 가까울수록 잘 보정된 AI입니다. 원 크기 ∝ 예측 건수. 세로 막대 = 95% 신뢰구간.

30일 rolling 적중률 추세

최근 90일, window=30일

각 날짜의 직전 30일 평균 적중률입니다. 한두 경기 운에 흔들리지 않고 모델의 실제 추세를 보여줍니다. 50% 기준선보다 위에 있으면 모델이 동전 던지기보다 낫다는 뜻입니다.

예측 확률 구간별 실제 적중률

예측 = 실제 가까울수록 잘 보정

AI 가 50–60% 라고 한 경기는 실제 몇 %를 맞혔는지 비교합니다. 예측 구간 평균과 실제 적중률이 가까울수록 잘 보정된 모델입니다. 과신 (예측 > 실제 + 5%p) 구간은 주황색으로 표시됩니다.

cohort × 주차 비교

최근 4주

scoring_rule (모델 가중치 버전) × 주차 적중률 매트릭스 — 어느 가중치가 최근 주차에서 안정적인지 비교합니다. 요일 축 heatmap 의 시간 축 자매 view.

scoring_rule	7/20 주	7/27 주	8/10 주	8/17 주
전체	61% 11/18	30% 6/20	63% 17/27	47% 21/45
v1.8	61% 11/18	30% 6/20	63% 17/27	47% 21/45

색상 — brand-700 ≥70% / brand-500 ≥60% / brand-300 ≥50% / brand-100 <50% / 회색 N<3 소표본. 최근 4주 cohort 시계열 비교.

Brier 추세 (모델 진화)

낮을수록 정확. 0.25 = baseline

scoring_rule 별 주차 Brier — v1.5 → v1.6 → v1.7-revert → v1.8 진화 추세 시각화.

요일별 scoring_rule cohort

N<3 = 소표본 회색

요일별 scoring rule 코호트 × 적중률 매트릭스.

scoring_rule	월	화	수	목	금	토	일
전체	N=0 소표본	54% 37/68	48% 22/46	56% 29/52	56% 29/52	50% 25/50	64% 28/44
v1.8	N=0 소표본	54% 37/68	48% 22/46	56% 29/52	56% 29/52	50% 25/50	64% 28/44

색상 — 녹색 ≥60% / 노랑 ≥50% / 빨강 <50% / 회색 N<3 소표본. v1.6 anomaly + Sunday cap 효과 시각화.

주별 적중률 트렌드

주차	예측	적중	적중률
6/22 주	30	21	70.0%
6/29 주	23	13	56.5%
7/6 주	13	7	53.8%
7/13 주	18	5	27.8%
7/20 주	18	11	61.1%
7/27 주	20	6	30.0%
8/10 주	27	17	63.0%
8/17 주	45	21	46.7%

요일별 적중률

KST 기준. 요일에 따라 예측 난이도가 다를 수 있습니다. 막대 높이 ∝ 적중률. 일요일은 과적합 방지를 위해 AI 신뢰도 상한 45%를 적용합니다.

월—

—

화54%

37/68

수48%

22/46

목56%

29/52

금56%

29/52

토50%

25/50

일상한 45%64%

28/44

≥55%45~54%<45%50% 기준선

AI 확신도별 분석

AI가 스스로 매긴 확신도 구간별 실제 적중률. 확신이 높을수록 맞아야 잘 보정된 모델.

낮은 확신

~55%

53%

142/266

보통 확신

55~65%

60%

27/45

높은 확신

65%~

100%

±0% CI

1/1

AI 모델 버전별 성과

가중치 버전별 예측 정확도. 실패에서 배우고 개선하는 AI 진화 기록.

버전	기간	경기	적중률	변경 내용
v1.5	—	0	수집 중	기준 모델
v1.6	—	0	수집 중	ELO·상대전적 실험 → 저조로 복원
v1.7	—	0	수집 중	v1.5 가중치 복원 + 일요일 상한 0.55 도입
v1.8진행 중	5/13~8/23	312	54%	ELO 10%↑ / head_to_head 3%↓ + 일요일 상한 0.45 조정
v1.8-credit-fail	—	0	수집 중	v1.8 안 LLM credit 소진 / agents_failed 분리 cohort (baseline 정합성 회복 — plan #14 C1c)
v2.1-B-shadow	—	0	수집 중	v2.1-B + shadow factor (park_weather / umpire_sz) — cohort evidence only
v2.0-shadow	—	0	수집 중	v1.8 + elo/bullpen_fip/recent_form 가중치 bump — cohort evidence only
tabpfn-shadow	—	0	수집 중	TabPFN inference (Python) — import-tabpfn-predictions.ts 로 박제

각 버전 표본이 작아 95% 신뢰구간이 넓습니다 (±14~21%p). 절대 수치보다 방향성 참고용입니다.

v1.8 세부 분석

v1.8 가중치 안에서 AI 토론이 실제 활성화된 예측과 API 한도로 정량 fallback 처리된 예측을 분리. AI 토론 신뢰성을 별도 측정합니다.

AI 토론 활성

47건 (15%)

model_version: v2.0-debate | v2.0-postview

64%

30/47 적중

정량 fallback

265건 (85%)

API 한도/장애로 LLM 비활성

53%

140/265 적중

AI 토론 활성 예측이 정량 fallback 대비 +11.0pp 더 정확합니다.

AI 토론 사용률 = 15% (47/312). 표본이 작은 구간은 신뢰구간이 넓습니다 (±15~25%p).

팀별 예측 성과

경기 관련 팀 기준. 홈/원정 구분 없이 집계. N < 3 팀은 샘플 부족 표시.

팀	예측	적중	적중률
삼성	62	38	61.3%
KIA	64	39	60.9%
키움	67	38	56.7%
LG	66	37	56.1%
한화	59	33	55.9%
롯데	63	35	55.6%
SSG	64	35	54.7%
두산	61	32	52.5%
NC	60	27	45.0%
KT	58	26	44.8%

팀별 예측 편향 분석

모델이 특정 팀의 승리를 실제 승률 대비 얼마나 과잉/과소 예측하는지 보여줍니다. 편향 갭이 큰 팀은 모델 진단 참고 지표입니다.

팀	예측 승률	실제 승률	편향 갭	적중률
KIA과잉예측	76.6%	54.5%	+22.1%p	60.9%
KT과소예측	39.7%	61.0%	-21.3%p	44.8%
삼성	77.4%	59.6%	+17.8%p	61.3%
한화	28.8%	46.2%	-17.4%p	55.9%
NC	63.3%	46.2%	+17.1%p	45.0%
키움	22.4%	36.8%	-14.4%p	56.7%
LG	48.5%	55.0%	-6.5%p	56.1%
롯데	49.2%	46.3%	+2.9%p	55.6%
SSG	40.6%	41.3%	-0.7%p	54.7%
두산	54.1%	53.7%	+0.4%p	52.5%

편향 갭 = 예측 승률 − 실제 승률. +는 과잉예측(더 자주 이긴다고 예측), −는 과소예측. n≥5 팀만 표시. 실제 승률 = 현재 시즌 KBO 순위 기준.

팀별 상대 강약 분석

각 팀 경기에서 AI가 어떤 상대팀을 만날 때 잘 맞추고 못 맞추는지 분석합니다. n=1 결과는 연하게 표시됩니다 (표본 1건). 홈/원정 적중률은 각 n을 함께 표시합니다.

SSG55%

홈57% (30)

원정53% (34)

vs KIA6/8

vs LG4/6

vs 한화4/6

vs 삼성6/10

vs NC3/5

vs 키움3/6

vs KT4/9

vs 롯데3/8

vs 두산2/6

KIA61%

홈56% (32)

원정66% (32)

vs SSG6/8

vs LG5/7

vs 롯데4/6

vs 삼성6/9

vs 키움7/11

vs 한화4/7

vs 두산5/10

vs KT1/3

vs NC1/3

LG56%

홈55% (33)

원정58% (33)

vs NC5/5

vs 두산4/5

vs KIA5/7

vs SSG4/6

vs 삼성5/8

vs 롯데5/8

vs 한화4/7

vs 키움3/10

vs KT2/10

두산52%

홈60% (30)

원정45% (31)

vs LG4/5

vs 롯데5/7

vs 한화6/9

vs KIA5/10

vs 삼성3/6

vs 키움3/6

vs NC3/8

vs SSG2/6

vs KT1/4

KT45%

홈54% (26)

원정38% (32)

vs 삼성4/4

vs 한화4/5

vs 키움6/8

vs 롯데3/6

vs SSG4/9

vs KIA1/3

vs 두산1/4

vs LG2/10

vs NC1/9

삼성61%

홈60% (30)

원정63% (32)

vs KT4/4

vs 키움5/6

vs KIA6/9

vs LG5/8

vs SSG6/10

vs 한화3/5

vs 롯데3/5

vs 두산3/6

vs NC3/9

롯데56%

홈58% (31)

원정53% (32)

vs 키움6/7

vs 두산5/7

vs KIA4/6

vs LG5/8

vs 삼성3/5

vs NC5/10

vs KT3/6

vs SSG3/8

vs 한화1/6

한화56%

홈50% (28)

원정61% (31)

vs KT4/5

vs 두산6/9

vs NC4/6

vs SSG4/6

vs 삼성3/5

vs KIA4/7

vs LG4/7

vs 키움3/8

vs 롯데1/6

NC45%

홈43% (37)

원정48% (23)

vs LG5/5

vs 한화4/6

vs SSG3/5

vs 롯데5/10

vs 키움2/5

vs 두산3/8

vs 삼성3/9

vs KIA1/3

vs KT1/9

키움57%

홈54% (35)

원정59% (32)

vs 롯데6/7

vs 삼성5/6

vs KT6/8

vs KIA7/11

vs SSG3/6

vs 두산3/6

vs NC2/5

vs 한화3/8

vs LG3/10

팩터별 적중률

10개 세이버메트릭스 팩터가 각각 경기 결과를 얼마나 잘 예측했는지 분석합니다. 팩터 값이 특정 팀을 유리하다고 판단했을 때, 그 팀이 실제로 이긴 비율입니다.

팩터 값이 0.45~0.55 중립 범위 밖인 경기만 집계. 기준선(54%) 초과 팩터 = 모델 기여 / 미달 = 잡음 가능성. 전체 n=312건 중 팩터별 비중립 게임 수 표시.

#	팩터	n (홈/원정)	적중률
1	선발 투수력sp_fip	118 (58/60)	64%
2	선발 잠재력sp_xfip	106 (52/54)	64%
3	불펜 안정성bullpen_fip	21 (8/13)	62%
4	상대전적head_to_head	227 (112/115)	54%
5	최근 폼recent_form	238 (106/132)	52%
6	수비력sfr	295 (155/140)	50%
7	팀 기여도war	49 (37/12)	45%

∣ 기준선 = 전체 적중률 54% (v1.8 cohort n=312) ∣ 홈/원정 = 해당 팩터가 홈/원정팀 유리로 분류된 게임 수