Part 2 — Execution 120 minutes quality

기간 2026-03-26 ~ 2026-03-31 fee_rate 0.115% max_pos_krw 2,500,000.0 trade_window 15.0s ~ 60.0s trade_maker_ratios 0.0 / 1.0 cloudwatch_log_group /crackshot

ClickHouse Order Timing

created_at 기준으로 주문이 분 안의 어느 초에 몰려 있는지 봅니다. x축은 0~60초, bin size는 1초입니다.

top 5 bins: 30s 759건 (21.0%)  |  29s 690건 (19.1%)  |  28s 630건 (17.5%)  |  31s 459건 (12.7%)  |  32s 458건 (12.7%)

CloudWatch Order Submission Failures

CloudWatch /crackshot의 Created order: status=failed 로그를 읽고, failed 로그 시각 직전 30초 안에 생성된 주문은 모두 안 들어간 주문으로 간주합니다. 아래 failure ratio는 전체 주문 대비 비율이고, reason breakdown은 실패 주문 내부 비율과 전체 주문 대비 비율을 함께 보여줍니다.

total orders: 3,608  |  valid orders: 3,293  |  failed orders: 315 (8.7%)  |  orders in fail window: 315
Failure ReasonCount% of Failed% of Total
주문수량 오류315100.0%8.7%

요약 비교

Candle BT와 Trade BT를 각각 Real 체결과 비교합니다. Trade BT는 maker ratio 0.0 / 1.0 각각에 대해 별도 분석 블록을 만듭니다. Trade BT는 /data/krx/parquet 아래 trade parquet가 존재하는 날짜의 주문만 대상으로 계산하며, trade_window는 주문시각 상대지연이 아니라 분 anchor 기준의 고정 초 window로 해석합니다. 시작점은 max(order_time, start anchor), 종료점은 end anchor입니다. 현재 설정은 15.0s ~ 60.0s 입니다. Precision은 CloudWatch failed 로그 직전 30초 window 주문을 제외한 P(Real Hit | valid order & BT Hit)로 계산합니다.

모델분석 주문 수BT HitValid BT HitP(Real Hit | valid order & BT Hit)P(BT Hit | Real Hit)
Candle BT3,6082,7602,51122.8%92.5%
Trade BT (maker ratio 0.0)3,60825922397.8%35.2%
Trade BT (maker ratio 1.0)3,6081,09199442.6%67.9%

Candle BT — 케이스 발생률

Candle BT Hit: Candle BT 체결 모델 기준으로 주문이 체결된 경우입니다.
Real Hit: 주문 시각 이후 1분 이내에 kospi_trade에 동일 market/side로 실제 체결 기록이 존재하는 경우입니다.

Candle BT만 체결 비율이 높을수록 Candle BT 체결 모델이 실거래보다 낙관적으로 체결을 가정하고 있다는 의미입니다. 단, 아래 precision은 CloudWatch failed 로그 직전 30초 window에 걸린 주문을 분모에서 제외한 P(Real Hit | valid order & Candle BT Hit) 기준으로 계산합니다. 건수 기준과 함께 Notional(주문금액) 기준도 함께 보여 실제 금액 영향도를 파악합니다.

분석 주문 수: 3,608건
Real Hit Real Miss 합계
Candle BT Hit 614건
698,956,726 KRW		 2,146건
4,117,889,785 KRW		 2,760건
4,816,846,511 KRW
Candle BT Miss 50건
56,305,006 KRW		 798건
1,563,455,509 KRW		 848건
1,619,760,515 KRW
합계 664건
755,261,732 KRW		 2,944건
5,681,345,294 KRW
관점조건부 확률건수 %Notional %
Candle BT 기준 P(Real Hit  | valid order & Candle BT Hit) 22.8% 14.9%
Real 기준 P(Candle BT Hit  | Real Hit) 92.5% 92.5%
BT 유효 분모 valid order & Candle BT Hit 2,511건 4,401,751,614 KRW

Candle BT & Real 둘 다 체결 — Fill Price Quality

Candle BT과 실거래 모두 체결된 주문들에 대해, 두 체결가의 차이를 bp(basis point) 단위로 나타냅니다. 양수면 실거래 체결가가 Candle BT보다 유리했음을 의미합니다.

통계: mean=1.9bp  |  median=0.0bp  |  std=12.9bp  |  n=614

Candle BT Optimism vs 실거래 Quality 비교

Candle BT-only: Candle BT에서만 체결된 주문에 대해 "만약 체결됐다면"을 시뮬레이션합니다. 진입가 = 해당 BT exec price. 같은 (coin, side) 기준 120개 분봉 rolling window 내 누적 notional이 position cap(2,500,000 KRW) 초과하는 건 제외.
실거래 (case①②): 실제 체결된 주문의 quality입니다. 진입가 = real_exec_price, cap 필터 없음.
둘 다 진입 후 120개 거래 분봉 뒤 close 청산 기준, 편도 수수료 1회만 차감합니다. 이 섹션은 failed 로그 직전 30초 window에 걸린 주문은 제외한 valid order만 사용합니다.

mean은 notional-weighted 평균 (wmean = Σ(bp × notional) / Σ(notional)).
Candle BT-only
sidenotional-wtd meanstdn
total+47.4 bp229.6 bp665
buy+41.0 bp254.9 bp376
sell+58.5 bp192.1 bp289
실거래
sidenotional-wtd meanstdn
total-26.4 bp239.7 bp550
buy-57.3 bp247.8 bp240
sell+4.5 bp231.6 bp310

Candle BT만 체결 — 발생 패턴

Candle BT Hit / Real Miss가 어느 종목, 어느 시간대에 집중되는지를 확인합니다. 특정 종목이나 시간대에 편중되어 있다면 해당 체결 모델의 신뢰도가 낮다는 신호입니다.

Trade BT (maker ratio 0.0) — 케이스 발생률

Trade BT (maker ratio 0.0) Hit: Trade BT (maker ratio 0.0) 체결 모델 기준으로 주문이 체결된 경우입니다.
Real Hit: 주문 시각 이후 1분 이내에 kospi_trade에 동일 market/side로 실제 체결 기록이 존재하는 경우입니다.

Trade BT (maker ratio 0.0)만 체결 비율이 높을수록 Trade BT (maker ratio 0.0) 체결 모델이 실거래보다 낙관적으로 체결을 가정하고 있다는 의미입니다. 단, 아래 precision은 CloudWatch failed 로그 직전 30초 window에 걸린 주문을 분모에서 제외한 P(Real Hit | valid order & Trade BT (maker ratio 0.0) Hit) 기준으로 계산합니다. 건수 기준과 함께 Notional(주문금액) 기준도 함께 보여 실제 금액 영향도를 파악합니다.

maker ratio: 0.0  |  trade parquet가 존재하는 날짜의 주문만 분석: 3,608건 / 3,608건  |  dates: 2026-03-26 ~ 2026-03-31
Real Hit Real Miss 합계
Trade BT (maker ratio 0.0) Hit 234건
316,824,009 KRW		 25건
13,317,870 KRW		 259건
330,141,879 KRW
Trade BT (maker ratio 0.0) Miss 430건
438,437,723 KRW		 2,919건
5,640,468,092 KRW		 3,349건
6,078,905,815 KRW
합계 664건
755,261,732 KRW		 2,944건
5,653,785,962 KRW
관점조건부 확률건수 %Notional %
Trade BT (maker ratio 0.0) 기준 P(Real Hit  | valid order & Trade BT (maker ratio 0.0) Hit) 97.8% 99.1%
Real 기준 P(Trade BT (maker ratio 0.0) Hit  | Real Hit) 35.2% 41.9%
BT 유효 분모 valid order & Trade BT (maker ratio 0.0) Hit 223건 295,611,298 KRW

Trade BT (maker ratio 0.0) & Real 둘 다 체결 — Fill Price Quality

Trade BT (maker ratio 0.0)과 실거래 모두 체결된 주문들에 대해, 두 체결가의 차이를 bp(basis point) 단위로 나타냅니다. 양수면 실거래 체결가가 Trade BT (maker ratio 0.0)보다 유리했음을 의미합니다.

통계: mean=4.6bp  |  median=0.0bp  |  std=20.5bp  |  n=234

Trade BT (maker ratio 0.0) Optimism vs 실거래 Quality 비교

Trade BT (maker ratio 0.0)-only: Trade BT (maker ratio 0.0)에서만 체결된 주문에 대해 "만약 체결됐다면"을 시뮬레이션합니다. 진입가 = 해당 BT exec price. 같은 (coin, side) 기준 120개 분봉 rolling window 내 누적 notional이 position cap(2,500,000 KRW) 초과하는 건 제외.
실거래 (case①②): 실제 체결된 주문의 quality입니다. 진입가 = real_exec_price, cap 필터 없음.
둘 다 진입 후 120개 거래 분봉 뒤 close 청산 기준, 편도 수수료 1회만 차감합니다. 이 섹션은 failed 로그 직전 30초 window에 걸린 주문은 제외한 valid order만 사용합니다.

mean은 notional-weighted 평균 (wmean = Σ(bp × notional) / Σ(notional)).
Trade BT (maker ratio 0.0)-only
sidenotional-wtd meanstdn
total+116.1 bp246.9 bp5
buyN/A
sell+116.1 bp246.9 bp5
실거래
sidenotional-wtd meanstdn
total-26.4 bp239.7 bp550
buy-57.3 bp247.8 bp240
sell+4.5 bp231.6 bp310

Trade BT (maker ratio 0.0)만 체결 — 발생 패턴

Trade BT (maker ratio 0.0) Hit / Real Miss가 어느 종목, 어느 시간대에 집중되는지를 확인합니다. 특정 종목이나 시간대에 편중되어 있다면 해당 체결 모델의 신뢰도가 낮다는 신호입니다.

Trade BT (maker ratio 1.0) — 케이스 발생률

Trade BT (maker ratio 1.0) Hit: Trade BT (maker ratio 1.0) 체결 모델 기준으로 주문이 체결된 경우입니다.
Real Hit: 주문 시각 이후 1분 이내에 kospi_trade에 동일 market/side로 실제 체결 기록이 존재하는 경우입니다.

Trade BT (maker ratio 1.0)만 체결 비율이 높을수록 Trade BT (maker ratio 1.0) 체결 모델이 실거래보다 낙관적으로 체결을 가정하고 있다는 의미입니다. 단, 아래 precision은 CloudWatch failed 로그 직전 30초 window에 걸린 주문을 분모에서 제외한 P(Real Hit | valid order & Trade BT (maker ratio 1.0) Hit) 기준으로 계산합니다. 건수 기준과 함께 Notional(주문금액) 기준도 함께 보여 실제 금액 영향도를 파악합니다.

maker ratio: 1.0  |  trade parquet가 존재하는 날짜의 주문만 분석: 3,608건 / 3,608건  |  dates: 2026-03-26 ~ 2026-03-31
Real Hit Real Miss 합계
Trade BT (maker ratio 1.0) Hit 451건
558,639,346 KRW		 640건
379,788,479 KRW		 1,091건
938,427,825 KRW
Trade BT (maker ratio 1.0) Miss 213건
196,622,386 KRW		 2,304건
4,316,521,758 KRW		 2,517건
4,513,144,144 KRW
합계 664건
755,261,732 KRW		 2,944건
4,696,310,237 KRW
관점조건부 확률건수 %Notional %
Trade BT (maker ratio 1.0) 기준 P(Real Hit  | valid order & Trade BT (maker ratio 1.0) Hit) 42.6% 61.0%
Real 기준 P(Trade BT (maker ratio 1.0) Hit  | Real Hit) 67.9% 74.0%
BT 유효 분모 valid order & Trade BT (maker ratio 1.0) Hit 994건 852,411,051 KRW

Trade BT (maker ratio 1.0) & Real 둘 다 체결 — Fill Price Quality

Trade BT (maker ratio 1.0)과 실거래 모두 체결된 주문들에 대해, 두 체결가의 차이를 bp(basis point) 단위로 나타냅니다. 양수면 실거래 체결가가 Trade BT (maker ratio 1.0)보다 유리했음을 의미합니다.

통계: mean=2.4bp  |  median=0.0bp  |  std=14.9bp  |  n=451

Trade BT (maker ratio 1.0) Optimism vs 실거래 Quality 비교

Trade BT (maker ratio 1.0)-only: Trade BT (maker ratio 1.0)에서만 체결된 주문에 대해 "만약 체결됐다면"을 시뮬레이션합니다. 진입가 = 해당 BT exec price. 같은 (coin, side) 기준 120개 분봉 rolling window 내 누적 notional이 position cap(2,500,000 KRW) 초과하는 건 제외.
실거래 (case①②): 실제 체결된 주문의 quality입니다. 진입가 = real_exec_price, cap 필터 없음.
둘 다 진입 후 120개 거래 분봉 뒤 close 청산 기준, 편도 수수료 1회만 차감합니다. 이 섹션은 failed 로그 직전 30초 window에 걸린 주문은 제외한 valid order만 사용합니다.

mean은 notional-weighted 평균 (wmean = Σ(bp × notional) / Σ(notional)).
Trade BT (maker ratio 1.0)-only
sidenotional-wtd meanstdn
total+2.7 bp262.4 bp264
buy-16.0 bp335.6 bp124
sell+52.1 bp173.9 bp140
실거래
sidenotional-wtd meanstdn
total-26.4 bp239.7 bp550
buy-57.3 bp247.8 bp240
sell+4.5 bp231.6 bp310

Trade BT (maker ratio 1.0)만 체결 — 발생 패턴

Trade BT (maker ratio 1.0) Hit / Real Miss가 어느 종목, 어느 시간대에 집중되는지를 확인합니다. 특정 종목이나 시간대에 편중되어 있다면 해당 체결 모델의 신뢰도가 낮다는 신호입니다.