PM-MOO v2.5 — 4-Step Audit
Window 2026-03-31 → 2026-05-22 (36 торговых дней) ·
v2.5 = v2.4 base + Asia + sub-theme excess + IMB/FUT/COHESION/SMH add-ons ·
Generated 2026-05-28
VERDICT
v2.5 НЕ проходит deploy gate на honest PROD-filtered сравнении.
ΔSharpe = +0.08 при требуемом ≥ +0.5 · ΔPnL = −$434 · Bootstrap CI [−1.52, +1.94] · P(Δ>0)=50.4% — статистически неотличимо от шума.
Demolition-видный «edge» (+5 Sh) живёт на raw unfiltered panel с penny-stocks и lookahead-mcap, а не в prod конфиге.
📊 Step 1 · Statistical · Honest PROD-filter (B+ min, $500/pos, max 15 pos, news/earnings skip)
Источник: research_results/v25_backtest/report.md · N трейдов = 2,927 (v24) / 2,605 (v25)
Sharpe v2.4
+11.59
baseline
Sharpe v2.5
+11.68
Δ +0.08 · gate ≥+0.5 ❌
AvgRet v2.5
+0.328%
Δ +0.021pp
Bootstrap CI · Sharpe Δ (N=2000)
| Метрика | Значение | Интерпретация |
|---|
| mean Δ Sharpe | +0.054 | центр распределения |
| median Δ Sharpe | +0.008 | медиана ≈ 0 |
| 95% CI | [−1.517, +1.940] | CI пересекает 0 |
| P(Δ > 0) | 50.4% | монетка |
| P(Δ > +0.5) | 27.9% | deploy-gate невероятен |
| P(Δ > +1.0) | 13.6% | — |
MARGINAL · от честного бутстрепа edge статистически отсутствует.
Активность v2.5 adj
| Тип | Count | % от N |
|---|
| Asia adj ≠ 0 | 271 | 10.4% |
| Theme adj ≠ 0 | 894 | 34.3% |
| Grade changed | 751 | 28.8% |
| Direction flipped | 21 | 0.8% |
Adj-механика работает, эффект применяется к ~28% сигналов → grade-shift,
но интегральный PnL/Sharpe не меняется → adj носит характер re-shuffling, а не edge generation.
⚙️ Step 2 · Execution · Slippage stress + MCAP lookahead + Penny filter
Slippage sensitivity (demolition #3, raw panel)
| Slippage | v2.4 Sh | v2.5 Sh | Δ Sh | v2.5 PnL |
|---|
| 0 bps | +15.87 | +20.11 | +4.24 | $+1,194,259 |
| 3 bps | +14.11 | +18.84 | +4.73 | $+1,047,784 |
| 5 bps | +12.77 | +17.87 | +5.10 | $+950,134 |
| 10 bps | +8.70 | +14.89 | +6.19 | $+706,009 |
| 15 bps | +3.52 | +10.92 | +7.40 | $+461,884 |
⚠️ Edge выживает slippage до 15bps НА RAW PANEL (нет filters, нет cap), но эти 21,580 трейдов
≠ 2,605 PROD-trades. На отфильтрованном PROD panel edge уже ~0.
MCAP lookahead (demolition #6)
FIX NEEDED для 25-month walkforward: sub_theme_map_v2.parquet (mtime 2026-05-26) хранит текущие mcap.
Для TSLA: map=$1.6T vs истинный 2024-Q1 ≈ $700B (+1.57×). PLTR: map=$327B vs 2024 ≈ $40B (+8.75×).
Для 36-дневного окна 2026-03..05 проблемы НЕТ (данные синхронны map mtime), но excess-веса в long history смещены.
Penny vs liquid breakdown · realistic slippage (demolition #7)
| MCAP bucket | N | WR% | AvgRet | PnL | Sharpe | Реальность |
|---|
| <$300M @ 30bps | 2,966 | 57.1% | +0.55% | $+198,888 | +15.24 | penny — не торговать |
| $300M–1B @ 15bps | 1,554 | 61.6% | +0.48% | $+96,598 | +24.70 | small-cap edge |
| $1B–10B @ 8bps | 5,267 | 55.2% | +0.27% | $+166,992 | +12.19 | tradeable |
| $10B–50B @ 5bps | 3,154 | 52.9% | +0.16% | $+63,027 | +11.67 | tradeable |
| >$50B @ 3bps | 2,869 | 50.1% | +0.07% | $+25,010 | +6.60 | megacap weak |
| NaN mcap @ 20bps | 5,770 | 42.7% | −0.03% | $−19,166 | −1.09 | мусор |
| ≥$1B @ 5bps (PROD-like) | 11,290 | 53.5% | +0.20% | $+276,851 | +16.16 | core edge |
| ≥$10B @ 3bps | 6,023 | 52.9% | +0.14% | $+102,308 | +16.16 | stable |
Вывод: ~33% edge живёт в <$1B/NaN bucket → инфляция метрик. После hard-filter mcap≥$1B + 5bps Sharpe падает с 20→16, PnL c $1.19M → $277K (−77%).
🧪 Step 3 · Robustness · Period split + Concentration + Direction
2-way & 3-way period split (demolition #4)
| Split | v24 Sh | v25 Sh | Δ |
|---|
| 2-WAY |
| Early 18d (03-31..04-24) | +10.56 | +12.06 | +1.50 |
| Late 18d (04-25..05-20) | +23.31 | +39.31 | +16.00 |
| 3-WAY |
| Early 12d | +10.18 | +19.38 | +9.20 |
| Mid 12d | +26.02 | +36.36 | +10.34 |
| Late 12d | +23.78 | +38.66 | +14.88 |
⚠️ Бóльшая часть edge сконцентрирована в late period (W17 onward) — earnings-season + macro events.
ΔSh +1.50 в early vs +16 в late → time-localized; нужно ждать OOS.
Concentration (demolition #2)
| Bucket | % PnL |
|---|
| Top-5 tickers | 5.1% |
| Top-10 tickers | 8.8% |
| Top-20 tickers | 14.7% |
| Top-50 tickers | 29.2% |
| DAYS |
| Top-1 day (05-12) | 7.9% |
| Top-3 days | 19.5% |
| Top-5 days | 30.4% |
✓ Per-ticker concentration ОК (diversified, 1,571 unique).
✗ Per-day концентрация ВЫСОКАЯ: top-5 days = 30% PnL.
Asymmetric thresholds isolation (demolition #8) — ключ к интерпретации edge
| Конфиг | v24 N | v24 Sh | v25 N | v25 Sh | Δ Sh |
|---|
| A+/A symmetric | 6,902 | +15.46 | 17,031 | +20.93 | +5.47 |
| B+ symmetric | 17,137 | +15.87 | 36,957 | +20.80 | +4.93 |
| SELL≥A, BUY≥B+ ASYM (PROD) | 8,879 | +14.63 | 21,580 | +20.11 | +5.48 |
⚠️ Inflation alert: v25 даёт +5 Sh но при этом ×2.4 больше трейдов на том же threshold
(21,580 vs 8,879 в ASYM). Это grade-инфляция — adj сдвигает borderline-B в зону A, расширяя allowed set, а не "улучшая" качество.
В honest PROD report.md (где filter более жёсткий) N даже падает (2,605 vs 2,927) и edge исчезает.
Per-direction split (demolition #10, liquid mcap≥$1B @ 7bps)
| Side | N | WR% | PnL | Sh |
|---|
| BUY | 3,480 | 49.7% | $+40,019 | +5.69 |
| SELL | 7,810 | 52.1% | $+185,837 | +10.45 |
✗ BUY WR < 50% в liquid universe с slippage. Real edge живёт почти только в SHORT side.
SELL/BUY PnL ratio 4.6×.
Direction flips (demolition #5)
| Flip | N | WR | AvgRet |
|---|
| SELL → BUY | 53 | 73.6% | +0.073% |
| BUY → SELL | 15 | 66.7% | +0.462% |
Direction-flip механика (threshold ≥4.0) работает корректно — 68 flips дают высокий WR.
💣 Step 4 · Demolition Battery · 10 audits summary
| # | Audit | Главный вопрос | Status |
|---|
| 1 | Ablation (Asia / Theme / both) | Один фактор overfit или synergy? | PARTIAL Asia+Theme = synergy raw, но в PROD нивелируется |
| 2 | Concentration (ticker/day) | Edge размазан или сжат? | OK по тикерам · top-5 days=30% |
| 3 | Slippage stress | Выживает ли friction? | RAW OK до 15bps · но PROD edge already ~0 |
| 4 | Period split (2/3-way) | Edge стабилен во времени? | LATE-HEAVY early ΔSh +1.5 vs late +16 |
| 5 | Grade inflation | Те же сделки в новых обёртках? | INFLATION A: +273%, A+: +79% больше N |
| 6 | MCAP lookahead | Текущий map → backtest 2024? | 36d OK · 25m WF SUSPECT |
| 7 | Penny filter | Edge на <$300M или $1B+? | 33% edge в <$1B/NaN |
| 8 | Asym threshold isolation | Asia/Theme adj или asym threshold? | N ×2.4 inflation |
| 9 | Earnings overlap | Driven by earnings days? | 1.16× мягкий |
| 10 | Per-direction × MCAP | BUY/SELL баланс? | BUY WR=49.7% · SELL-dominated |
Audit-A — Lookahead checks (audit_pm_moo_v25.py)
| Audit | Status |
|---|
| A. Asia date alignment | OK no lookahead |
| B. Theme excess self-corr | FIX NEEDED use LOO theme_ret (mean diff 3.11%, max 77.6%) |
| C. Asia direction consistency | OK MU/BABA sign matches |
| D. Bootstrap CI | MARGINAL P(Δ>0)=50.4% |
| E. Sample trades | inspected 10 max-adj cases |
Top sub-theme contributors (raw panel)
| Sub-theme | N | PnL | WR% |
|---|
| Healthcare — Biotech | 575 | $+30,559 | 64.9 |
| Cloud — Platforms/SaaS | 707 | $+25,090 | 56.9 |
| Software — Vertical SaaS | 424 | $+23,541 | 59.7 |
| Semis — Logic/GPUs/CPUs | 591 | $+23,189 | 61.4 |
| Defense — Primes | 306 | $+20,170 | 65.0 |
| BOTTOM |
| Energy Clean — Renewables | 29 | $−3,685 | 55.2 |
| Healthcare — Specialty/Generic | 89 | $−2,630 | 49.4 |
🏁 Aggregate verdict & recommendations
GO/NO-GO: NO-GO для v2.5 деплоя в текущем виде.
Edge в честной PROD-конфигурации не наблюдается (ΔSh +0.08, ΔPnL −$434, bootstrap CI пересекает 0).
Demolition #8 показал что видимый «+5 Sh» edge = grade-инфляция (×2.4 N), а не Asia/Theme synergy.
Что работает (keep)
- Asia date alignment — нет lookahead, sign консистентен (MU/BABA samples).
- Direction-flip threshold (≥4.0) — 68 flips, WR 73.6% / 66.7%. Mechanic корректна.
- SELL side в liquid универсе (mcap≥$1B) — Sh +10.45 после 7bps slippage. Это REAL edge.
- v2.4 baseline остаётся жизнеспособной — Sh +11.59, PnL +$10.6K за 36 дней в PROD-конфиге.
Что ломает edge (fix)
- P0 · Grade inflation (demolition #5/#8). A grade +273%, A+ +79% N. Adj сдвигает borderline-B в A → расширяется allowed-set, не качество. Fix: либо capped grade promotion, либо TRADE_GRADES оставить строго на base v2.4 score, использовать adj только как tie-breaker.
- P0 · BUY-side слабый. Liquid BUY WR 49.7% при 7bps slip → ниже break-even. Fix: запретить v2.5 long-side в liquid универсе ИЛИ требовать adj ≥+3 для BUY trigger.
- P1 · Theme excess self-corr (audit B). Mean diff 3.11%, max 77.6%. Fix: leave-one-out при расчёте theme_ret (исключать сам тикер из weighted avg).
- P1 · MCAP lookahead в 25-month WF. sub_theme_map mtime 2026-05-26 → TSLA mcap +1.57×, PLTR +8.75×. Fix: Datum reference per-date mcap ИЛИ rank-based excess.
- P2 · Penny / NaN bucket. Edge на mcap<$300M в значительной части — после 30bps slip ещё держит Sh 15, но neapt для $500/pos с liquidity-cap. NaN bucket Sh −1.09.
- P2 · Time concentration. Top-5 days = 30% PnL, late-period skew (Sh×2-3 vs early). Требуется OOS ещё ≥30 дней.
Рекомендация
-
Hold v2.4 LIVE без v2.5 add-ons до:
(1) fix grade inflation,
(2) запрет BUY в v2.5 layer,
(3) LOO theme_ret,
(4) повторный bootstrap с целью P(Δ>+0.5) ≥ 60%.
- Альтернатива: v2.5 → advisory only tab (shadow trading). Записываем picks, не торгуем 30 дней, smотрим honest OOS.
- НЕ деплоить v2.5 sizing в LIVE на основании demolition log Sh 20 — это panel-level numbers, не PROD performance.
📈 Daily PnL — 36 days (raw panel reference)
Источник: demolition #9 daily PnL table. NB: данные на raw v2.5 panel (21,580 трейдов), не PROD-filter.