Articolul 4 din 8 · Predictive Intelligence · 10 min citit

De ce eșuează chiar și modelele bune: supra-ajustarea și iluzia preciziei

Un model care explică trecutul aproape perfect nu e un triumf — de obicei e un avertisment. Cu cât un model se potrivește mai bine pe istorie, cu atât e mai probabil că a memorat zgomotul în loc să învețe tiparul, și cu atât se va descurca mai prost la singurul lucru care contează: viitorul.

Un analist prezintă cu mândrie un model de vânzări: explică 98% din veniturile de anul trecut. Fiecare urcare, fiecare coborâre, potrivite aproape exact. Graficul e o frumusețe — linia modelului urmărește valorile reale atât de aproape încât abia le deosebești. Conducerea e impresionată. Iar modelul se destramă în clipa în care întâlnește luna următoare, ratând cu mult. N-a învățat cum se comportă vânzările. A memorat exact ce s-a întâmplat anul trecut, oscilație aleatorie cu tot — iar anul trecut e singura perioadă pe care n-o va mai avea niciodată de prezis.

Aceasta e capcana din inima oricărei prognoze și prinde echipele sofisticate mai des decât pe cele naive, pentru că e nevoie de pricepere ca să construiești un model atât de greșit. În serie am acoperit până acum ce e o prognoză, separarea semnalului de zgomot și găsirea factorilor reali. Articolul de față e despre eșecul care desface tot restul: un model care se potrivește prea bine pe trecut și încrederea falsă pe care o naște.

Scopul nu e să explici trecutul

Iată ideea care reorganizează totul: scopul unui model e să prezică viitorul, nu să explice trecutul. Sună asemănător și sunt aproape opuse. Un model poate fi făcut să se potrivească pe orice istorie oricât de aproape vrei — adaugi destule variabile și reglaje — dar fiecare bucățică de potrivire în plus, dincolo de un punct, e modelul care învață zgomotul (partea aleatorie pe care am întâlnit-o acum două articole) ca și cum ar fi semnal. Iar zgomotul, prin definiție, nu se repetă. Deci, cu cât potrivirea pe istorie e mai bună dincolo de un anumit punct, cu atât prognoza e mai proastă.

Scopul unui model e să prezică viitorul, nu să explice trecutul. Fugi după al doilea și îl distrugi pe primul.

A memora vs. a înțelege

Cel mai curat mod de a simți asta: gândește-te la un elev care se pregătește de examen. Unul memorează răspunsurile exacte la subiectul de anul trecut. Celălalt învață materia de dedesubt. La subiectul de anul trecut, cel care a memorat ia notă mai mare — chiar perfectă. La subiectul nou de anul ăsta, cel care a memorat se prăbușește, iar cel care a înțeles se descurcă bine. Un model care se potrivește perfect pe istorie e cel care a memorat. Va lua examenul pe care l-a văzut deja și va pica singurul examen care contează. Acest eșec are un nume: supra-ajustare (overfitting).

De ce se întâmplă

Supra-ajustarea nu e ghinion; e rezultatul firesc al câtorva obiceiuri comune. Să adaugi tot mai multe variabile până când potrivirea arată grozav. Să reglezi modelul iar și iar pe aceleași date până prinde fiecare oscilație. Și — ucigașul tăcut — să judeci modelul doar pe datele din care a fost construit, ceea ce e ca și cum ai nota elevul pe exact subiectul pe care l-a memorat. Dă-i unui model destulă libertate și va găsi mereu o cale să urmărească trecutul exact. Acea flexibilitate e pericolul, nu reușita.

Fragil vs. solid: cum deosebești

De obicei poți prinde un model supra-ajustat înainte să te facă de râs în producție. Semnalele stau una lângă alta cu cele ale unui model care va rezista.

Un model fragil (supra-ajustat)	Un model solid
Se potrivește pe trecut aproape perfect — suspect de bine	Se potrivește pe trecut bine, dar nu perfect — lasă zgomotul în pace
Are multe variabile, unele fără mecanism plauzibil	Folosește câțiva factori, fiecare cu un motiv real să conteze
Oscilează mult când adaugi puține date noi	Rămâne stabil pe măsură ce vin date noi
Se descurcă mult mai prost pe date nevăzute decât pe cele văzute	Se descurcă cam la fel pe date noi și pe cele vechi
Raportează predicții ciudat de precise, până la ultima unitate	Vine cu un interval cinstit, nu cu o zecimală falsă

Cum construiești prognoze care rezistă

1. Judecă modelul pe date pe care nu le-a văzut niciodată

Aceasta e cea mai importantă disciplină din toată prognoza. Ține deoparte o felie de istorie, construiește modelul fără ea, apoi testează-l pe ea. Cum se descurcă pe date din care n-a fost construit — „în afara eșantionului" — e scorul lui real. Un model care arată strălucit pe propriile date de antrenare și mediocru în afara eșantionului e supra-ajustat, punct. Ai încredere în cifra din afara eșantionului și în nimic altceva.

2. Preferă modelul mai simplu

Când două modele prezic cam la fel de bine în afara eșantionului, alege-l pe cel cu mai puține piese în mișcare. Modelele mai simple poartă mai puțin zgomot și ajung mai departe. E briciul lui Occam care face muncă reală: complexitatea în plus care cumpără o potrivire ceva mai bună pe istorie aproape mereu te costă pe viitor.

3. Cere un mecanism pentru fiecare factor

Fiecare variabilă din model ar trebui să-și merite locul printr-un motiv plauzibil de a conta — nu doar printr-o potrivire statistică bună. Un factor care se corelează frumos, dar n-are un mecanism credibil, e exact genul de lucru de care se agață un model când se supra-ajustează.

4. Așteaptă-te la eroare și declar-o

O prognoză solidă nu se preface niciodată că e exactă. Vine cu un interval cinstit (lecția din primul articol), pentru că un model care își știe propriile limite e mai demn de încredere decât unul care le ascunde în spatele zecimalelor.

Iluzia preciziei

Un semn merită propriul cuvânt, pentru că păcălește atât de ușor cititorii non-tehnici. O prognoză care spune „venitul va fi 4.182.337 €" pare mai riguroasă decât „venitul va ateriza cel mai probabil între 3,9 și 4,4 milioane €". E invers. Acele cifre în plus nu sunt acuratețe — sunt precizie falsă și sunt adesea un simptom al unui model care s-a supra-ajustat până la un răspuns sigur pe el, exact și greșit.

O prognoză care rezistă în afara eșantionului, nu doar pe hârtie.

Strategiq Softworks construiește instrumente predictive și platforme analitice la comandă, întemeiate pe cercetare peer-reviewed — modele testate pe date pe care nu le-au văzut, construite pe factori cu mecanisme reale și cinstite despre propria incertitudine. Opusul unei potriviri frumoase care se rupe în producție. Vrei un model de prognoză validat în afara eșantionului pentru firma ta? Acceptăm un număr limitat de proiecte de consultanță pe trimestru.

Factorii unei prognoze: cum găsești ce îți mișcă, de fapt, cifrele