← Data Science Signal over noise.

Does it actually work? Absolute risk, ARR and NNT

🌿 Growing
#treatment-effect#absolute-risk#nnt#evidence#decision-making
TL;DR

The same result can be sold as a 60% improvement or a 3-point one, depending on whether you report relative or absolute change. Medicine has clean tools for this (absolute risk reduction, number needed to treat) and they are the honest way to judge any intervention, including training methods and supplements.

Method note: the measures here (absolute risk, ARR, RRR, NNT) are standard clinical epidemiology, cited to their sources. I studied the estimation side inside the DeepLearning.AI “AI for Medicine” specialization; nothing proprietary is reproduced. The diagram is my own.

Context

Someone tells you a method cut injuries by 50%. It sounds decisive. Then you look closer and the injury rate went from 6% to 3%. Still real, but a very different feeling from “50%”. Both numbers are true. One is relative, one is absolute, and the gap between how they feel is where a lot of fitness and health marketing lives.

The concept

Start from absolute risk, the plain probability of the bad event in a group. From two groups you get the honest measures:

  • Absolute risk reduction (ARR) is the control risk minus the treated risk. If 6% drops to 3%, the ARR is 3 percentage points.
  • Relative risk reduction (RRR) is that same drop divided by the control risk. Here 3 over 6, so 50%. The same effect, inflated by framing.
  • Number needed to treat (NNT) is 1 divided by the ARR, rounded up. An ARR of 3% gives an NNT of about 34: you treat 34 people for one to benefit. It turns a percentage into a human count (Laupacis, Sackett and Roberts, 1988).
MeasureFrom 6% to 3%Reads as
Relative risk reduction50%Huge, marketing loves it
Absolute risk reduction3 percentage pointsModest but honest
Number needed to treat≈ 34Treat 34 for 1 to benefit
Relative (RRR) 50% Absolute (ARR) 3 pts Same study (6% → 3%). The relative number is not wrong, it is just easy to weaponize.
One result, two framings, drawn to scale. Diagram propio.

There is a second, deeper idea. An average effect hides that a method can help some people and do nothing for others. Modern methods estimate the effect conditioned on who you are, not just the group average, and the honest way to check them is whether they rank who benefits, not whether they nail a single number (Künzel et al., 2019). The average tells you if it works on the whole; the conditional effect tells you if it works for this person.

Beyond medicine

This is the toolkit I wish every coach and clinician used before believing a claim:

  • Reading study and supplement claims. When a product reports only a relative number, convert it. A 40% relative reduction on a rare event can be a fraction of a percentage point in absolute terms.
  • Judging a training or rehab method. Ask for the absolute change and, if you can, the number needed to treat. “How many athletes do I run through this protocol for one extra good outcome” is a brutally clarifying question.
  • Personalization done honestly. Instead of “this program works”, ask “for whom”. The heterogeneous-effect mindset is exactly what separates real personalization from a slogan, and it applies to training, nutrition and rehab.
  • Talking to clients. Absolute framing protects people from hype. Telling someone “3 in 100” is more honest than “cuts your risk in half” when both describe the same study.

The habit worth keeping: whenever you hear a percentage improvement, ask “of what, and in absolute terms”. Most of the exaggeration in health and fitness dies on that single question.

Nota de método: las medidas de aquí (riesgo absoluto, ARR, RRR, NNT) son epidemiología clínica estándar, citadas a sus fuentes. El lado de la estimación lo estudié dentro de la especialización “AI for Medicine” de DeepLearning.AI; no se reproduce nada propietario. El diagrama es propio.

Contexto

Alguien te dice que un método bajó las lesiones un 50%. Suena contundente. Luego miras de cerca y la tasa de lesión pasó de 6% a 3%. Sigue siendo real, pero da una sensación muy distinta a “50%”. Los dos números son ciertos. Uno es relativo, otro es absoluto, y la distancia entre cómo se sienten es donde vive buena parte del marketing de fitness y salud.

El concepto

Parte del riesgo absoluto, la probabilidad llana del evento malo en un grupo. Con dos grupos obtienes las medidas honestas:

  • La reducción de riesgo absoluto (ARR) es el riesgo del control menos el del tratado. Si 6% baja a 3%, la ARR es 3 puntos porcentuales.
  • La reducción de riesgo relativo (RRR) es esa misma caída dividida por el riesgo del control. Aquí 3 sobre 6, o sea 50%. El mismo efecto, inflado por el encuadre.
  • El número necesario a tratar (NNT) es 1 dividido por la ARR, redondeado hacia arriba. Una ARR de 3% da un NNT de unos 34: tratas a 34 personas para que una se beneficie. Convierte un porcentaje en un conteo humano (Laupacis, Sackett y Roberts, 1988).
MedidaDe 6% a 3%Se lee como
Reducción de riesgo relativo50%Enorme, al marketing le encanta
Reducción de riesgo absoluto3 puntos porcentualesModesto pero honesto
Número necesario a tratar≈ 34Tratar 34 para que 1 se beneficie
Relativa (RRR) 50% Absoluta (ARR) 3 pts Mismo estudio (6% → 3%). El número relativo no es falso, solo es fácil de usar como arma.
Un resultado, dos encuadres, a escala. Diagrama propio.

Hay una segunda idea, más profunda. Un efecto promedio esconde que un método puede ayudar a unas personas y no hacer nada por otras. Los métodos modernos estiman el efecto condicionado a quién eres, no solo el promedio del grupo, y la forma honesta de evaluarlos es si ordenan bien a quién le sirve, no si aciertan un número único (Künzel et al., 2019). El promedio te dice si funciona en el conjunto; el efecto condicionado te dice si funciona para esta persona.

Más allá de la medicina

Esta es la caja de herramientas que quisiera que todo entrenador y clínico usara antes de creerse una afirmación:

  • Leer estudios y afirmaciones de suplementos. Cuando un producto reporta solo un número relativo, conviértelo. Una reducción relativa del 40% sobre un evento raro puede ser una fracción de punto porcentual en términos absolutos.
  • Juzgar un método de entrenamiento o rehabilitación. Pide el cambio absoluto y, si puedes, el número necesario a tratar. “A cuántos atletas paso por este protocolo para un buen resultado extra” es una pregunta brutalmente aclaradora.
  • Personalización hecha con honestidad. En vez de “este programa funciona”, pregunta “¿para quién?”. La mentalidad de efectos heterogéneos es justo lo que separa la personalización real de un eslogan, y aplica al entrenamiento, la nutrición y la rehabilitación.
  • Hablar con clientes. El encuadre absoluto protege a la gente del humo. Decirle a alguien “3 de 100” es más honesto que “reduce tu riesgo a la mitad” cuando ambos describen el mismo estudio.

El hábito que vale la pena guardar: cada vez que oigas un porcentaje de mejora, pregunta “¿de qué, y en términos absolutos?”. Casi toda la exageración en salud y fitness se cae con esa sola pregunta.

Sources

  • An assessment of clinically useful measures of the consequences of treatment (origin of NNT) . Laupacis A, Sackett DL, Roberts RS. N Engl J Med 1988;318:1728-1733
  • Metalearners for estimating heterogeneous treatment effects using machine learning . Künzel SR et al. PNAS 2019;116(10):4156-4165
  • AI for Medicine Specialization (learning context) . DeepLearning.AI