Encontrar una estrategia que funcione en el pasado es fácil: en este laboratorio vas a fabricar una ganadora a partir de puro ruido, con tus manos, y luego a desmontarla. De la corazonada a la hipótesis refutable, backtesting, costes de transacción, sesgo de anticipación, sobreajuste, validación dentro y fuera de muestra, walk-forward, tamaño de muestra y prueba de permutación. Con simulaciones para tocar cada idea. Sin señales y sin promesas.
El final no es un examen de respuestas: te presentan un expediente con muy buenos números y tienes que encontrar dónde se rompe. Hay señuelos, porque rechazar sin saber por qué es tan poco útil como firmar.
Los terminos del Lab 03, explicados en llano y en el orden en que aparecieron. La mitad de este glosario son formas de equivocarse: no estan aqui como curiosidad, sino porque reconocerlas por su nombre es lo que impide repetirlas.
- Hipotesis
- Una afirmacion concreta sobre el mercado que se puede contrastar con datos y que puede salir FALSA. Si ningun resultado posible la desmiente, no es una hipotesis: es una creencia.
- Refutable
- Que se puede demostrar que es falso. Es la propiedad que separa una idea validable de una opinion.
- Las tres reglas
- Entrada, salida y tamano. Si falta una, no hay estrategia: hay media frase.
- Comparacion
- Contra que mides tu estrategia. Ganar dinero no significa nada si estar simplemente comprado hubiera ganado mas.
- Backtest
- Simulacion de una estrategia sobre datos pasados. Contesta a una sola pregunta: que habria pasado con estas reglas en este periodo. No dice si funciona ni si funcionara.
- Muestra de tamano uno
- Lo que es un backtest. El pasado que tienes es una de las muchas maneras en que pudo salir el mundo, y tu backtest mide esa, no el proceso que la genero.
- Coste de ida y vuelta
- Comision mas horquilla mas deslizamiento, PAGADO DOS VECES: al abrir y al cerrar. Es el numero que hunde mas estrategias que ningun otro.
- Punto basico (pb)
- Una centesima de uno por ciento. 10 pb = 0,10 por ciento.
- Sesgo de anticipacion
- Usar en la simulacion un dato que en el momento de decidir no se conocia. El caso tipico: decidir con el cierre de hoy y ejecutar a ese mismo cierre. No se ve en la curva; solo leyendo el codigo.
- Sesgo del superviviente
- Probar sobre un universo elegido con datos de hoy, que ya sabe quien sobrevivio. El backtest acaba operando en un mundo donde nadie quiebra.
- Sobreajuste
- Ajustar tanto un modelo a unos datos concretos que acaba describiendo su ruido en vez de su estructura. Cuanto mas buscas, mas facil es encontrar algo que solo existia en esos datos.
- El mejor de N
- Si pruebas N combinaciones y te quedas con la mejor, ese resultado es el maximo de N muestras. Sale bueno aunque no haya nada que encontrar. El numero de intentos es parte del resultado.
- Vecinos
- Los parametros proximos al que elegiste. Si funcionan tambien, hay indicio de estructura real; si el tuyo es una casilla aislada rodeada de casillas malas, has encontrado ruido.
- Paseo aleatorio
- Serie en la que cada movimiento es independiente del anterior. Por construccion no hay nada que una estrategia de tendencia pueda capturar. Sirve como banco de pruebas: lo que encuentres ahi es, con certeza, ruido.
- Dentro de muestra
- La parte de los datos que se uso para elegir la estrategia y sus parametros. Todo lo que se mide ahi esta contaminado por esa eleccion, asi que siempre sale bien y no informa de nada.
- Fuera de muestra
- La parte que la estrategia no vio al elegirse. Es la unica medida no contaminada que puedes obtener sin esperar al futuro.
- La muestra se gasta
- Si miras el resultado fuera de muestra y cambias la estrategia, esos datos han dejado de ser independientes: ya los usaste para decidir. La validacion es una bala, no un banco de pruebas.
- Walk-forward
- Optimizar en una ventana, operar en la siguiente con esos parametros, avanzar y repetir. Todo lo operado es fuera de muestra. Sus numeros son mas feos y mas creibles.
- Inestabilidad de parametros
- Que cada tramo de un walk-forward prefiera parametros distintos. Es un diagnostico, no un inconveniente: si no existe un parametro correcto, el que elijas hoy tampoco lo sera manana.
- Intervalo de confianza
- El rango de valores compatibles con lo que has observado. Si el intervalo de tu porcentaje de aciertos incluye el 50 por ciento, tus datos no distinguen tu estrategia de una moneda al aire.
- Tamano de muestra
- Cuantas operaciones cerradas tienes. La precision crece con la raiz del numero, asi que cuanto menor es la ventaja que buscas, desproporcionadamente mas datos necesitas.
- Prueba de permutacion
- Barajar el orden de los retornos muchas veces y reaplicar la estrategia. Conserva la volatilidad y destruye la estructura temporal. Si tu resultado no destaca de esa nube, capturaste el orden que te toco, no una ventaja.
- p-valor
- La fraccion de barajadas que igualan o superan tu resultado. Un valor bajo dice que el azar rara vez llega ahi. No dice que la ventaja sea grande, ni que vaya a durar.
- Contrato de apagado
- Tres numeros escritos ANTES de poner el primer euro: caida maxima tolerada, fecha fija de revision, y que tendrias que ver para concluir que se rompio. El tu que decide apagar no es el mismo que el tu que esta perdiendo.
- Papel
- Ejecutar en tiempo real con ordenes simuladas. Sirve para validar la fontaneria: que las senales llegan y las ordenes salen. NO sirve para confirmar rentabilidad: tres meses son treinta operaciones.
- Capacidad
- Cuanto dinero admite una estrategia antes de que su propia orden mueva el precio en su contra. Es una propiedad de la estrategia, igual que el retorno.