¿Cómo saber si mi modelo de ventas mejoró por mi estrategia o solo por suerte?
Hice una campaña en marzo para vender sombreros de paja toquilla en Cuenca y las ventas subieron de 600 a 750 unidades. En abril volvieron a 600. ¿Cómo sé si fue mi campaña o solo la suerte? ¿Qué hago si el modelo predice 700 para mayo pero en realidad vendo 550? ¡Ayúdenme!
¡Resumen final, equipo! Para saber si tu cambio es por el modelo o suerte: 1) Usa datos históricos (≥2 años). 2) Divide en entrenamiento/prueba. 3) Calcula y en el conjunto de prueba. 4) Si el error es bajo y alto, ¡tu modelo funciona! Si no, es sobreajuste. ¡En Ecuador tenemos datos en el INEC y en cámaras de comercio! Retén: <<Un modelo que predice bien en datos nuevos es confiable, uno que solo acierta en entrenamiento es suerte>>.
@ProfNapo dijo: ¡Resumen final, equipo! Para saber si tu cambio es por el modelo...
@ProfNapo ¿Y si uso una regresión lineal simple en lugar de polinomios? ¿Eso evita el sobreajuste?
@CarlosStoDomingo dijo: @ProfNapo ¿Y si uso una regresión lineal simple...
¡Sí, Carlos! Una regresión lineal simple suele generalizar mejor que un polinomio de alto grado. Pero ojo: si tus datos tienen tendencia estacional (como ventas en diciembre), usa modelos como ARIMA o regresión con variables temporales. ¡En Ecuador la estacionalidad es clave!
@ProfNapo dijo: ¡Resumen final, equipo! Para saber si tu cambio es por el modelo...
¡Y si el modelo predice que en mayo venderás 1000 sombreros porque un influencer se puso uno... y acierta! ¿Eso cuenta como sobreajuste o genialidad? ¡En Ecuador lo llamamos 'pura suerte'!
@ProfNapo dijo: ¡Resumen final, equipo! Para saber si tu cambio es por el modelo...
@ProfNapo ¡Gracias por la guía! Busqué datos del INEC y con validación cruzada mi modelo de ventas tiene en el conjunto de prueba. ¡Fue útil! ¿Recomiendas algo más para mejorar?
¡Buena pregunta, Rosa! Esto es exactamente el problema del <<sobreajuste>>. Tu modelo puede estar "aprendiendo" el ruido de los datos en lugar de la tendencia real. La clave está en comparar con datos nuevos o usar técnicas como validación cruzada. ¿Has probado dividir tus datos en entrenamiento y prueba?
@ProfNapo dijo: ¡Buena pregunta, Rosa! Esto es exactamente el problema del <<sobreajuste>>...
@ProfNapo ¿Y si solo tengo datos de 3 meses? ¡No puedo dividir eso!
@ProfNapo dijo: ¡Buena pregunta, Rosa! Esto es exactamente el problema del <<sobreajuste>>...
@ProfNapo ¿Y si uso datos de años anteriores de ventas en Cuenca? ¿Eso cuenta como datos nuevos?
@LuisLoja dijo: Pero @ProfNapo, ¿no es normal que suban las ventas en marzo...
Pero @ProfNapo, ¿dónde consigo datos históricos de ventas de sombreros? ¿En el mercado de Guayaquil?
@ProfNapo dijo: ¡Buena pregunta, Rosa! Esto es exactamente el problema del <<sobreajuste>>...
Pero @ProfNapo, ¿no es normal que suban las ventas en marzo por el inicio de clases? ¡Quizás no fue tu campaña!
@MaríaGuayaquil dijo: @ProfNapo ¿Y si solo tengo datos de 3 meses...
¡Exacto! El truco es: 1) Usa datos históricos de ventas de sombreros en Cuenca (¡busca en el INEC!). 2) Divide en entrenamiento (2023-2024) y prueba (2025). 3) Calcula el en el conjunto de prueba. Si el error es alto, tu modelo aprendió el ruido. ¿Necesitas ayuda con los cálculos?
@ProfNapo dijo: ¡Exacto! El truco es: 1) Usa datos históricos...
@ProfNapo ¿Puedes poner un ejemplo numérico con los datos de Rosa? ¡Así lo entiendo mejor!
@ProfNapo dijo: ¡Exacto! El truco es: 1) Usa datos históricos...
Pero @ProfNapo, ¿qué pasa si en mayo vendes 700 otra vez? ¡Entonces tu modelo acertó! ¿No es eso éxito?
Ponle números: si en enero vendiste 500, febrero 600, marzo 750 y abril 600, tu modelo podría estar "aprendiendo" el 750 como pico normal. Pero si en mayo vuelves a 550, eso es ruido. ¿Has calculado el error promedio de tu predicción?
¡O fue que los sombreros se volvieron moda por TikTok! En serio, Rosa, necesitas más datos. Tres meses es como decidir el clima de Quito con un solo día... ¡puede llover o hacer sol!
@JokerPichincha dijo: ¡O fue que los sombreros se volvieron moda por TikTok...
¡O fue que los sombreros se volvieron virales porque un influencer de TikTok se puso uno! En serio, necesitan más datos. ¡Como decidir si el Cotopaxi va a hacer erupción con un solo día de observación!
Rosa, en turismo usamos el mismo problema. Si en temporada alta suben las reservas pero luego caen igual, puede ser estacionalidad. Prueba con datos de 5 años y calcula el . Si es bajo, tu modelo es suerte. ¡En Galápagos vemos esto con los cruceros!
@KarinaGalápagos dijo: Rosa, en turismo usamos el mismo problema...
@KarinaGalápagos ¿Y si el me sale 0.8? ¿Eso es bueno o malo? En mi proyecto de rosas de Cotopaxi me salió así...
@CarlosStoDomingo dijo: @KarinaGalápagos ¿Y si el me sale 0.8...
¡ de 0.8 es excelente, Carlos! Significa que el 80% de la variación en tus ventas de rosas se explica por el modelo. Pero ojo: si usas un polinomio de grado 10 para ajustar 12 datos, el será 1 aunque sea sobreajustado. ¡Siempre valida con datos nuevos!
@ProfNapo dijo: ¡ de 0.8 es excelente, Carlos!
¡Gracias por la aclaración! Voy a probar con mis datos de rosas. @KarinaGalápagos ¿Tienes algún código en Python para calcular ?
@AnaCuenca dijo: ¡Gracias por la aclaración! Voy a probar con mis datos de rosas...
¡Claro, Ana! Aquí tienes un snippet rápido:
from sklearn.metrics import r2_score
r2 = r2_score(y_real, y_pred)¡Pero recuerda: primero divide tus datos con trai_split!
@LuisLoja dijo: Pero @ProfNapo, ¿qué pasa si en mayo vendes 700...
¡Buen punto, Luis! Por eso usamos validación cruzada: divides los datos en 5 partes, entrenas con 4 y pruebas con 1. Si el modelo acierta en las 5 pruebas, es robusto. En Galápagos lo hacemos así con los datos de turistas. ¡Prueba con los datos de Rosa!
En Quito probé esto con los buses urbanos. Si en diciembre sube la demanda por Navidad pero en enero baja, no es mi estrategia de rutas... es la temporada. ¡Mide la variación contra el promedio histórico!
¡Gracias a todos! @ProfNapo tu explicación me salvó. Voy a buscar datos del INEC y probar con validación cruzada. ¡Les aviso cómo me va!
@RosaAmbato dijo: ¡Gracias a todos! @ProfNapo tu explicación me salvó...
@RosaAmbato ¡Cuéntanos cómo te fue con los datos del INEC! ¿Encontraste algo interesante en las ventas de sombreros?