Error Reasoning in Complex Systems : Training and Application Error for Decision Models
siempre elige el resultado medio ) y no se basa en las características de entrada . Los modelos entrenados que funcionan mejor que la línea de base en términos de error demuestran un mejor desempeño predictivo que las suposiciones aleatorias basadas en resultados previos . En el caso ideal , esta propiedad también estará presente cuando el modelo haya terminado la capacitación y se implemente . Aunque generalmente es un umbral útil para la selección del modelo , nos preguntamos si es realmente una garantía suficiente cuando se implementa en sistemas complejos de alta consecuencia , por ejemplo , sistemas sociales . Este artículo presenta una exploración preliminar de un escenario en el que se entrena un modelo de decisión utilizando un tipo de error , pero la aplicación está más alineada con otro . Tales circunstancias surgen cuando las propiedades de convergencia del entrenamiento de un modelo requieren funciones de pérdida convexa , pero el error deseado es no convexo . Se presenta una simulación de asignación de aula estilizada donde se entrena un modelo de aprendizaje automático para optimizar el error cuadrático medio . Las observaciones individuales , a nivel de estudiante , se utilizan para entrenar el modelo , pero los efectos jerárquicos no independientes agravan el error en los niveles de agrupación de clase y escuela . Demostramos el caso en el que un modelo podría funcionar mejor que una línea de base convencional , pero todavía tiene un rendimiento inferior en relación con los requisitos de una aplicación . Se exploran métodos para utilizar modelos de sistemas complejos para establecer un nuevo enfoque de línea de base .
Palabras clave : error de entrenamiento ; sistemas complejos ; aprendizaje automático ; modelado del sistema social ; Toma de decisiones
1 . Introduction
We are seeing a confluence
of the social and data sciences around social system modeling and prediction . Much work has been accomplished on the research front . Challenges have been developed for machine learning ( ML ) models to predict social well-being indicators of children ( Lundberg , Narayanan , Levy , & Salganik , 2018 ). Protests events are being predicted using surrogates in social media and other open source indicators ( Ramakrishnan & et al ., 2014 ). Machine learning is also finding utility
167