Journal on Policy and Complex Systems
复杂系统中的误差推理 : 决策模 型的训练误差和应用误差
摘要
评估预测模型可行性的传统方法是对基准模型使用预留的训 练数据 , 进而比较预测表现 。 基准模型口头上被称为假体 模型 ( dummy model ), 其仅依赖于之前取得的训练结果 ( 比 如 , 始终选择平均结果 ) 且不基于输入特征 。 训练后的模型 在误差方面比基准模型的表现更好 , 证明其预测表现优于基 于先前结果的随机估计 。 在理想状态下 , 这种特质在当模 型完成训练 、 投入实施后依然存在 。 尽管总体上这对模型挑 选而言是一个有用的门槛标准 , 但我们对该标准是否能提供 充分保障提出质疑 , 尤其是当这一标准投入到具备重大后果 的复杂系统 , 例如社会系统中时 。 本文针对一个场景进行了 初步探究 , 在这个场景中 , 决策模型通过一种误差进行训 练 , 但模型应用却更多地与另一误差相一致 。 当模型训练的 收敛特性要求凸损失函数 , 但期望的误差是非凸时 , 这类场 景便会出现 。 本文提出一种程式化的课堂作业模拟建模 , 其 中机器学习模型通过训练后被用于均方误差的最优化 。 个体 层面 、 学生层面的观察结果被用于训练该模型 , 但 “ 非独立 等级效果 ”( non-independent hierarchical effects ) 从课堂层 面和学校团体层面上使误差复杂化 。 我们证明的案例则是 , 一种模型可能比传统基准模型表现更好 , 但在模型应用要求 方面依然表现不佳 。 探究了如何用复杂系统建模来建立一种 新基准方法 。
关键词 : 训练误差 ; 复杂系统 ; 机器学习 ; 社会系统建模 ; 决策
Razonamiento de errores en sistemas complejos : error de capacitación y aplicación para modelos de decisión
Resumen
Un enfoque convencional para evaluar la viabilidad de un modelo predictivo es comparar el rendimiento predictivo utilizando datos de capacitación retenidos con un modelo de referencia . Coloquialmente denominado " modelo ficticio ", el modelo de referencia se basa solo en resultados de entrenamiento anteriores ( por ejemplo ,
166