人工智能建模算法稳定性和 dugong学习记录

在建模流程中,一个关键但往往不易察觉的环节就是稳定性问题.建模过程中的稳定性涉及两个重要的指标:特征稳定性和模型稳定性.

1）特征稳定性

观察该特征的时间演变是否存在显著波动？这一现象应在模型构建初期识别并加以处理；为了避免引入那些自身不够稳定的变量到模型中，在构建阶段就应进行筛选。其中PSI（PopulationStability Index）常被用作评估模型中各变量稳定性的标准

2）模型稳定性

模型稳定性所涵盖的内容较为广泛。应针对不同应用场景进行针对性地关注。PSI常被视为一个重要的评估标准。

需要的增强稳定性操作：

1 消除波动性

在实际业务环境中应用二分类模型时, 通常主要依据 prediction_prob 进行操作。例如, 在常见风险评估情境下, 模型会基于 prediction_prob 对用户提供相应的处理决策 (即设定阈值为 0.6, 则预测概率低于 0.6 的用户将被拦截; 预测概率不低于 0.6 的用户会被允许通过)。

为了有效解决double型数据可能导致的波动性问题，在处理时可采取将小数值转换为整数后再进行操作的方法，并将其定义为Rank这一过程

2 Rank迁移

当将 prediction_prob 映射至整数区间之后，则有必要对映射后的结果实施必要的监控工作。具体而言，则需执行以下两项内容：第一项是观察在时间演变过