求助关于机器学习的数据清洗

[CatCode]

目前自己是一个超菜的弱鸡。 准备做的是一个回归器模型（不是分类器）。

已经从原始输入提取出了不少特征值。但是这些特征值都还没有经过清洗。

目前观察了一下这些值，发现存在以下问题：

1. （由于某类特征值是来自于第三方程序的提取结果）某些值是无效值，我已经记录了这些无效值：即对于某一列（ pandas 里面的 column ）特征值，我都有另一个 DataFrame 的 column 记录了一一对应地记录了是否为无效值（ 0 无效，1 有效）无效值大概占了 1%吧。
2. 除了上面的无效值之外，某些特征里还有少量离群值。

请问一下各位前辈，这些数据问题怎么处理？按什么顺序处理？谢谢大家了
（数据量还是比较大的，10k 条 x 2k 特征） （我原本计划用有效值的平均值来填充无效值，但是统计后发现，离群值造成了平均值和中位值偏差太大）

[wannaspring]

问题 1. 根据你数据的实际情况， 如果是正态分布的，使用平均值填入，如果没有必要使用 dropna 丢弃
问题 2. pyOD 处理 outliers 不错
一般是 find na -> dropna -> labelencoder -> epa -> find outliers (interquartile ) -> handle outliers with pyOD -> data scaling(保证在同一比例) -> data spliting(train & test) -> create model -> model train -> mode evaluate

[wannaspring]

@wannaspring 我个人一般这么做， 但是我也是个菜鸟