目录

  • 细分构建机器学习应用程序的流程-数据预处理
  • 一、1.1 缺失值处理
    • 1.1.1  4.6.1.2 填充缺失值
    • 1.1 1.1.1 删除缺失值
  • 二、1.2 异常值处理
  • 三、1.3 自定义数据类型编码
  • 四、1.4 通过sklearn对数据类型编码
  • 五、1.5 独热编码
    • 5.1 1.5.1 sklearn做独热编码
    • 5.2 1.5.2 pandas做独热编码
  • 六、1.6 数据标准化
    • 6.1 1.6.1 最小-最大标准化
    • 6.2 1.6.2 Z-score标准化
  • 七、1.7 二值化数据
  • 八、1.8 正则化数据
  • 九、1.9 生成多项式特征


细分构建机器学习应用程序的流程-数据预处理

sklearn数据预处理官方文档地址:https://scikit-learn.org/stable/modules/classes.html#module-sklearn.preprocessing

一、1.1 缺失值处理
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
from sklearn import datasets
%matplotlib inline
font = FontProperties(fname='/Library/Fonts/Heiti.ttc')

现实生活中的数据往往是不全面的,很多样本的属性值会有缺失,例如某个人填写的个人信息不完整或者对个人隐私的保护政策导致建模时可能无法得到所需要的特征,尤其是在数据量较大时,这种缺失值的产生会对模型的性能造成很大的影响。接下来将通过鸢尾花数据讨论缺失值处理的方法。

# 缺失值处理示例
from io import StringIO

iris_data = '''
5.1,,1.4,0.2
4.9,3.0,1.4,0.2
4.7,3.2,,0.2
7.0,3.2,4.7,1.4
6.4,3.2,4.5,1.5
6.9,3.1,4.9,
,,,
'''

iris = datasets.load_iris()
df = pd.read_csv(StringIO(iris_data), header=None)
df.columns = iris.feature_names
df = df.iloc[:, :4]
df

更多文章请关注《万象专栏》