pandas札记10_数据清洗工作

数据处理之前需要对数据进行清理工作，包含：

• 缺失值的去除drop
• 缺失值的填充fillna
• 删除重复数据duplicated()和drop_duplicates()
• 数据转换
• 索引重命名
• 数据离散化或面元化

缺失值的去除

pandas处理缺失值

• pandas默认的处理对象不包括缺失值
• NaN表示缺失数据；None值也可以作为NA
• isnull()函数查看哪些数据是缺失值
• dropna更实用，返回的是一个仅非空数据和索引值的S

image.png

string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

string_data



# 结果

0     aardvark

1    artichoke

2          NaN

3      avocado

dtype: object



string_data[0] = None

string_data.isnull()



# 结果

0     True

1    False

2     True

3    False

dtype: bool

drop的使用

• 对于S：返回的是非空数据个索引值的Series

• 对于DF：默认丢弃含有任何缺失值的行和列
  

  
  
  image.png
  
  

• 处理Series

# 处理S

from numpy import nan as NA

data = pd.Series([1, NA, 3.5, NA, 7])

data.dropna()



# 上面等价于：本质上是将notnull函数的布尔值结果作为索引

# 布尔索引

data[data.notnull()]

image.png

• 处理DataFrame数据

# 处理DF数据

# 只要有缺失值，删除整个行数据

data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],

                     [NA, NA, NA], [NA, 6.5, 3.]])

cleaned_data = data.dropna()

cleaned_data

image.png

注意：原数据data不变

# 参数how="all"：丢弃全部为NA的行

data.dropna(how="all")

image.png

image.png

image.png

# thresh=n：表示保留至少有n个不是NaN数据的行

df.dropna(thresh=3)

image.png

填充缺失值数据

• 不想滤除空值，想填充空值
• fillna(n)函数：表示将缺失值替换为n
• fillna默认返回新的对象，也可以原地修改，通过inplace=True

image.png

image.png

# 通过字典调用fillna，实现对不同的列填充不同的数据

# key表示列属性，value表示填充的数据

df.fillna({1: 0.5, 2: 0.25})

image.png

# 将原来的数据进行修改

_ = df.fillna(0, inplace=True)

df

image.png

# fillna中传入的参数是多样的，reindexing中的方法也适用

df = pd.DataFrame(np.random.randn(6,3))

df.iloc[2:, 1] = NA

df.iloc[4:, 2] = NA

df



# ffill填充的是上一个位置的元素

# 产生新的对象

df.fillna(method="ffill")

image.png

# limit表示最多填充的个数

df.fillna(method='ffill', limit=3)



# 填充数据的中位数或者说平均值

data = pd.Series([1., NA, 3.5, NA, 7])

data.fillna(data.mean())

image.png

删除重复数据

• duplicated()：检查是否有重复行（前面的行），返回布尔型S数据
• drop_duplicates()：返回的是DF，重复的数据标为False

data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],

                     'k2': [1, 1, 2, 3, 3, 4, 4],

                     'k3': [1, 5, 2, 6, 2, 5, 1]})

data

image.png

image.png

image.png