ToB企服应用市场:ToB评测及商务社交产业平台

标题: pandas 缺失值、异常值提取和处理 [打印本页]
作者: 渣渣兔    时间: 2024-4-29 20:34
标题: pandas 缺失值、异常值提取和处理
  1. for columname in df.columns: #遍历每一列
  2.     if df[columname].count()  != len(df): #判断缺失行条件：所在列的值数等于总数据的长度
  3.         #将存在缺失值的行的索引转换成列表储存
  4.         loc = df[columname][df[columname].isnull().values == True].index.tolist()
  5.         print('列名："{}",第{}行位置有缺失值'.format(columname, loc))
复制代码
遍历每列 -> 列长是否小于总长 ->缺失值所在行： df['列名'][df['列名‘].isnull().values==True ]
1. 缺失值处理
dropna()删除缺失值
  1. df.dropna(axis=0) # 删除包含缺失值的行<br>df.dropna(axis=1) # 删除包含缺失值的列
复制代码
使用 fillna() 方法填充缺失值，可以使用指定的值、前一个有效值、后一个有效值或者均值、中位数等。
  1. df.fillna(value=0)  # 用指定值填充缺失值
  2. df.fillna(method='ffill')  # 使用前一个有效值填充缺失值
  3. df.fillna(method='bfill')  # 使用后一个有效值填充缺失值
  4. df.fillna(df.mean())  # 使用均值填充缺失值<br>df.fillna((df.shift()+df.shift(-1))/2) #用前后数值的平均值填充<br># 使用前一个数据和后一个数据的平均值填充缺失值，边界情况下使用同侧的值<br>df = df.fillna((df.shift().fillna(method='bfill') + df.shift(-1).fillna(method='ffill')) / 2)<br>
复制代码
最后一行的边界情况指的是第一行、最后一行等情况
2. 不合规数据
df[df['ColumnName']=='不合规数据']
df[df['ColumnName'].str.contains(' ')]
包含’--‘为不合规数据提取：
  1. # 方法一：isin()
  2. df[df['column'].isin(['--'])]<br>
  3. # 方法二：contains()
  4. df[df["column"].str.contains("--")]
复制代码
数据类型不为str提取：
  1. temp = pd.DataFrame()
  2. for i in range(len(df)):
  3.     if type(df['ColumnName'][i]) != str: #df['xxx'][i]或写成df.iloc[i,j]
  4.         temp = temp.append(df.loc[i])
复制代码
 
不合规数据的处理：讲数据替换成nan，再用缺失值处理的方法
  1. # 将不符合规范的值替换为 NaN
  2. df = df.replace(['--', '111'], np.nan)
  4. # 使用前一个数据和后一个数据的平均值填充缺失值，边界情况下使用同侧的值
  5. df = df.fillna((df.shift().fillna(method='bfill') + df.shift(-1).fillna(method='ffill')) / 2)
复制代码
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4