vif-方差膨胀因子盘算

vif-方差膨胀因子

• 使用statsmodels中的variance_inflation_factor，数据集使用乳腺癌数据集
  
  1. import pandas as pd
  2. import numpy as np
  3. from sklearn.datasets import load_breast_cancer
  4. from tqdm import notebook
  5. from statsmodels.stats.outliers_influence import variance_inflation_factor
  6. from statsmodels.tools import add_constant
  8. cancer = load_breast_cancer()
  9. df = pd.DataFrame(cancer.data,columns=['_'.join(i.split()) for i in cancer.feature_names])
  10. df['y'] = cancer.target
  12. def calc_vif(df,desc_dict=None):
  13.     """
  14.     df: DataFrame
  15.     desc_dict: 字段中文释义字典
  16.    
  17.     return: vif DataFrame
  18.     """
  19.     X=add_constant(df)
  20.     vif_list = []
  21.     for i in notebook.tqdm(range(X.shape[1])):
  22.         vif = variance_inflation_factor(X.values,i)
  23.         vif_list.append(vif)
  24.     s = pd.DataFrame(vif_list,index=X.columns)
  25.     s = s.reset_index()
  26.     s.columns = ['feature','vif']
  27.     if desc_dict:
  28.         s['中文释义'] = s.feature.map(desc_dict)
  29.         s = s[['feature','中文释义','vif']]
  30.     return s
  31.   
  32. str_list = df.select_dtypes(include='object').columns.tolist() # string类型
  33. flo_list = df.select_dtypes(exclude='object').columns.tolist() # 连续型
  35. # vif 不能计算string类型
  36. df_vif = df[flo_list]
  38. # vif 计算不能有空值
  39. for i in notebook.tqdm(flo_list):
  40.     df_vif[i] = df_vif[i].fillna(0)
  42. vif_data = calc_vif(df_vif)
  43. vif_data

  复制代码
  
  
  

---

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。