Pandas教程：数据分析利器 - 从入门到精通

Pandas是Python中最强大的数据分析工具之一，它提供了高性能、易用的数据结构和数据分析工具。本教程将全面介绍Pandas的核心功能和现实应用。
  一、Pandas底子

1.1 数据结构简介

Pandas重要有两种数据结构：

• Series（一维数据）
  
• DataFrame（二维数据）
  

1. import pandas as pd
2. import numpy as np
4. # 创建Series
5. s = pd.Series([1, 3, 5, np.nan, 6, 8])
6. print(s)
8. # 创建DataFrame
9. df = pd.DataFrame({
10.     '姓名': ['张三', '李四', '王五'],
11.     '年龄': [25, 28, 22],
12.     '城市': ['北京', '上海', '广州']
13. })
14. print(df)

复制代码

1.2 数据导入与导出

1. # 读取CSV文件
2. df = pd.read_csv('data.csv')
4. # 读取Excel文件
5. df = pd.read_excel('data.xlsx')
7. # 保存为CSV
8. df.to_csv('output.csv', index=False)
10. # 保存为Excel
11. df.to_excel('output.xlsx', index=False)

复制代码

二、数据操作底子

2.1 查看数据

1. # 查看前几行数据
2. print(df.head())
4. # 查看基本信息
5. print(df.info())
7. # 查看统计摘要
8. print(df.describe())
10. # 查看数据维度
11. print(df.shape)

复制代码

2.2 数据选择和过滤

1. # 选择列
2. print(df['姓名'])
3. print(df[['姓名', '年龄']])
5. # 条件过滤
6. print(df[df['年龄'] > 25])
8. # loc和iloc选择器
9. print(df.loc[0])  # 基于标签
10. print(df.iloc[0])  # 基于位置

复制代码

三、数据清洗和预处理惩罚

3.1 处理惩罚缺失值

1. # 检查缺失值
2. print(df.isnull().sum())
4. # 填充缺失值
5. df.fillna(value=0)  # 用0填充
6. df.fillna(method='ffill')  # 用前一个值填充
7. df.fillna(method='bfill')  # 用后一个值填充
9. # 删除缺失值
10. df.dropna()

复制代码

3.2 数据转换

1. # 类型转换
2. df['年龄'] = df['年龄'].astype('int64')
4. # 重命名列
5. df = df.rename(columns={'姓名': 'name', '年龄': 'age'})
7. # 替换值
8. df['城市'] = df['城市'].replace('北京', 'Beijing')

复制代码

四、数据分析和聚合

4.1 分组操作

1. # 按城市分组并计算平均年龄
2. print(df.groupby('城市')['年龄'].mean())
4. # 多个聚合操作
5. print(df.groupby('城市').agg({
6.     '年龄': ['mean', 'max', 'min'],
7.     '姓名': 'count'
8. }))

复制代码

4.2 排序

1. # 按年龄排序
2. df_sorted = df.sort_values('年龄', ascending=False)
4. # 多列排序
5. df_sorted = df.sort_values(['城市', '年龄'], ascending=[True, False])

复制代码

五、高级操作

5.1 合并数据

1. # 合并两个DataFrame
2. df1 = pd.DataFrame({
3.     '编号': ['A1', 'A2', 'A3'],
4.     '姓名': ['张三', '李四', '王五']
5. })
7. df2 = pd.DataFrame({
8.     '编号': ['A1', 'A2', 'A4'],
9.     '成绩': [90, 85, 88]
10. })
12. # 内连接
13. merged = pd.merge(df1, df2, on='编号', how='inner')
15. # 外连接
16. merged = pd.merge(df1, df2, on='编号', how='outer')

复制代码

5.2 数据透视表

1. # 创建透视表
2. pivot_table = pd.pivot_table(df,
3.                             values='年龄',
4.                             index='城市',
5.                             columns='性别',
6.                             aggfunc='mean')

复制代码

5.3 时间序列

1. # 创建日期范围
2. dates = pd.date_range('20230101', periods=6)
4. # 时间序列数据
5. ts = pd.Series(np.random.randn(6), index=dates)
7. # 重采样
8. print(ts.resample('M').mean())  # 按月重采样

复制代码

六、实用技巧

6.1 数据可视化

1. import matplotlib.pyplot as plt
3. # 绘制折线图
4. df['年龄'].plot(kind='line')
5. plt.show()
7. # 绘制柱状图
8. df.groupby('城市')['年龄'].mean().plot(kind='bar')
9. plt.show()

复制代码

6.2 性能优化

1. # 使用适当的数据类型
2. df['年龄'] = df['年龄'].astype('int32')  # 降低内存使用
4. # 使用query进行高效过滤
5. df.query('年龄 > 25 and 城市 == "北京"')

复制代码

总结

Pandas的重要上风：

• 强大的数据处理惩罚本领
  
• 灵活的数据结构
  
• 高效的数据分析工具
  
• 丰富的数据导入/导出功能
  
• 与其他数据科学工具良好的集成
  

利用发起：

• 熟练把握底子操作
  
• 善用链式操作进步代码可读性
  
• 注意内存利用服从
  
• 充分利用Pandas的向量化操作
  
• 经常查阅官方文档获取最新特性
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。