PYTHON训练营DAY31

项目拆分

src/data/load_data.py

1. # -*- coding: utf-8 -*-
2. import sys
3. import io
4. # 设置标准输出为 UTF-8 编码
5. sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
6. import pandas as pd
8. def load_data(file_path: str) -> pd.DataFrame:
9.     """加载数据文件
10.     Args:
11.         file_path: 数据文件路径
12.     Returns:
13.         加载的数据框
14.     """
15.     return pd.read_csv(file_path)
17. if __name__ == "__main__":
18.     # 测试代码
19.     data = load_data("testDay31/data/raw/heart.csv")
20.     print("数据读取完成！")

复制代码

src/data/preprocessing.py 

1. # -*- coding: utf-8 -*-
2. import sys
3. import io
4. import os
5. # 设置标准输出为 UTF-8 编码
6. sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
8. import pandas as pd
9. import numpy as np
10. from typing import Tuple, Dict
13. def load_data(file_path: str) -> pd.DataFrame:
14.     """加载数据文件
15.     Args:
16.         file_path: 数据文件路径
17.     Returns:
18.         加载的数据框
19.     """
20.     return pd.read_csv(file_path)
22. # 仅以处理缺失值为例
23. def handle_missing_values(data: pd.DataFrame) -> pd.DataFrame:
24.     """处理缺失值
25.     Args:
26.         data: 包含缺失值的数据框
27.     Returns:
28.         处理后的数据框
29.     """
30.     data_clean = data.copy()
31.     continuous_features = data.select_dtypes(include=['int64', 'float64']).columns.tolist()
32.    
33.     for feature in continuous_features:
34.         mode_value = data[feature].mode()[0]
35.         data_clean[feature].fillna(mode_value, inplace=True)
36.    
37.     return data_clean
39. if __name__ == "__main__":
40.     # 测试代码
41.     data = load_data("testDay31/data/raw/heart.csv")
42.     # data_encoded, mappings = encode_categorical_features(data)
43.     data_clean = handle_missing_values(data)
44.     print("数据预处理完成！")

复制代码

models/train.py

1. # -*- coding: utf-8 -*-
2. import sys
3. import os
4. import io
5. # 设置标准输出为 UTF-8 编码
6. sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
8. sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
10. from sklearn.ensemble import RandomForestClassifier
11. from sklearn.model_selection import train_test_split
12. from sklearn.metrics import classification_report, confusion_matrix
13. import time
14. import joblib # 用于保存模型
15. from typing import Tuple # 用于类型注解
17. from data.preprocessing import  load_data,handle_missing_values
18. # from data.load_data import load_data
20. def prepare_data() -> Tuple:
21.     """准备训练数据
22.     Returns:
23.         训练集和测试集的特征和标签
24.     """
25.     # 加载和预处理数据
26.     data = load_data("testDay31/data/raw/heart.csv")
27.     data_clean = handle_missing_values(data)
28.    
29.     # 分离特征和标签
30.     X = data_clean.drop(['target'], axis=1)
31.     y = data_clean['target']
32.    
33.     # 划分训练集和测试集
34.     X_train, X_test, y_train, y_test = train_test_split(
35.         X, y, test_size=0.2, random_state=42
36.     )
37.    
38.     return X_train, X_test, y_train, y_test
40. def train_model(X_train, y_train, model_params=None) -> RandomForestClassifier:
41.     """训练随机森林模型
42.     Args:
43.         X_train: 训练特征
44.         y_train: 训练标签
45.         model_params: 模型参数字典
46.     Returns:
47.         训练好的模型
48.     """
49.     if model_params is None:
50.         model_params = {'random_state': 42}
51.    
52.     model = RandomForestClassifier(**model_params)
53.     model.fit(X_train, y_train)
54.     return model
56. def evaluate_model(model, X_test, y_test) -> None:
57.     """评估模型性能
58.     Args:
59.         model: 训练好的模型
60.         X_test: 测试特征
61.         y_test: 测试标签
62.     """
63.     y_pred = model.predict(X_test)
64.     print("\n分类报告：")
65.     print(classification_report(y_test, y_pred))
66.     print("\n混淆矩阵：")
67.     print(confusion_matrix(y_test, y_pred))
69. def save_model(model, model_path: str) -> None:
70.     """保存模型
71.     Args:
72.         model: 训练好的模型
73.         model_path: 模型保存路径
74.     """
75.     os.makedirs(os.path.dirname(model_path), exist_ok=True)
76.     joblib.dump(model, model_path)
77.     print(f"\n模型已保存至: {model_path}")
79. if __name__ == "__main__":
80.     # 准备数据
81.     X_train, X_test, y_train, y_test = prepare_data()
82.    
83.     # 记录开始时间
84.     start_time = time.time()
85.    
86.     # 训练模型
87.     model = train_model(X_train, y_train)
88.    
89.     # 记录结束时间
90.     end_time = time.time()
91.     print(f"\n训练耗时: {end_time - start_time:.4f} 秒")
92.    
93.     # 评估模型
94.     evaluate_model(model, X_test, y_test)
95.    
96.     # 保存模型
97.     save_model(model, "testDay31/models/random_forest_model.joblib")

复制代码

@浙大疏锦行

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。