kaggle上经典泰坦尼克项目数据分析探索
之前相识在kaggle上这个项目很火，最近想要加强一下python数据分析，所以在kaggle上找到这个项目进行学习探索，下面是将一些学习资料以及过程整理出来。一、首先我们相识一下项目背景以及如何找到这个项目。
kaggle项目地址:
https://www.kaggle.com/code/alexisbcook/titanic-tutorial?scriptVersionId=99170538&cellId=5
进入页面后会有背景介绍以及项目
https://i-blog.csdnimg.cn/direct/c130e08243dc422482326dbdd7ab3a41.png我们先大概相识一下项目背景以及流程，找到项目所需要的数据源。
https://i-blog.csdnimg.cn/direct/af2e1b69a8a7464faf134d2f4029962a.png
二、准备停当，下面进入项目一起学习探索
import pandas as pd
train_data = pd.read_csv(r'E:/train.csv')
test_data = pd.read_csv(r'E:/test.csv')
train_data.head(10)
# 数据集概述
# 泰坦尼克号数据集是机器学习入门中一个非常著名的数据集，包含了乘客的个人信息以及他们的生死状态。数据集主要包含以下字段：
# PassengerI：乘客编号
# Survive：生存状态（0代表未存活，1代表存活）
# Pclas：舱位等级
# Nam：乘客姓名
# Se：性别
# Ag：年龄
# SibS：同舱兄弟姐妹或配偶的数量
# Parc：同行父母或子女的数量
# Ticke：票号
# Far：票价
# Cabi：舱位
# Embarke：登船港口 查看导入train数据效果:
https://i-blog.csdnimg.cn/direct/1a1436c3bdca42de89dfa25c900ad9c6.png
查看导入的test数据效果:
test_data.head(10) https://i-blog.csdnimg.cn/direct/c2788ebc7568456d98023dda13dd74bd.png
查看数据根本信息
# 查看数据基本信息
train_data.info() https://i-blog.csdnimg.cn/direct/9fea1e17e1794d8ca8a9bf9ae0f3e0c3.png
test_data.info() https://i-blog.csdnimg.cn/direct/61a3ec4e9a554439bbd52c9bc1ec97fd.png
查看数据空值情况
# 检查各个字段的空值情况
train_data.isnull().sum() https://i-blog.csdnimg.cn/direct/e1368a5b999440df9bb3e5c8ca155837.png说明：从效果看到Age、Cabin和Embarked显着有空值
test_data.isnull().sum() https://i-blog.csdnimg.cn/direct/3494035eb4124a209da54a2bd3381d63.png
查看一下数据形貌
train_data.describe() https://i-blog.csdnimg.cn/direct/02c02af244b749529e8992580cd9cf7a.png
test_data.describe() https://i-blog.csdnimg.cn/direct/983de198a67442dcb244c377f0fc5d2f.png
# 计算女性获救的概率
women = train_data.loc["Survived"]
rate_women = sum(women)/len(women)
print("% of women who survived:", rate_women) https://i-blog.csdnimg.cn/direct/3167ed849ad849b092bec239356dd689.png
# 计算男性获救的概率
men = train_data.loc["Survived"]
rate_men = sum(men)/len(men)
print("% of men who survived:", rate_men) https://i-blog.csdnimg.cn/direct/c333a62f5b94416e9756378dc23ce87e.png
# 学习第一个机器学习模型随机森林来预测乘客的获救可能
from sklearn.ensemble import RandomForestClassifier
y = train_data["Survived"]
# 指定相关的特性列
features = ["Pclass", "Sex", "SibSp", "Parch"]
# 将features转换为哑变量
X = pd.get_dummies(train_data)
X_test = pd.get_dummies(test_data)
model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=1)
model.fit(X, y)
predictions = model.predict(X_test)
output = pd.DataFrame({'PassengerId': test_data.PassengerId, 'Survived': predictions})
output.to_csv('submission.csv', index=False)
print(output.head(10))
print("Your submission was successfully saved!") https://i-blog.csdnimg.cn/direct/24d9de572fec4731b9de2f86be1422d8.png
# 上面部分是根据实例kaggle上面的例子，下面我们再对数据做一些探索
# 需求:引入seaborn来研究已知存活的数据中存活比例
# 结论:在891名乘客中，其中存活的比例为36.38%，溺水的比例为61.62%
import seaborn as sns
import matplotlib.pyplot as plt
sns.set()
sns.set_style('ticks')
train_data['Survived'].value_counts().plot.pie(labels = ['downed','survived'],
explode=(0,0.05),shadow = True,autopct = '%.2f%%',fontsize=15)
plt.show() https://i-blog.csdnimg.cn/direct/654d473f6d4e432587168833f1fd1074.png
#年龄分布情况
# 需求:
# 1、年龄的分布情况
# 2、男性和女性的存活情况
# 3、大人和小孩的存活情况
# 结论
# 年龄分布呈现右偏，大部分数据集中在20岁到40岁之间，最小年龄是0.42，最大年龄是80
fig,ax = plt.subplots(1,2,figsize=(15,7))
age = train_data.notnull()]
age['Age'].hist(bins=50,histtype='bar',edgecolor='k',ax=ax)
age['Age'].plot.box(showfliers=False,
color = {'boxes':'DarkGreen', 'whiskers':'DarkOrange', 'medians':'DarkBlue', 'caps':'Gray'},
grid=True,
ax=ax)
pd.DataFrame(age['Age'].describe()).transpose() https://i-blog.csdnimg.cn/direct/d71ecc98e75c474e8dc7a1bb1b0caac3.png
# 需求:按照存活状态分布的年龄情况
# 结论:幸存者的年龄整体比溺水的年龄小，幸存者数据有一个明显的异常值，80岁的幸存者，需要检查一下。
import numpy as np
plt.figure(figsize=(15, 3))
#显示汉字
plt.rcParams['font.sans-serif'] = ['SimHei']
sns.boxplot(y = 'Survived', x = 'Age', data = train_data,
palette=["#3f3e6fd1", "#85c6a9"], fliersize = 0, orient = 'h')
#orient："v"|"h" 用于控制图像使水平还是竖直显示
#fliersize：异常值大小
sns.stripplot(y = 'Survived', x = 'Age', data = train_data,
linewidth = 0.6, palette=["#3f3e6fd1", "#85c6a9"], orient = 'h')
plt.yticks( np.arange(2), ['drowned', 'survived'],fontsize= 15)
plt.title('乘客的年龄分布情况',fontsize= 15)
plt.ylabel('存活状态')
plt.tight_layout()
pd.DataFrame(train_data.groupby('Survived').Age.describe())
https://i-blog.csdnimg.cn/direct/c611ad9c506f4941baa4e9c8ff46a066.png
# 需求:由于有一个异常数据，这里简单修正数据
# 结论:异常值的影响不大，结论仍然是年龄偏小的获救概率较大
train_data.loc==80,'Age'] = 48
train_data=='Barkworth, Mr. Algernon Henry Wilson']
pd.DataFrame(train_data.groupby('Survived').Age.describe()) https://i-blog.csdnimg.cn/direct/dcde96c1247540a79f2f3a5361c18cc1.png
#男性和女性存活情况
s_sex = train_data==1][['Sex','Survived']].groupby('Sex').count()
s_sex.plot.bar(rot=0)
print(
'女性存活率为%0.2f%%,男性存活率为%0.2f%%'
%(s_sex.loc['female']/s_sex.sum()*100,s_sex.loc['male']/s_sex.sum()*100)) https://i-blog.csdnimg.cn/direct/d350f308ed6f4d5dad7769abbd0bfd95.png
# 按照不同船舱等级划分： 船舱等级越高，存活者年龄越大，船舱等级1存活年龄集中在20-40岁，船舱等级2/3中有较多低龄乘客存活
# 按照性别划分 ： 男性女性存活者年龄主要分布在20-40岁，且均有较多低龄乘客，其中女性存活更多
# 按照不同船舱等级看存活的男女比例： 1、3等舱存活的男性大部分为20到50，2等舱幸存男性年龄偏低
# 年龄与存活的关系
age = train_data.notnull()]
s_age = age==1]
fig,ax = plt.subplots(1,3,figsize=(15,5))
sns.violinplot(x='Pclass',y='Age',hue='Survived',data = age,split=True,ax=ax,grid=True)
ax.set_yticks(range(0,110,10))
sns.violinplot('Sex','Age',hue='Survived',data=age,split=True,ax=ax)
ax.set_yticks(range(0,110,10))
sns.violinplot('Pclass','Age',hue='Sex',data=s_age,split=True,ax=ax)
ax.set_yticks(range(0,110,10))
plt.tight_layout() https://i-blog.csdnimg.cn/direct/b269619e5e314c8f8203397f467222c2.png
age = train_data.notnull()]
age['age_int']=age['Age'].astype(int)
a = age[['Survived','age_int']].groupby('age_int',as_index=False).mean()
#计算均值相当于计算存活率
plt.figure(figsize=(15,4))
sns.barplot(x ='age_int',y='Survived',data=a, palette = 'BrBG') https://i-blog.csdnimg.cn/direct/4b0e14a48cc44a18b7a377e13b91862e.png
# 结合 SibSp、Parch字段，研究亲人多少与存活的关系
# 要求：
# 1、有无兄弟姐妹/父母子女和存活与否的关系
# 2、亲戚多少与存活与否的关系
#计算家庭大小
train_data['family_size']=train_data['SibSp']+train_data['Parch']+1
train_data['family_size'].value_counts() https://i-blog.csdnimg.cn/direct/029e77ac8f30444c8e34d8c53fc1e4d5.png
# 家庭大小与存活的关系
# 有两个大小分别为8和11的大家族，其训练数据集中的所有成员均被淹死。
# 大多数乘客独自旅行，生存率不是很高。
# 在船上有4位家庭成员的人群中，幸存的乘客比例最大。
fig = plt.figure(figsize=(12,5))
ax1 = fig.add_subplot(121)
ax = sns.countplot(train_data['family_size'])
labels = (train_data['family_size'].value_counts())
for i, v in enumerate(labels):
ax.text(i, v+6, str(v), horizontalalignment = 'center', size = 10, color = 'black')
plt.ylabel('乘客数')
plt.title('按照家庭数量分布的乘客情况')
ax2 = fig.add_subplot(122)
a = train_data.groupby('family_size')['Survived'].value_counts(normalize=True).unstack()
a.plot(kind='bar',stacked='True',color=["#3f3e6fd1", "#85c6a9"],rot=0,ax =ax2)
plt.legend(( 'Drowned', 'Survived'), loc=(1.04,0))
plt.title('按照家庭数量分布的存活情况')
plt.tight_layout() https://i-blog.csdnimg.cn/direct/0426260496e447909057c2fe2b5a580e.png
# 结合票的费用情况，研究票价和存活与否的关系
# 要求：
# 1、 票价分布和存活与否的关系
# 2、比较研究生还者和未生还者的票价情况
# 票价分布和存活与否的关系
# 结论:生还者的平均票价要大于未生还者的平均票价
fig, ax=plt.subplots(1,2,figsize=(15,4))
train_data['Fare'].hist(bins=70, ax = ax)
train_data.boxplot(column='Fare', by='Pclass', showfliers=False,ax = ax)
# 查看票价分布情况
fare_not_survived = train_data['Fare'] == 0]
fare_survived = train_data['Fare'] == 1]
# 基于票价，筛选出生存与否的数据
average_fare = pd.DataFrame()
std_fare = pd.DataFrame()
average_fare.plot(yerr=std_fare,kind='bar',legend=False,figsize = (15,4),grid = True)
# 查看票价与是否生还的关系
plt.tight_layout() https://i-blog.csdnimg.cn/direct/85f2975f3c564a0a8bb93e60524d5ab0.png
# 结合出发地的情况，研究出发地点与存活的关系
#大多数乘客登上南安普敦。 南安普敦的溺水乘客比例最大。
#从瑟堡出发的乘客，其中50％以上存活（在训练数据集中）。
#皇后镇出发的乘客中，绝大多数是三等舱乘客。
fig = plt.figure(figsize = (15,4))
ax1 = fig.add_subplot(131)
palette = sns.cubehelix_palette(5, start = 2)
ax = sns.countplot(train_data['Embarked'], palette = palette, order = ['C', 'Q', 'S'], ax = ax1)
plt.title('不同港口出发的乘客分布情况')
plt.ylabel('乘客数')
labels = (train_data['Embarked'].value_counts())
labels = labels.sort_index()
for i, v in enumerate(labels):
ax.text(i, v+10, str(v), horizontalalignment = 'center', size = 10, color = 'black')
ax2 = fig.add_subplot(132)
surv_by_emb = train_data.groupby('Embarked')['Survived'].value_counts(normalize = True)
surv_by_emb = surv_by_emb.unstack().sort_index()
surv_by_emb.plot(kind='bar', stacked='True', color=["#3f3e6fd1", "#85c6a9"], ax = ax2)
plt.title('不同港口出发的乘客存活情况')
plt.legend(( 'Drowned', 'Survived'), loc=(1.04,0))
_ = plt.xticks(rotation=False)
ax3 = fig.add_subplot(133)
class_by_emb = train_data.groupby('Embarked')['Pclass'].value_counts(normalize = True)
class_by_emb = class_by_emb.unstack().sort_index()
class_by_emb.plot(kind='bar', stacked='True', color = ['#eed4d0', '#cda0aa', '#a2708e'], ax = ax3)
plt.legend(('1st class', '2nd class', '3rd class'), loc=(1.04,0))
plt.title('不同港口出发的乘客的船舱等级分布')
_ = plt.xticks(rotation=False)
plt.tight_layout() https://i-blog.csdnimg.cn/direct/d411776dda9a4709bfbde12a55e339f1.png
总结:
我们知道泰坦尼克号上没有足够的船只可供所有搭客撤离。 在研究了有关搭客的信息之后，我们可以对谁在沉船变乱中有更好的生存时机以及对搭客的
一般观察做出一些假设。
1、数据集中有891名搭客，其中有549名（61.6％）被淹，只有342名（38.4％）幸存。 但是我们知道，救生艇（16艘木质救生艇和4辆可折叠救生艇）
可以载运总搭客的53％。
2、所有搭客的年龄从0.17年到80岁不等，平均为29.88岁。 幸存搭客的平均年龄为28.23，比溺水搭客的平均年龄（仅我们知道幸存者的年龄）小2.39。
看起来年轻人有更大的生存时机。
3、船上的家庭人数似乎也对生存时机有影响：有两个大家庭，分别为8和11，他们来自练习数据集的所有成员都被淹死了。 我们可以观察到，拥有2人，
3人，4人家庭的幸存者所占百分比大于单身人士，然后，随着家庭规模的增加，幸存者所占的百分比会降低。
4、泰坦尼克号的大部门搭客都是三等舱。 就搭客人数而言，第二类是最小的。 尽管有先前确定的先决条件（平均而言，老年人殒命的大概性更高，
并且头等舱的平均年龄比其他舱位更高。而且，由100％头等舱组成的A层搭客的 溺水搭客的比例很高），头等舱的幸存者人数最多，而舱内幸存者的
比例最大。
5、三等舱机票的溺水搭客人数最多。但是，大多数头等舱的男性搭客被淹死，而女性险些全部幸存下来。 三等舱，一半的女性得以幸存。
6、船上的男性总体上比女性多，这对每个舱位来说都是公平的，但是在三等舱中，男性的数量是女性的两倍多。
7、险些有600名男性游客没有家庭成员，只有200名女性，但是在普通家庭和大家庭中，女性游客略多。
8、大多数搭客（914）登上南安普敦。 此外，南安普敦的溺水搭客比例最大。 270名搭客登上瑟堡，其中50％以上幸存下来（在培训数据集中）。
皇后镇（Queenstown）出发的游客有123人，其中绝大多数是三等舱游客。
9、泰坦尼克号幸存者分析是机器学习的入门案例，我做了一点资料的查询发现有一些是数据无法表现的，不得不说单从数据的角度还原其时情况
着实有很多不妥的地方，原因有以下几点：
(1)三等舱搭客中相当一部门是不懂英语的，看不懂路标指示，听不懂海员的指令。这一因素与社会职位无关。
(2)爱德华·约翰·史密斯船长在最后时候下令“妇孺优先”，但是大副、二副对该命令的实行是不一致的，右舷大副默多克认为假如甲板上没有
密斯儿童了，只要另有空位，男性搭客也可以登艇。所以从右舷放下的九艘救生艇上都有男性搭客，救生艇的乘坐率也比力高，其中有三艘满员。
而在左舷的二副莱托勒则把“密斯和儿童优先”明确为“全船的密斯和儿童都应当先于男性搭客登艇”。所以，左舷的救生艇实在是
“仅限密斯和儿童”。从左舷放下的九艘救生艇中，只有三艘乘坐率略高出六成。
(3)考察头等舱幸存男性，他们主要集中右舷最早放下的三艘救生艇中，第一艘救生艇，一半座位是空的，一半搭客是男性，主要原因是一开始多数人
都没有认识到被认为“永不沉没”的铁达尼所面临的的危险。第二艘、第三艘救生艇男性搭客也占了近三分之一。另有一个原因是，右舷的救生艇位置
距离头等舱近。
(4)有少部门人主动放弃等艇时机，这样行为无疑闪耀着人性光辉。
所以单从数据的角度得出的结论显然不敷以说明其时的情况。电影《萨利机长》中，计算机的模拟还原的情况是飞机完全可以不必迫降在河面，
也是数字还原效果与现实的不符。所以只知道分析数据的分析师不是好的分析师，结合对业务的明确才是关键，数据是辅助。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]