趣味谈数据分析(九道门如何执行探索性数据分析)
趣味谈数据分析(九道门如何执行探索性数据分析)
2024-11-06 06:39:30  作者:空中管制  网址:https://m.xinb2b.cn/sport/jna446126.html

探索性数据分析(EDA)是了解数据集的关键步骤。在EDA中可以执行各种步骤,下文中会我会介绍 4 个主要步骤。其中数据集来自帕尔默群岛企鹅数据。数据分析优质社群,等你加入哦~

一、仔细检查数据

这一步的目的是找出数据集的变量和范围。它回答诸如"此数据集是否足够大?"或“它包含多少个特征或行?"等问题。加载数据集后,使用 head() 函数检查前五行将是了解数据集结构的良好开端,具体操作如下所示。

import pandas as pdimport numpy as np import seaborn as snsimport matplotlib.pyplot as pltimport warningswarnings.filterwarnings('ignore')#Loading the datasetpenguins_size = pd.read_csv('penguins_size.csv', sep = ",")penguins_size.head()


print("Shape is: ", penguins_size.shape)


从这里得出数据集的范围为(344,7),这意味着存在7个特征和344行,这表示数据集不够大。为了可视化特征的数据类型,可以使用 info() 函数,如下所示。结果显示,物种、岛屿和性别是目标,其余特征是浮动变量。使用 dtypes 也是了解列的数据类型的一种替代方法。

penguins_size.info()


penguins_size.dtypes


二、数据清理

查找缺失值、删除重复项等是探索性数据分析的关键步骤。这些值可能会导致我们的模型最终得出错误的结论。仅调查 isnull()是不够的。例如,在包含心率特征的数据集中,该特征的值不能为 0。在这种情况下,0 也是一个缺失值,需要处理。

有多种方法可以处理数据的缺失值,例如删除包含缺失值的行(如果数据集足够大并且缺失值的数量不是太多,这是一个选项),插补方法(特征的平均值/中位数)等。

penguins_size.isnull().sum()


如上所示,除岛屿和物种外的所有特征在此数据集中都包含缺失值。因为数据集非常小,所以我选择将浮点特征的缺失值与相应特征的均值相结合。

penguins_size.value_counts(["sex"])


penguins_size['sex'] = penguins_size['sex'].fillna('MALE')

对于企鹅的性别,在检查了雌性和雄性值的计数后,将考虑最常见的值,在这种情况下,缺失值将用 "MALE" 进行估算。如上所示,另一个值为".",必须将其归因或丢弃。在所有缺失值被插补或删除后,我们再次使用 isna () 函数进行检查,确定没有遗漏值。

penguins_size.drop(axis = 0, inplace = True, index = 336)penguins_size.isna().sum()


最后,对于这个部分,需要检查是否存在任何重复行。

duplicated = penguins_size.duplicated()print(duplicated.sum())

三、统计洞察

这也是理解数据的一部分。处理缺失值后,可以使用 describe() 函数来获取数据的平均值、最大值、最小值和标准偏差等信息。此方法还可用于检测缺失值,例如,如果特征值的最小值在不应为 0 的地方为 0,则 describe()函数有助于处理缺失值。

penguins_size.describe()


通过使用 value_counts() 函数,可以计算对象的唯一值。此外,每个物种的体重平均值可以通过使用 groupby()函数找到对于连续特征,此函数在分类和观察数据方面非常有用。

penguins_size['species'].value_counts()


# Find body mass mean for each species.mean_bodymass = penguins_size.groupby('species')['body_mass_g'].mean()mean_bodymass


四、数据可视化

为了更好地可视化数据集,可以使用各种绘图技术,在下文中简单介绍几个。有些图在可视化分类数据方面效果更好,有些图则更适合数值数据的可视化。

箱形图

通过显示数据分布来检查异常值或理解分类特征与连续特征之间关系的好方法。

如下图所示,由于没有数据点分别高于或低于最大值和最小值,因此未检测到异常值。此外,可以很容易地找到数据点的中位数,因为通过框内的水平线代表的就是中位数。

#Relationship of the culmen length and sex of the penguins.fig = plt.figure(figsize=(5,8))ax= sns.boxplot(x = penguins_size.sex, y=penguins_size['culmen_length_mm'],orient="v", palette = "cividis")plt.title('Culmen_length_mm')plt.show()


直方图

直方图用于描述频率分布。

#Shows us frequency distribution.fig,axs = plt.subplots(1,4,figsize=(20,6))axs[0].hist(penguins_size.culmen_depth_mm)axs[0].set_title('culmen_depth_mm')axs[0].set_ylabel('Frequency')axs[1].hist(penguins_size.culmen_length_mm)axs[1].set_title('culmen_length_mm')axs[2].hist(penguins_size.flipper_length_mm)axs[2].set_title('flipper_length_mm')axs[3].hist(penguins_size.body_mass_g)axs[3].set_title('body_mass_g')plt.show()


此外,kdeplot 是可视化数据分布的另一种方法。此图实际上类似于直方图,但不是将值放入条柱中,而是绘制一条曲线。

#Used for visualizing the probability density of a continuous var.sns.kdeplot(penguins_size.flipper_length_mm,color='Cyan')plt.show()


条形图

在条形图中,x 轴表示分类变量, y 轴表示数值变量。这就是为什么条形图描绘了这两个变量之间的关系。

plt.figure(figsize=(8,5))colors = ["cyan","lightblue", "darkblue"]sns.barplot(x =penguins_size['island'],y = penguins_size['body_mass_g'], palette = colors)plt.title('Body Mass of Penguins for different Islands')plt.show()


通过使用 pandas 函数交叉表,可以分析两个或多个变量之间的关系。作为说明,下面的条形图强调了生活在特定岛屿中的特定物种的企鹅数量之间的关系。

pd.crosstab(penguins_size['island'], penguins_size['species']).plot.bar(color=('DarkBlue', 'LightBlue', 'Teal'))plt.tight_layout()


小提琴图

小提琴图描述的是数据集的概率密度。由于两个不同的类别可能具有相同的平均值,在这种情况下观察小提琴图会更有用。

在下面的小提琴图中,梦幻岛企鹅体重的平均值在3000到4000克之间,而在比斯科岛企鹅体重的平均值大约在4500到5500克之间。

sns.violinplot(x = 'island',y = 'body_mass_g',data = penguins_size, palette="YlOrRd_r")plt.title('Violin plot')


想要完整代码的同学可以留言获取哦~


  • 杀马特的偶像电视剧(五部风靡一时的)
  • 2024-11-06五部风靡一时的第一部《天国的嫁衣》王心凌、明道过去的剧,现在看来可能是无脑偶像玛丽苏剧,但小时候看的时候,那真是梦幻又美好,又有哪个女孩不向往白马王子呢如今不敢回头再看这些剧了,但是也给自己的童年打一个不错的分数吧。
  • 为什么女戴观音男戴佛呢(为什么一定要男戴观音)
  • 2024-11-06为什么一定要男戴观音观音和佛像是玉石里较为常见的造型,民间还有“男戴观音,女戴佛”的习俗,很多人也按照这样的习俗来佩戴玉佛,那么,可不可以反过来,女子戴观音呢?说到这,我们就不得不提“男戴观音,女戴佛”的由来习俗原是民间。
  • 什么时候是白天最长的一天(一年中中国最长的白天是什么时候)
  • 2024-11-06一年中中国最长的白天是什么时候夏至是北半球一年中白昼最长、黑夜最短的一天夏至日那天,整个地球上除北极点和南极圈内的极夜地区外,所有地点的日出方向都是从东北方开始的,在西北方落下每年6月21日前后太阳直射点在北回归线上,北半球各地昼。
  • 减震器维修保养(减震器的维修与保养)
  • 2024-11-06减震器的维修与保养减震器是汽车使用过程中的易损配件,减震器工作好坏,将直接影响汽车行驶的平稳性和其它机件的寿命,因此我们应使减震器经常处于良好的工作状态可用下列方法检验减震器的工作是否良好  为了使车架与车身的振动迅速。
  • 诛仙各职业细节(手持巨斧舞乾坤的九黎)
  • 2024-11-06手持巨斧舞乾坤的九黎一剑诛仙,情撼九天我是诛仙情报君,今天给大家带来的诛仙职业推荐是九黎,九黎作为与烈山同时期登录诛仙的职业,烈山手长,适合远距离击杀对手九黎则是肉盾近战的代表,其近距离攻击和防御能力,成为了当时屈指可数。
  • 12月最新人生哲理早安经典一句话(各人人生不尽相同)
  • 2024-11-06各人人生不尽相同万年历早上好,今天是2022年11月3日,星期四,农历十月初十!壬寅年【虎年】庚戌月庚申日!宜:结婚、出行、打扫、搬家、签订合同、交易、搬新房、纳财、开业、祈福、栽种、挂匾、祭祀、出火、收养子女、开光。
  • 知识点分享(你在哪里知识点)
  • 2024-11-06你在哪里知识点今天,小徐老师带着孩子学习了二年级下册第五课《雷锋叔叔,你在哪里》,本来以为这课内容好理解,字词积累也不难,就不用细说,但真正学起来,却发现漏洞百出小学生学东西,非常有意思,就是第一次如果没学对,写错。
  • 鲜美可口的大闸蟹(我心中的冬日限定)
  • 2024-11-06我心中的冬日限定买了活蟹不会处理?直接上锅蟹脚掉的光秃秃?为了吃鲜活的大闸蟹特意去请教了母亲By最好的鸭很压抑用料阳澄湖大闸蟹3只做法步骤1、温水闷十分钟2、洗净放入蒸烤箱3、快蒸模式十分钟4、开动做菜好吃都有技巧,。
  • 爱得漫不经心花一样安静(我们都想轰轰烈烈地爱一场)
  • 2024-11-06我们都想轰轰烈烈地爱一场1.女孩叫惜,男孩叫泽!    惜长的很可爱,她从小就体弱多病,正因如此,惜变的很坚强    泽长的很帅,是学校里的校草天天都有情书,但泽从来不看一眼,直接丢掉!还有好很多人跟在泽的屁股后面,泽从来都。
  • 论语中为人处世的四个层次(与品行端正的人走得近一点)
  • 2024-11-06与品行端正的人走得近一点《论语》中有这么一段话:子曰:“里仁为美,择不处仁,焉得知?”孔子说:跟有仁德的人居住在一起,才是好的如果你选择住处,不跟仁德者在一起或者毗邻,怎么能说你是明智的呢?这是在说,要多亲近那些仁德、仁义之。
  • 约会大作战最后时崎狂三怎么了 时崎狂三只愤怒过两次
  • 2024-11-06约会大作战最后时崎狂三怎么了 时崎狂三只愤怒过两次时崎狂三是《约会大作战》中的一位超人气角色,如今关于她的外传故事在日前也宣布了动画化的决定,相信在不久之后我就能看到这位援气满满的少女,再次活跃到荧幕之上了关于时崎狂三,其实能说到的东西有很多很多,今。