趣味谈数据分析(九道门如何执行探索性数据分析)
趣味谈数据分析(九道门如何执行探索性数据分析)
2024-11-24 06:45:21  作者:空中管制  网址:https://m.xinb2b.cn/sport/jna446126.html

探索性数据分析(EDA)是了解数据集的关键步骤。在EDA中可以执行各种步骤,下文中会我会介绍 4 个主要步骤。其中数据集来自帕尔默群岛企鹅数据。数据分析优质社群,等你加入哦~

一、仔细检查数据

这一步的目的是找出数据集的变量和范围。它回答诸如"此数据集是否足够大?"或“它包含多少个特征或行?"等问题。加载数据集后,使用 head() 函数检查前五行将是了解数据集结构的良好开端,具体操作如下所示。

import pandas as pdimport numpy as np import seaborn as snsimport matplotlib.pyplot as pltimport warningswarnings.filterwarnings('ignore')#Loading the datasetpenguins_size = pd.read_csv('penguins_size.csv', sep = ",")penguins_size.head()


print("Shape is: ", penguins_size.shape)


从这里得出数据集的范围为(344,7),这意味着存在7个特征和344行,这表示数据集不够大。为了可视化特征的数据类型,可以使用 info() 函数,如下所示。结果显示,物种、岛屿和性别是目标,其余特征是浮动变量。使用 dtypes 也是了解列的数据类型的一种替代方法。

penguins_size.info()


penguins_size.dtypes


二、数据清理

查找缺失值、删除重复项等是探索性数据分析的关键步骤。这些值可能会导致我们的模型最终得出错误的结论。仅调查 isnull()是不够的。例如,在包含心率特征的数据集中,该特征的值不能为 0。在这种情况下,0 也是一个缺失值,需要处理。

有多种方法可以处理数据的缺失值,例如删除包含缺失值的行(如果数据集足够大并且缺失值的数量不是太多,这是一个选项),插补方法(特征的平均值/中位数)等。

penguins_size.isnull().sum()


如上所示,除岛屿和物种外的所有特征在此数据集中都包含缺失值。因为数据集非常小,所以我选择将浮点特征的缺失值与相应特征的均值相结合。

penguins_size.value_counts(["sex"])


penguins_size['sex'] = penguins_size['sex'].fillna('MALE')

对于企鹅的性别,在检查了雌性和雄性值的计数后,将考虑最常见的值,在这种情况下,缺失值将用 "MALE" 进行估算。如上所示,另一个值为".",必须将其归因或丢弃。在所有缺失值被插补或删除后,我们再次使用 isna () 函数进行检查,确定没有遗漏值。

penguins_size.drop(axis = 0, inplace = True, index = 336)penguins_size.isna().sum()


最后,对于这个部分,需要检查是否存在任何重复行。

duplicated = penguins_size.duplicated()print(duplicated.sum())

三、统计洞察

这也是理解数据的一部分。处理缺失值后,可以使用 describe() 函数来获取数据的平均值、最大值、最小值和标准偏差等信息。此方法还可用于检测缺失值,例如,如果特征值的最小值在不应为 0 的地方为 0,则 describe()函数有助于处理缺失值。

penguins_size.describe()


通过使用 value_counts() 函数,可以计算对象的唯一值。此外,每个物种的体重平均值可以通过使用 groupby()函数找到对于连续特征,此函数在分类和观察数据方面非常有用。

penguins_size['species'].value_counts()


# Find body mass mean for each species.mean_bodymass = penguins_size.groupby('species')['body_mass_g'].mean()mean_bodymass


四、数据可视化

为了更好地可视化数据集,可以使用各种绘图技术,在下文中简单介绍几个。有些图在可视化分类数据方面效果更好,有些图则更适合数值数据的可视化。

箱形图

通过显示数据分布来检查异常值或理解分类特征与连续特征之间关系的好方法。

如下图所示,由于没有数据点分别高于或低于最大值和最小值,因此未检测到异常值。此外,可以很容易地找到数据点的中位数,因为通过框内的水平线代表的就是中位数。

#Relationship of the culmen length and sex of the penguins.fig = plt.figure(figsize=(5,8))ax= sns.boxplot(x = penguins_size.sex, y=penguins_size['culmen_length_mm'],orient="v", palette = "cividis")plt.title('Culmen_length_mm')plt.show()


直方图

直方图用于描述频率分布。

#Shows us frequency distribution.fig,axs = plt.subplots(1,4,figsize=(20,6))axs[0].hist(penguins_size.culmen_depth_mm)axs[0].set_title('culmen_depth_mm')axs[0].set_ylabel('Frequency')axs[1].hist(penguins_size.culmen_length_mm)axs[1].set_title('culmen_length_mm')axs[2].hist(penguins_size.flipper_length_mm)axs[2].set_title('flipper_length_mm')axs[3].hist(penguins_size.body_mass_g)axs[3].set_title('body_mass_g')plt.show()


此外,kdeplot 是可视化数据分布的另一种方法。此图实际上类似于直方图,但不是将值放入条柱中,而是绘制一条曲线。

#Used for visualizing the probability density of a continuous var.sns.kdeplot(penguins_size.flipper_length_mm,color='Cyan')plt.show()


条形图

在条形图中,x 轴表示分类变量, y 轴表示数值变量。这就是为什么条形图描绘了这两个变量之间的关系。

plt.figure(figsize=(8,5))colors = ["cyan","lightblue", "darkblue"]sns.barplot(x =penguins_size['island'],y = penguins_size['body_mass_g'], palette = colors)plt.title('Body Mass of Penguins for different Islands')plt.show()


通过使用 pandas 函数交叉表,可以分析两个或多个变量之间的关系。作为说明,下面的条形图强调了生活在特定岛屿中的特定物种的企鹅数量之间的关系。

pd.crosstab(penguins_size['island'], penguins_size['species']).plot.bar(color=('DarkBlue', 'LightBlue', 'Teal'))plt.tight_layout()


小提琴图

小提琴图描述的是数据集的概率密度。由于两个不同的类别可能具有相同的平均值,在这种情况下观察小提琴图会更有用。

在下面的小提琴图中,梦幻岛企鹅体重的平均值在3000到4000克之间,而在比斯科岛企鹅体重的平均值大约在4500到5500克之间。

sns.violinplot(x = 'island',y = 'body_mass_g',data = penguins_size, palette="YlOrRd_r")plt.title('Violin plot')


想要完整代码的同学可以留言获取哦~


  • 史上最可怕的生物竟然没有灭绝(地球上十大难杀的生物)
  • 2024-11-25地球上十大难杀的生物扁虫这是一种雌雄同体的生物,不仅可以异体受精,还能自体受精其中有一种叫做涡虫的,切下任何一段都能独立成长为完整的涡虫,比蚯蚓还厉害变形虫变形虫很多人都听过,是一种低等生物它们可以利用自己的保护层卷起来。
  • 名句经典语录(经典语录盘点)
  • 2024-11-25经典语录盘点等待与时间无关,它是一种习惯它自由生长,而他无力抵抗——顾漫《何以笙箫默》当他们之间已成往事,最难堪的便是一切清晰如昨——顾漫《何以笙箫默》我想要保护我想要保护的人只要能够护得他们不受伤害,即便我自己。
  • 名侦探柯南大结局是什么(名侦探柯南大结局)
  • 2024-11-25名侦探柯南大结局由于某件案子,众人都变成名人,兰很不适应优作则要求新一及兰一起前往美国读大学妃回到毛利身边并要兰去美国而毛利因英勇表现而被聘回警局当重案组组长,此时毛利道出早已知道柯南是新一而故意不说破的真相夕阳中,。
  • 感冒了能不能打疫苗(感冒了可以打疫苗)
  • 2024-11-25感冒了可以打疫苗感冒是临床上比较常见的一种病症,引发感冒的方式是有很多的,例如热伤风、着凉、病毒性感染、细菌性感染都会引发感冒,在患有感冒期间是不能够注射疫苗的由于疫苗也是属于一种特殊的药物,在感冒期间注射容易引起患。
  • 成都曾经作为哪些朝代的都城(从成都现存最早地契)
  • 2024-11-25从成都现存最早地契成都目前保存下来的最早地契,是康熙三十年(1691)二月十八日(农历)哈荣盛将地卖给清真东寺的地契,距今已有328年历史契,是刻划记载的意思双方进行商品交易后,担心没有长久的证据而订立合约的书面证据,。
  • 权力的游戏琼恩雪诺和丹妮莉丝(权力的游戏人物志)
  • 2024-11-25权力的游戏人物志美国南北战争期间,林肯总统在《纽约论坛报》上发表公开信,直言不讳地宣扬自己“联邦党人”的观念:“如果不摧毁奴隶制度就能挽救联邦,那我就一个都不解放;如果解放所有奴隶才能挽救联邦,那我也义无反顾……我对。
  • 梅州至重庆火车票:梅州火车站增开重庆
  • 2024-11-25梅州至重庆火车票:梅州火车站增开重庆记者从梅州火车站了解到,为满足旅客出行,自2021年7月31日起,梅州火车站增开重庆、长沙往返旅客列车各1对具体开行情况如下:1.梅州至重庆北车次为K4785/6次,梅州站10:04始发,重庆北站次日。
  • 守护明天第五季10集(摔伤孩子谁之过)
  • 2024-11-25摔伤孩子谁之过第三集《摔伤孩子谁之过》2020年2月,北京市儿童医院急诊室接诊一名三岁女童,经诊断孩子颅骨骨折、颅内出血,面临脑疝风险经过医护人员及时有效的救治,孩子的病情逐步稳定按照诊疗规范,医生对孩子受伤的原因。
  • 宣威最美公园(宣威东河拾光公园建成开放)
  • 2024-11-25宣威东河拾光公园建成开放掌上曲靖讯(曲靖日报特约记者田琳赵雄飞通讯员宁丽娟)宣威市东河拾光公园属于北盘江流域水环境综合整治PPP项目东河景观工程的其中一段,一直备受瞩目日前,该公园正式竣工开放,又为市民们提供了一个休闲、娱乐。
  • 发挥同频共振的效应 同频共振劲儿往一处使
  • 2024-11-25发挥同频共振的效应 同频共振劲儿往一处使“温暖”,是民营企业家政协委员们今年感触最深的一个词“一视同仁”“非禁即入”“对标最高标准”……字里行间浸润着温度与诚意,最新出台的民营经济“19条”,不仅“热”了两会话题,更热了一颗颗谋求发展的心“。
  • 阿拉伯数字的来历(阿拉伯数字的由来)
  • 2024-11-25阿拉伯数字的由来阿拉伯数字是古代印度人在生产和实践中逐步创造出来的在古代印度,进行城市建设时需要设计和规划,进行祭祀时需要计算日月星辰的运行,于是,数学计算就产生了.大约在公元前3000年,印度河流域居民的数字就比较。