推荐聊城做网站,理聪网营销型网站建设,学用mvc4做网站,泉州建设网站制作一个古老的诅咒一直萦绕着数据分析#xff1a;我们用来改进模型的变量越多#xff0c;那么我们需要的数据就会出现指数级的增长。不过#xff0c;我们通过关注重要的变量就可以避免欠拟合以及降低收集大量数据的需求。减少输入变量的一种方法是鉴别其对输出变量的影响。变量… 一个古老的诅咒一直萦绕着数据分析我们用来改进模型的变量越多那么我们需要的数据就会出现指数级的增长。不过我们通过关注重要的变量就可以避免欠拟合以及降低收集大量数据的需求。减少输入变量的一种方法是鉴别其对输出变量的影响。变量的相关性有助于这种鉴别如果相关性较强那么输入变量的一个显著变化将会导致输出变量同等程度的变化。我们要选择跟模型的输出变量强相关的输入变量而不是使用所有的可用变量。 然而当输入变量之间存在强相关性时这里就会出现一个陷阱。假设想预测一下父母的教育水平我们发现在我们的数据集中的乡间俱乐部会员资格、家庭汽车数量以及度假费用之间有很强的相关性。拥有所有这些奢侈品的家庭都有相同的特征家庭富有。所以真正的根本关联是受过高等教育的父母通常有较高的收入。我们可以使用家庭收入来预测父母的教育水平或者使用上面的变量数组。我们称这种相关为“组间相关”。 组间相关是解释性变量之间的相关性。添加足够多的变量时会引起维度灾难并需要大量的数据。所以有时从一组组间相关的输入变量中选择一个代表变量是有好处的。在本文中我们会利用新创造的可视化方法“太阳系相关图”来探讨相关性和组间相关性并展示如何轻松地创建一个你自己的太阳系相关图。 把太阳系相关图应用于房价数据 我们可以使用协方差和系数矩阵将太阳系相关图应用于房价数据。尽管这些工具同样有效但很难理解。幸运的是这些矩阵可以通过精美简洁的可视化展示来探索相关性。 太阳系相关图是为了解决以下两个需求而设计的 每个输入变量与输出变量的相关性的可视化展示 输入变量的组间相关性 我们来探索一个标准数据集并生成其太阳系相关图。卡内基梅隆大学收集了上世纪九十年代的波士顿房价数据它是UCI加利福尼亚大学尔湾分校机器学习资源库中可免费访问的数据集之一。我们使用这个数据集的目标是利用数据集中的几个输入变量来预测输出变量——房屋价值MEDV。 首先我们生成一个相关矩阵 图1 来源Stefan Zapf和Christopher Kraushaar你可以通过搜索MEDV行和TAX列交叉的单元格得到输出变量房屋价值和输入变量税收的相关性。为了探讨组间相关性你需要找到绝对值大于某个值比如0.8的所有单元格。在复杂的数据集中搞懂大量的单元格数值需要很长的时间。而太阳系相关图可以帮助你理解这些数值。我们会先从输入变量与输出变量的相关性开始。以下是用太阳系相关图表示的房价信息概要 图2 来源Stefan Zapf和Christopher Kraushaar 输出变量MEDV波士顿的房价是太阳系中心的太阳。太阳周围的每一圈都是轨道。行星是输入变量卫星是与它围绕旋转的行星有相互关联的输入变量。轨道越近的行星跟太阳的相关性越强。例如第二个轨道是代表较低收入邻居LSTAT的行星、第三个轨道的行星代表房屋房间的数量RM、第四个轨道的行星代表了房屋的大小PTRATIO。房屋面积、房间数量以及居民的潜在购买力很大程度上决定了房屋的价值。我们并不是想选一个会让你吃惊的例子。恰恰相反变量的常识分析会有助于我们认识到太阳系相关图的有效性。 相关性的强度取决于Pearson相关系数的绝对值大小。第一个轨道行星的相关系数绝对值为0.9-1.0。第二轨道行星的相关系数绝对值为0.8-0.9依此类推。另一个指示是行星的颜色和大小。太阳是一个大圆圈行星是中等大小的圆圈而卫星是小圆圈。 探索组间相关的输入变量 你可能注意到太阳系里没有太多行星有卫星。我们将多变量组间相关的阈值设置为默认值即Pearson相关系数必须大于0.8。通常强相关性要Pearson系数高于0.5。设置默认值是非常谨慎的但您可以在相关性分析中调整该数字。如果我们有相互关联的变量那么跟输出变量最相关的输入变量作为行星而其他变量则是它的卫星。这是为了确保行星是最能解释输出变量的输入变量。 在我们的例子中只有两个变量是强烈地相关以至于几乎相同。并不是每个太阳系里都只有很少的卫星。在大数据环境中太阳系相关图中通常有更多的变量且附带有许多卫星。随着变量数量的增加太阳系相关图会变得更加重要。 现在我们来看一下输入变量之间的相互关联问题。在第六个绿色的轨道上有一个行星附带一个卫星。行星代表的变量是房地产税率TAX卫星代表的是到达高速公路的便利性RAD。由于住宅和商业地产的税率不同行星变量可能是个区分商业区和住宅区的指标。企业通常希望能快速进入高速公路而私人住宅房主通常希望避免高速公路的噪音和空气污染。一个街区的商业或住宅性质很可能是这些变量相互关联的根本原因。如果是这种情况那么就需要保留其中一个最能解释对房价影响的变量。 谨慎的意思是符合程序的。数据分析不是机械性或确定性的过程。例如即使是富裕的家庭可能也不会购买跑车因为他们关心环境污染。因此当我们试图预测家庭财富时我们可能会观测到跑车变量在一个偏远的轨道上这表明跑车不是财富的良好指标。但是我们知道拥有跑车是财富的一个很好的指标。没有选择跑车作为财富的指标是因为它是一个偏远的行星这肯定是错误的策略因为一个复杂的模型可以调节其关于家庭对环境的态度的影响。相关性是一个很有用的工具但常常需要权衡结果和你的常识并相信你的直觉这其中包含大量的假设检验和贝叶斯分析。 在探索性数据分析EDA和建模时太阳系相关图可以帮助我们通过视觉方式理解相关性。对相关性的理解可以作为我们选择建模变量优先级的基础低轨道的行星是最好的候选项下一个是卫星最后是最外面轨道的行星。 正面和负面的标签 到目前为止我们已经解释了相关性的强度和重要性。然而我们也想知道一个相关是正相关还是负相关正相关意味着一个变量增加时另一个也增加。这是“越多越好”的相关性。我们先来看一下变量RM它是房间的平均数量。房子的房间越多房价就越高这表明房子更大以及房子空间更容易分隔。当我们有十个房间而不是两个房间时房子可能会有更高的价格。这是正相关的本质。你可以看到MEDV和RM之间的为相关性为正因为标签RM为绿色。 负相关意味着一个变量增加时另一个变量会降低“少即是多”变量。犯罪率越低我们的房子的价格会越高所以我们猜想犯罪的标签是红色的。我们的猜想在太阳系相关图中被证明是正确的。 通过太阳系相关图我们可以一目了然地看到强度、相关性和相关性的类型。 如何简单地创建一个太阳系相关图 太阳系相关图的创建跟烘烤冷冻曲奇饼面团一样简单。 它是一个可以使用pip安装的Python模块pip install solar-correlation-map。 然后尝试从我们的GitHub资源上下载jedi.csv文件。这个文件是自带表头的标准csv文件 图3 来源Stefan Zapf和Christopher Kraushaar 这个数据集是关于绝地武士的变量数据 1. JEDI变量越大绝地武士就越靠近光明面 2. GRAMMAR越高的值表示一个绝地武士有越好的语法 3. GREENESS变量越高皮肤越绿 4. IMPLANTS体内植入物的数量 5. ELEGEN原力者可以通过的电能的兆焦耳量 6. MIDI-CHLORIANS血液中的纤原体数量 7. FRIENDS朋友的数量 请注意在这个名单中的所有人的纤原体数量都是相同的。看来我们选择了相当强大的原力使用者。 然后使用以下命令在你下载的jedi-csv文件所在的目录中运行太阳系相关图 winterfell:solar-correlation-map daebwae$ python -m solar_correlation_map jedi.csv JEDI 此时在你的屏幕上会出现一个包含太阳系相关图的窗口 图4 来源Stefan Zapf和Christopher Kraushaar 语法GRAMMAR在一个很近的轨道上且标签是红色的所以语法GRAMMAR和绝地武士Jedi之间有很强的负相关关系。语法越好这个人就越不可能是个绝地武士。 另外绿色GREENESS与不良语法GRAMMA相关联所以两者都可能跟潜在的相同因素相关联。记住所有人都有非常相似的纤原体数量MIDI-CHLORIANS。因此它不可能告诉我们有关原力者是否是绝地战士的任何事情。这就是为什么纤原体数量MIDI-CHLORIANS在最外面的轨道。 我们可以做许多调整来改进太阳系相关图。这是一个新的工具我们很高兴听到您关于如何改进初始版本的想法——请随时与我们联系stefanzapf-consulting.com。 三个步骤实现一个新的可视化 我们已经介绍了太阳系相关图让我们回顾一下这张图。我们从数据分析问题出发找出对输出变量影响最大的输入变量。我们可以用相关矩阵的工具来分析这个问题。通过视觉总结这个问题有助于找到相互关联和最有影响力的输入变量。由于可视化跟信息传达是息息相关的所以我们选择了广大读者都熟悉的太阳系做类比。 以下是实现一个新的可视化的三个步骤 1识别数据分析中的问题 2找到解决这个问题的分析工具 3使用视觉类比来探索和展现你的结果 古往今来讲故事的人都具有创造性和勇气数据分析往往就像讲故事一样。同样地数据科学家可以追随过去讲故事的人的足迹大胆地探索新的方式来向读者传达数据的故事。 在探索性数据分析中我们的可视化工具箱在沟通和说服方面发挥着重要的作用。本文介绍了太阳系相关图并把它作为对这个过程的一个高级抽象来创建可以解决实际探索性数据分析问题的新型可视化方法。当你在讲述数据的故事时你可以探索读者未曾看过的新奇的可视化世界。让你的新奇创意吸引读者并帮助扩展数据科学家的视觉类比方法。 Stefan Zapf是Zapf Consulting的人工智能战略、开发、系统工程和培训的独立顾问。他目前在一家硅谷的创业公司Rainforest Connection担任顾问这家公司致力于通过使用深度学习和其他人工智能技术来保护热带雨林。他还担任Redheads的独立承包商致力于德国工业和安全应用。和Christopher一样Stefan是从另一个职业法律转移到的人工智能领域因为他希望支持我们寻找合法的、符合伦理和政治的框架使我们跟人工智能的共存成为保护环境、支持科学、帮助我们的工业和促进我们的社会事业的支持力量。 Christopher Kraushaar担任德国Redheads咨询公司的顾问该公司致力于软件与需求工程咨询和项目管理咨询。他主要关注于深度学习神经网络这是一种非常有前途的人工智能技术。像Stefan一样Christopher决定改变职业成为一名人工智能工程师目的是快速推进人类的进化。 原文发布时间为2017-08-13 本文作者Stefan Zapf等 本文来自云栖社区合作伙伴“数据派THU”了解相关信息可以关注“数据派THU”微信公众号
