spss数据分析大数据分析浅析.docx

会员专享推荐 · 你可能也用得上更多

开通会员，畅读全站文档

本篇文档已为你保留

本篇文档价值 ~~¥35.00~~会员免费解锁

全文不限次阅读，剩余内容即刻解锁
高速下载通道，免排队、无等待
专属客服 1 对 1 答疑，优先响应
每日赠送下载券，本篇文档免费送

有 86 篇商业计划书正在上传

下载原文档

spss数据分析|大数据分析浅析摘要：随着移动互微博、LBS、UGC等新型信息发布方式的不断涌现，数据正在快速的膨胀和增长。大数据的规模和数据形式给数据存储、管理以及数据分析带来了极大的挑战，数据的管理和分析方式也在改变。大数据分析和传统数据分析既有不同，又可相互参考，借鉴，本文试图从概念上、存储、分析方法、分析工具等方面来阐述大数据分析和传统数据分析的不同。关键词：大数据、数据分析前言随着移动互联网、物联网、云计算的等领域的快速发展，数据正义前所未有的速度增长着，2011年美国著名的咨询公司麦肯锡发布了《大数据：下一个竞争、创新和生产力的前言领域》的研究报告，报告指出所有领域的企业数据存储量至少达到了100TB，并且多数部门已经超过了1PB。并且指出，大数据在医疗领域每年能够产生3000亿美元的潜在价值，在零售业能够增加60%的营业额。到2020年，在美国，基于地理位置的LBS将催生8000亿美元的市场空间。IDC研究表明，数字领域存在着18000亿GB的数据。企业数据正以55%的速度逐年增长。如今，只要两天就能创造出自文明诞生以来到2003年所产生的数据量，现在企业正在经历规模化、多样化、高速化的数据挑战，越来越多的事物将以数据的形式存在，大数据时代已经来临！大数据是人们在大规模的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的，以数据说话是互联网的发展趋势，数据将成为衡量一切的标杆，大数据和分析正在成为企业IT规划的核心，谷歌首席经济学家宣称：数据分析元正成为21世纪最性感的职业。然而，大数据越是火热，我们越是对大数据有深入的了解，避免过度炒作带来的危险，本文首先介绍大数据的概念，然后介绍大数据分析和传统数据分析的不同，以及常见的大数据分析方法。大数据的作用和意义大数据的目前为止，没有一个公用的定义，不过大多数的定义都承认大数据的三个特征，即3V特性。首先是数据量（volumes）大，指规模超过了单个计算机的存储和处理能力。其次是数据类别多样化（variety），数据来源变得多样化，数据种类和格式也在日渐丰富，已经冲破了以前所限定的关系数据库所存储的结构化数据范畴，囊括了半结构化和非结构化数据。最后是数据处理速度高速化（velocity），即在数据量非常庞大的情况下，也能做到数据的快速处理甚至是实时处理。有的地方会说道4V模型，但是对第四个V的定义各界的说法不一，有的认为是价值（value），有的则认为是真实性（veracity），其实在面对实际问题时，我们不需要执泥与具体定义，只需要在把握好3V特性的基础上，考虑到4V即可，大数据已经不仅仅是数据量大的事实了，最重要的是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。大数据的属性呈现出了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域显得尤为重要。数据结构的不同大数据和传统数据分析的不同数据规模不同大数据和传统数据库最明显的不同在于数据规模上的不同，大数据的数据量至少是TB级别以上，而传统的数据仓库因为存储的是结构化的关系数据，数据量上往往比较小，易于单机存储和处理。数据类型的不同由于微博等UGC信息发布形式的发展，产生了大量诸如文字、文档、图片、视频、音乐等等，大数据的数据类型等结构化数据、半结构化数据和非结构化数据，种类繁多，形式多样。这些数据的字段长度可变，并且每个字段的记录又可以由可重复或不可重复的字段构成的，要求数据库的存储和分析能够根据需要具有可伸缩性。大数据分析无法像传统数据分析那样，在分析之前先进行数据的提取、转换和加载等过程，这意味着大数据往往是混乱的，不完整的数据，需要我们去发现数据中的关联关系，而不是去事先定义好数据关系模型。数据的收集方式不同大数据的生成方式有些是通过非传统手段实现的，比如无线射频识别，传感器网络、视频监控、用户行为数字化等。并且数据是对时间敏感的，且由数据的收集与相关的时区有关。数据存储方式的不同数据类型的不同和数据量的不同，也导致了数据存储方式的不同，传统的数据都是存放在关系型数据库的二维表上的。并且一般都是单机存储，而大数据是需要存放在拥有数千万台机器的大规模并行系统上的。分析方法的不同传统的数据分析是数据的检验，是先假设，再去验证，是需要先采样来建立模型，最后去验证集验证，但是采样忽略了细节考察，而大数据由于由于有非结构化的数据，这些数据在用关系型数据库进行分析时，会话费过多的时间和金钱，大数据分析具有数据量大、查询分析复杂等特点，是面向全部数据，在大数据中，样本=全体。所以大数据分析常和云计算联系到一起，因为实时的大数据分析需要像MapReduce一样的框架来向大量的计算机分配任务。传统分析是建立在关系数据模型之上的，分析是在已经建立起来的主题关系确定的系统上的。而在真实的世界里，信息很难以一种正式的方式建立关系，绝大数的分析都是基于纵列数据库之外的。传统分析是基于清晰合理的数据，而大数据分析是基于现实的混乱的数据来进行分析。所以传统的分析追求的是精确和找到因果关系，大数据分析追求的是效率和相关关系。分析工具不同目前，像SAS、SPSS等传统数据分析软件因其数据处理能力受限于单机的计算能力你，对大数据的处理显得力不从心。而且商业软件往往需要支付昂贵的许可费用。所以采用并行计算式的大数据分析工具受到越来越多的关注和青睐。像Hadoop、HPCC、MapReduce等，这些工具大多都具有高可靠性、高扩展性、高效性和高容错性等特点。大数据分析的五个基本方面可视化分析数据可视化是关于数据之视觉表现形式的研究，主要旨在借助于图形化手段，清晰有效地传达与沟通信息。将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点和分类，从而未来进行预测和评估，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出数据隐藏的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。预测性分析能力大数据的最重要应用领域之一就是预测性分析，而建立在相关关系分析法基础上的预测才是大数据的核心。这种分析方法更准确、更快，而且不易受偏见的影响，比如a和b经常一起发生，只要注意到b发生了，就可以预测a也发生了。这有助于我们捕捉可能和a一起发生的事情，还可以帮助我们预测未来可能发生什么。从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。语义引擎我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。语义网时代的搜索引擎，是语义技术最直接的应用，它从词语所表达的语义层次上来认识和处理用户的检索请求，通过对网络中的资源对象进行语义上的标注，以及对用户的查询表达进行语义处理，使得自然语言具备语义上的逻辑关系，能够在网络环境下进行广泛有效的语义推理，从而更加准确、全面的实现用户的检索。数据质量和数据管理大数据分析离不开数据质量和数据管理，对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。参考文献[2]海量数据爆发大数据时代来临的五个转变[EB/OL].[3]维克托迈尔舍恩伯格，《大数据时代》[4]麦肯锡《Bigdata：Thenextfrontierforinnovation，competition，andproductivity》2011年5月JamesManyika、MichaelChui等[5]郭晓科，《大数据》。