同ip下网站,查企业信息查询平台,小程序怎么推广引流,热点事件舆情分析报告云计算与大数据技术应用知识及案列 简述什么是云计算#xff1f; 答#xff1a;云计算是一种动态扩展的计算模式#xff0c;通过网络将虚拟化的资源作为服务提供#xff1b;云计算是一种无处不在的、便捷的通过互联网访问一个可定制的IT资源#xff08;IT资源包括网络、服…云计算与大数据技术应用知识及案列 简述什么是云计算 答云计算是一种动态扩展的计算模式通过网络将虚拟化的资源作为服务提供云计算是一种无处不在的、便捷的通过互联网访问一个可定制的IT资源IT资源包括网络、服务器、存储、应用软件和服务共享池并是一种按使用量付费的模式它能够通过最少量的管理或与服务供应商的互动实现计算资源的迅速供给和释放云计算是基于互联网服务的增加、使用和交付模式通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。 云计算有什么特点 答①具有大规模并行计算能力②资源虚拟化Virtualization和弹性调度③数据量巨大并且增速迅猛④高可靠性⑤按需分配按量计费。 请分别回答什么是IaaS、PaaS、SaaS 答IaaS基础设施即服务Infrastructure as a ServicePaaS平台即服务Platform as a ServiceSaaS软件即服务Software as a Service。 云计算的基础设施有哪些各自完成什么功能 答①分布式文件系统完成数据的存储②MapReduce编程模式提供分布式并行编程环境进行数据处理③大规模分布式数据库BigTable提供分布式大规模数据库管理系统。 解释说明什么是非结构化和半结构化数据 答非结构化数据是数据结构不规则或不完整没有预定义的数据模型不方便用数据库二维逻辑表来表现的数据包括所有格式的办公文档、文本、图片、图像和音频/视频信息等。半结构化数据是介于完全结构化数据如关系型数据库、面向对象数据库中的数据和完全无结构的数据之间的数据XML、HTML文档属于半结构化数据它一般是自描述的数据的结构和内容混在一起没有明显的区分。 大数据价值链的三大构成是什么 答数据本身、技能与思维。 大数据的4V特征是什么 答①多样性Variety②规模性大Volume③快速性Velocity④价值密度低Value。 简述云计算与大数据的关系 答云计算与大数据是一对相辅相成的概念它们描述了面向计算时代信息技术的两个方面云计算侧重于描述资源和应用的网络化交付方法大数据侧重于描述面向数据时代由于数据量巨大所带来的技术挑战。 云计算的核心是业务模式本质是数据处理技术。数据是资产云为数据资产提供了存储、访问的场所和计算即云计算更偏重海量存储和计算以及提供的云服务运行云应用。云计算是基础设施架构大数据是灵魂资产。 什么是虚拟化 答虚拟化是一个广义的术语对不同的行业或不同的人有着不同的意义。在计算机科学领域中虚拟化意味着对计算机资源的抽象。简单来说虚拟化是模拟真正的或者称物理的计算机资源模拟CPU、内存、存储、网络等用户可见的物理的硬件资源。 为什么要使用虚拟化 答使用虚拟化的原因主要有以下四点 1使用虚拟化可以共享资源而相互不受影响。 2使用虚拟化可以将很多零散的资源集中到一处而使用的用户则感觉像是一个整体。 3使用虚拟化可以动态维护资源的分配动态扩展或减少某个用户所使用的资源。 4使用虚拟化易于管理资源易于发布版本易于部署版本易于测试版本等。 常见的虚拟化技术有哪些 答常见的虚拟化技术有CPU虚拟化内存虚拟化全虚拟化半虚拟化硬件辅助虚拟化存储虚拟化等虚拟化技术。 数据中心的发展经历了 、 、 、 四个阶段。 答巨型机时代、微型计算机/PC时代、互联网时代、云计算与大数据时代。 数据中心的选址主要考虑 、 、 、 等因素。 答地质条件、气候环境、电力供给、网络带宽。 数据中心的主要组成部分有 、 、 、 。 答基础设施、硬件设施、基础软件、管理支撑软件。 4.PUE的定义为 。 答PUEPower Usage Effectiveness由美国绿色网格联盟The Green Grid于2007年提出是业界公认的测量数据中心能耗的主要指标之一其定义如下 DCIE的定义为 。 答DCIEData Center Infrastructure Efficiency是数据中心能耗评估的另一公认指标是由美国绿色网格联盟于2007年提出用于表示数据中心IT设备用电占总用电量的比例其定义如下 解释说明什么是并行计算简要概括并行计算的发展如何 答在计算机术语中并行性指的是把一个复杂问题分解成多个能同时处理子问题的能力。并行计算Parallel Computing是指同时使用多种计算资源解决计算问题的过程是提高计算机系统计算速度和处理能力的一种有效手段。 20世纪70年代第一台并行计算机于1972年产生ILLIAC IV伊利诺依大学由64个处理器组成可扩展性好但可编程性差20世纪80年代并行计算机进入百家争鸣状态以多指令多数据流MIMDMultiple Instruction stream Multiple Data stream并行计算机为主20世纪90年代并行计算体系结构框架趋于统一基本以分布式共享存储Distributed Shared MemoryDSM、大规模并行处理结构Massively Parallel ProcessingMPP、工作站机群Cluster of WorkstationsCOW为代表21世纪初并行计算得到了前所未有的大踏步发展以COW为原型的由大规模商用普通PC机构成的机群为主今天越来越多的并行计算机系统采用商品化的微处理器加上商品化的互连网络构造这种分布存储的并行计算机系统称为集群NOW并行计算进入了一个新的时代并行计算的应用达到了前所未有的广度和深度。 简要说明集群的概念和集群系统的分类。 答集群是一组独立的计算机结点的集合体结点间通过高性能的网络相连接各结点除了作为一个单一的计算资源供用户使用外还可以协同工作并表示为一个单一的、集中的计算资源供并行计算使用。集群是一种造价低廉、易于构建并且具有较好可扩展性的体系结构。 集群系统按功能和结构可以分为如下四类1高可用性集群系统2负载均衡集群系统3高性能集群系统4虚拟化集群系统。 并行计算的分类有哪些 答并行计算技术在高速发展的今天出现了各种不同的技术方法同时也出现了不同的分类方法包括按指令和数据处理方式的Flynn分类、按存储访问结构的分类、按应用计算特征的分类。 简要说明并行计算的四类设计模型 答并行计算的设计模型主要有四类隐式并行Implicit Parallel、数据并行Data Parallel、共享变量Shared Variable、消息传递Message Passing。 1隐式并行是程序员用熟悉的串行语言编程编译器或运行支持系统自动转化为并行代码。其特点是语义简单、可移植性好、单线程、易于调试和验证正确性但效率很低。 2数据并行是SIMD的自然模型是局部计算和数据选路操作。其特点是单线程、并行操作于聚合数据结构数组、松散同步、单一地址空间、隐式交互作用和显式数据分布。 3共享变量是PVP、SMP、DSM的自然模型。其特点是多线程SPMD、MPMD、异步、单一地址空间、显式同步、隐式数据分布、隐式通信。 4消息传递是MPP、COW的自然模型。其特点是多线程、异步、多地址空间、显式同步、显式通信、显式数据映射和负载分配。 并行程序设计方式主要有哪几种并分别说明。 答实现并行编程常见方法有以下三种。但三者可混合使用如对以SMP为节点的Cluster来说可以在节点间进行消息传递在节点内进行共享变量编程。 1线程模型OpenMP、POSIX。 2消息传递模型PVMParallel Virtual Machine Computing、MPIMessage Passing Interface。 3数据并行模型HPF。 描述云存储系统的结构模型。 答云存储系统的结构模型主要包括存储层基础管理层应用接口层访问层。 1存储层是云存储最基础的部分云存储中的存储设备往往数量庞大且多分布在不同地域彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。云存储系统对外提供多种不同的存储服务各种服务的数据统一存放在云存储系统中形成一个海量数据池。云存储的数据存储层将不同类型的存储设备互连起来实现海量数据的统一管理同时实现对存储设备的集中管理、状态监控以及容量的动态扩展实质上是一种面向服务的分布式存储系统。存储设备之上是一个统一存储设备管理系统可以实现存储设备的逻辑虚拟化管理、多链路冗余管理以及硬件设备的状态监控和故障维护。 2基础管理层是云存储最核心的部分也是云存储中最难以实现的部分。基础管理层通过、分布式文件系统和网格计算等实现云存储中多个存储设备之间的协同工作使多个存储设备可以对外提供同一种并提供更大、更强、更好的数据访问性能。 3应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型开发不同的应用服务接口提供不同的应用服务。云存储平台面向用户的部分包括数据存储服务、公共资源使用、数据备份功能等接口服务。 4用户访问层主要功能包括访问控制、身份识别与验证、安全隔离等。云存储用户应用程序可以全新开发和移植现有的应用程序方式实现。云存储服务商均为独立实体会有个性化的云存储服务提供方式因此云存储服务系统的访问方式和访问手段不同的服务系统会有所差异。 请简述云存储的实现前提。 答主要分为以下六点宽带网络的发展Web2.0技术的出现应用存储的发展集群技术、网格技术和分布式文件系统CDN内容分发、技术、数据压缩技术、技术、存储虚拟化技术、存储网络化管理技术。 1宽带网络的发展真正的云将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展使用者才有可能获得足够大的数据传输实现大量容量数据的传输真正享受到云存储服务否则只能是空谈。 2Web2.0技术的出现Web2.0技术的核心是分享。只有通过技术云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备实现数据、、图片和视频、音频等内容的和资料共享。 3应用存储的发展云存储不仅仅是存储更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备它不仅具有功能还具有应用软件功能可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量从而降低系统建设成本减少系统中由服务器造成单点故障和性能瓶颈减少数据传输环节提供系统性能和效率保证整个系统的高效稳定运行。 4集群技术、网格技术和分布式文件系统云是一个多存储设备、多应用、多服务协同工作的集合体任何一个单点的存储系统都不是云存储。既然是由多个存储设备构成的不同存储设备之间就需要通过、和网格计算等技术实现多个存储设备之间的协同工作多个存储设备可以对外提供同一种服务提供更大更强更好的数据访问性能。如果没有这些技术的存在云存储就不可能真正实现所谓的云存储只能是一个一个的独立系统不能形成云状结构。 5CDN内容分发、技术、数据压缩技术、技术、。 CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问同时通过各种数据备份和技术保证云存储中的数据不会丢失保证云存储自身的安全和稳定。如果云存储中的得不到保证想来也没有人敢用云存储否则保存的数据不是很快丢失了就是全国人民都知道了。 P2P对等又被称为“点对点”。“对等”技术是一种网络新技术依赖网络中参与者的和带宽而不是把依赖都聚集在较少的几台服务器上。P2P还是英文Point to Point点对点的简称。它是下载术语意思是在你自己下载的同时自己的电脑还要继续做主机上传这种下载方式人越多速度越快但缺点是对硬盘损伤比较大在写的同时还要读还有对内存占用较多影响整机速度。 数据压缩技术是指在不丢失有用信息的前提下缩减数据量以减少提高其传输、存储和处理效率或按照一定的算法对数据进行重新组织减少数据的冗余和存储的空间的一种技术方法。数据压缩包括和。在和中数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元或者其它信息相关的单位表示信息的过程。如如果将“compression”编码为“comp”那么这篇文章可以用较少的表示。一种流行的压缩实例是许多计算机都在使用的ZIP它不仅仅提供了压缩的功能而且还作为归档工具Archiver使用能够将许多文件存储到同一个文件中。 技术是一种数据缩减技术通常用于基于磁盘的备份系统旨在减少中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小。重复的数据块用指示符取代。高度的数据集如备份数据从数据重复删除技术的获益极大用户可以实现10比1至50比1的缩减比。而且重复数据删除技术可以允许用户的不同站点之间进行高效经济的备份数据复制。 数据加密技术是一门历史悠久的技术指通过和加密将明文转变为密文而解密则是通过解密算法和解密密钥将密文恢复为明文。它的核心是密码学。数据加密目前仍是对信息进行保护的一种最可靠的办法。它利用对信息进行加密实现从而起到保护信息的安全的作用。 6存储虚拟化技术、存储网络化管理技术 云存储中的存储设备数量庞大且分布多在不同地域如何实现不同厂商、不同型号甚至于不同类型如FC存储和IP存储的多台设备之间的逻辑、存储虚拟化管理和多链路管理将会是一个巨大的难题这个问题得不到解决存储设备就会是整个云的性能瓶颈结构上也无法形成一个整体而且还会带来后期容量和性能扩展难等问题。 云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心但对于云存储的运营单位来讲却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此云存储必须要具有一个高效的类似与一样的集中管理平台可实现云存储系统中设有存储设备、服务器和的集中管理和状态监控。 云存储服务系统的应用有哪些分类并列举一些应用对其进行简单陈述。 答云存储服务系统的应用主要分为个人级云存储的应用和企业级云存储的应用。 个人级云存储的应用主要有 1网络存储磁盘 如百度网盘、360网盘等一些小型的云盘可以在线存储大量的数据服务商会给每一个用户一定量大小的存储空间如果用户需要更大的存储空间更强的编辑功能则需要支付一定的费用购买服务商提供的收费服务。相应的用户会享受服务商提供的更加强大的功能。我们大多数人都应该用过腾讯等各大网站推出的“网络磁盘”的这项业务。它可以让用户使用Web的方式将自己的文件上传或者下载从而把自己的重要数据进行存储和备份这是各服务商可以提供的一种服务。服务商提供两种高级的访问网络存盘的方式一种是Web页面访问一种是客户端软件访问。用户向服务商支付费用的多少决定了可以享用的网络磁盘的容量空间的大小。 2在线编辑器 经过这几年的快速发展编辑文档已经不需要在用户的PC端安装文本编辑软件只要打开网页就可以通过googledocs对文件进行编辑和修改并将文档上传到云端。这样就可以不用分地点只要有网络就可以重新登录googledocs打开保存在云端的文件进行再次的编辑修改。通过云端的服务管理功能也能将文档共享、传送。如腾讯旗下的TIM就有一个在线存储编辑文档的功能这样的功能对于移动办公有了很大的帮助以及一些其他的在线编辑器如谷歌的Docs只要登录相应的账号就能查看到账户内的文档信息并且还能分享与发送的相应功能。 3在线网络游戏 现在的网络游戏更新换代快大量的用户需要进行对战游戏因此游戏开发商需要在全国各地见了很多的服务器如华东地区华中地区等云计算和云存储的应用可以代替现有的多服务器架构使所有玩家都能集中在一个游戏服务器组的管理之下。从2004年之后网络游戏传播速度逐年加快尤其是被年轻人所追捧游戏的类型和主题也是越来越多元化但是要满足数量庞大的玩家同时在线带宽和单台的服务器的性能的好坏成为了限制的主要原因。我们就可以让所有的玩家在利用云计算的优点建立起来的“超级”服务器群上一起进行游戏。云计算技术的兴起让所有的玩家可以集中在一个服务器群当中替代了原来的多服务器结构从而可以在游戏服务器当中大幅度的提升游戏性能提供了更多更强的功能。 企业级云存储的应用主要有 1企业空间租赁服务信息化时代的不断蓬勃发展产生了海量的数据而这些数据的存储与分析变成了企业的新难数据的存储需要一定的容量级的存储设备设备的管理与数据安全的保障又会让企业消耗大量的人力物力财力目前还有一些小型企业并不能支撑这么一大笔的花费而云存储的出现顺应了这个信息化时代的发展企业只需要根据自己公司所产生的数据量向服务商购买相应容积的存储数量数据的存储安全性等问题就交由云计算服务商处理这样企业才能更加专注于自己企业的发展而且如果后期想要更换服务商也会比较方便不需要考虑所有硬件的成本只需要选择一个更加适合本企业发展的服务商方便快捷。 2企业级远程数据备份及容灾对于任何一个企业。数据的备份是能决定一个企业存活的事情大量的数据的备份问题俨然也变成了企业必须放在议事日程上的问题云存储的远程数据备份及容灾便能为企业提供一个保障通过远程的备份当企业内部的设备出现问题的时候数据在远处备份这不会受到单点故障的影响而丢失数据帮助企业快速恢复数据降低企业的经济损失。企业存储信息量的不断增加对信息安全性的要求却从来没有降低过。不同的中小型企业不仅可以租赁高性能、海量的云存储空间还可以让服务运营商通过它们为企业提供备份软件把数据备份来远程容灾当本地发生严重的灾害的时候就可以通过这个远程的备份系统进行快速数据恢复这样就避免了数据的丢失。 3视频监控系统最近的这几年电信和网通这两家运营商在建立一个在全国广泛分布的不同规模的“全球眼”或“宽视界”云存储系统在这个系统中嵌入了视频监控管理软件目的是建立类似语音和数据服务的网络。系统提供者为已经安装了的摄像头和编码器等前端设备提供一个可以连接到云存储服务系统的接入网连接这样就可以为用户提供实时的视频图像的存储并通过监管平台对这些视频的监控和回放功能来收取一定的费用。但是由于城市之间的网络带宽的限制“全球眼”或“宽视界”只能在城市的内部或者是其中的区或者是县的内部来建造。 4集群技术、网格技术和分布式文件系统把多存储设备、多应用、多服务协同工作整合起来的集合体构成了云存储系统任何单一的存储系统都不能成为云存储系统。想要使不同的多个存储设备之间协同工作起来就需要使用集群技术、分布式文件系统、和网格计算等技术手段来把这些存储设备整合起来以实现多个存储的设备对外提供更强更好更快的数据访问功能。如果没有了这些技术的辅助所谓的云存储只能是单一的独立的存储系统不能形成“云”云存储也就算不上是真正的实现。 请简述云存储的特性。 答可靠性安全性管理方便可扩展性数据访问。 了关于云采用的历史教训。他表示到2012年企业的云采用速度相对较慢这主要是行业厂商认真采用措施并增加企业价值。他说“这就是为什么企业从2013年起迅速采用云计算的原因。现在已经有49%的企业采用了公共云。” 简述OpenStack主要的组成模块有哪些 答OpenStack由几个大模块组成DASHBOARD、COMPUTE、BLOCK STORAGE、NETWORKING、IMAGE SERVICE、OBJECT STORAGE、IDENTIFY SERVICE等。 2.简述网络服务模块Neutron的功能。 答Neutron在OpenStack环境中管理所有虚拟网络基础设施Virtual Networking InfrastructureVNI即Neutron将网络、子网、端口和路由器等物理网络基础设施Physical Networking InfrastructurePNI抽象化之后启动的虚拟主机就可以连接到这个虚拟网络上。 简述Nova的功能 答COMPUTE计算服务项目名为Nova。是OpenStack不可缺少的核心模块为用户提供计算平台主要负责与虚拟化平台的接口对接如KVMXen等接口。Nova作为OpenStack的核心模块主要完成计算它主要负责虚拟服务的管理。OpenStack计算是IaaSInfrastructure as a Service基础设施即服务的一个主要部分它与其它组件有着非常紧密的联系。 简述Swift和Cinder的区别。 答OpenStack组件Swift和Cinder的区别主要有三点 Cinder在OpenStack平台中提供块存储服务。设计它的目的就是为了终端用户使用的即由Nova模块管理的虚拟机实例模块使用。实现块存储服务一般都会用到与LVM相关的技术或者使用自定义的驱动方式来存储。 2Swift在OpenStack中还有另一个名字叫做对象存储项目它是一个云存储软件通过一个简单的API你就可以实现很多数据的获取与存储。设计它的目的是为了解决扩展并优化整个数据集的持久性、可用性以及并发性。Swift用于存储那些非结构化的数据是非常理想的用户根本就不需要担心数据会太多引起问题。 3简单来说Cinder像硬盘块直接挂载到虚拟机上。Swift像软件它通过接口存储与获取数据。 HDFS上默认的一个数据块Block大小是多少 答64M。 画出HDFS的基础架构图并简单概述其原理。 答基础架构图 HDFS是一个典型的主从MasterSlave架构。Master主节点NameNode也叫元数据节点MetadataNode可以看作是分布式文件系统中的管理者存储文件系统的meta-data。包括文件系统的命名空间NameSpace访问控制信息块当前所在的位置集群配置信息。从节点也叫数据节点DataNode提供真实文件数据的物理支持。Hadoop集群中包含大量的DataNodeDataNode响应客户机的读写请求还响应MetadataNode对文件块的创建、删除、移动、复制等命令。 简要概述MapReduce编程模型。 答MapReduce编程模型主要由两个抽象类构成即Mapper和Reducer抽象类Mapper用以对切分过的原始数据进行处理Reducer则对Mapper的结果进行汇总得到最后的输出。在数据格式上Mapper接受key, value格式的数据流并产生一系列同样是key, value形式的输出这些输出经过相应处理形成key, {value list}的形式的中间结果之后由Mapper产生的中间结果再传给Reducer作为输入把相同key值的{value list}做相应处理最终生成key, value形式的结果数据再写入HDFS中。 列式数据库HBase有哪些特征 答HBase是一个类似BigTable的分布式数据库大部分特性和BigTable一样是一个稀疏的、长期存储的、多维度的、排序的映射表。 搭建Hadoop开发环境并实现。 答搭建开发环境 1修改主机名。 2修改IP地址并绑定主机名与IP。 3关闭防火墙并关闭防火墙开机启动。 4安装jdk并将java添加到环境变量中。 5安装hadoop并分别修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml五个配置文件并将hadoop添加到环境变量。 6初始化HDFS格式化文件系统。 7启动hadoop。 8实现此处以测试程序WordCount为例。 ①先在hadoop用户当前目录下新建文件夹WordCount在其中建立两个测试文件file1.txtfile2.txt。自行在两个文件中填写内容。 file1.txt文件内容为
This is the first hadoop test program!file2.txt文件内容为
This program is not very difficult, but this program is a common hadoop program!②在Hadoop文件系统上新建文件夹“input”并查看其中的内容
hadoop fs –mkdir /input
hadoop fs –ls /③将WordCount文件夹中file1.txt、file2.txt文件上传到刚刚创建的“input”文件夹
hadoop fs –put /home/hadoop/WordCount/*.txt /input④运行Hadoop的示例程序wordcount运行命令如下
hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount intput output查看输出结果的文件位置和WordCount的结果
hadoop fs -ls /output使用如下指令查看WordCount的结果
hadoop fs –cat /output/part-r-00000显示信息如下
This 2
a 1
common 1
difficult,but 1
first 1
hadoop 2
is 3
not 1
program 2
program! 2
test 1
the 1
this 1
very 1请陈述RDD的五大特征。 答Partition分区、Compute函数、Dependencies依赖、Partitioner分区函数、PreferedLocations优先位置。 2.简述Spark的运行模式。 答Spark的运行模式有很多种当部署在单机上时既可以用本地模式运行也可以用伪分布模式运行当部署在分布式集群上时根据集群的实际情况也有众多的运行模式可供选择。底层的资源调度既可以使用外部资源调度框架也可以使用Spark内建的Standalone模式。目前常用的外部资源调度框架有Yarn模式和Mesos模式。Spark的生态系统包括哪些。 答Spark的生态系统主要包括以Spark Core为基础的四个核心子框架处理结构化数据的Spark SQL、对实时数据流进行处理的Spark Streaming、用于图计算的GraphX、机器学习算法库MLlib。Storm采用的三进程架构包括什么 答Nimbus、Supervisor、Zookeeper 2.Storm中用户每实现一个任务需要构造哪两类的拓扑组件 答Spout和Bolt。 3.简述搭建Storm的开发环境。 答步骤如下 1安装准备解压所需工具的压缩包storm.tar.gz 2安装依赖文件配置JDK 3安装Zookeeper 4安装ZeroMQ 5安装Storm 6启动Storm。什么是CloudSim 答CloudSim是澳大利亚墨尔本大学云计算与分布式系统实验室开发的一种通用、可扩展的云计算仿真框架也是一个云计算仿真工具集提供了用于描述数据中心、虚拟机、应用、用户、计算资源和管理策略等核心类。CloudSim使用的模型场景有哪些 答CloudSim可以对云数据中心的很多方面做场景模拟比如网络、电力、虚拟机的运行情况等等。最主要分为以下两大类云数据中心能耗模型以及云数据中心的经济模型。简述CloudSim仿真的主要步骤。 答1初始化CloudSim程序包 2创建数据中心 3创建数据中心(用户)代理 4创建虚拟机和云事务并将其传递给数据中心代理 5创建云任务、开始仿真 6结束仿真、统计结果。 4.使用CloudSim完成以下数据中心的仿真。仿真两个数据中心每个数据中心分别有10台物理机5台双核5台4核。两个数据中心总共有100台虚拟机每台虚拟机的运算能力100-500不相同。这两个数据中心总共需要处理1000个外部负载负载能力10000-100000任务。 答
package org.cloudbus.cloudsim.examples;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.LinkedList;
import java.util.List;
import java.util.Random;
import org.cloudbus.cloudsim.Cloudlet;
import org.cloudbus.cloudsim.CloudletSchedulerTimeShared;
import org.cloudbus.cloudsim.Datacenter;
import org.cloudbus.cloudsim.DatacenterBroker;
import org.cloudbus.cloudsim.DatacenterCharacteristics;
import org.cloudbus.cloudsim.Host;
import org.cloudbus.cloudsim.Log;
import org.cloudbus.cloudsim.Pe;
import org.cloudbus.cloudsim.Storage;
import org.cloudbus.cloudsim.UtilizationModel;
import org.cloudbus.cloudsim.UtilizationModelFull;
import org.cloudbus.cloudsim.Vm;
import org.cloudbus.cloudsim.VmAllocationPolicySimple;
import org.cloudbus.cloudsim.VmSchedulerTimeShared;
import org.cloudbus.cloudsim.core.CloudSim;
import org.cloudbus.cloudsim.provisioners.BwProvisionerSimple;
import org.cloudbus.cloudsim.provisioners.PeProvisionerSimple;
import org.cloudbus.cloudsim.provisioners.RamProvisionerSimple;
/**
* An example showing how to create
* scalable simulations.
*/
public class CloudSimExercise {
/** The cloudlet list. */
private static ListCloudlet cloudletList;
/** The vmlist. */
private static ListVm vmlist;
private static ListVm createVM(int userId, int mips[]) {
//Creates a container to store VMs. This list is passed to the broker later
LinkedListVm list new LinkedListVm();
//VM Parameters
long size 10000; //image size (MB)
int ram 512; //vm memory (MB)
//int mips 1000;
long bw 1000;
int pesNumber 1; //number of cpus
String vmm Xen; //VMM name
//create VMs
Vm[] vm new Vm[mips.length];
for(int i0;imips.length;i){
vm[i] new Vm(i, userId, mips[i], pesNumber, ram, bw, size, vmm, new CloudletSchedulerTimeShared());
//for creating a VM with a space shared scheduling policy for cloudlets:
//vm[i] Vm(i, userId, mips, pesNumber, ram, bw, size, priority, vmm, new CloudletSchedulerSpaceShared());
list.add(vm[i]);
}
return list;
}
private static ListCloudlet createCloudlet(int userId, long cloudlets[]){
// Creates a container to store Cloudlets
LinkedListCloudlet list new LinkedListCloudlet();
//cloudlet parameters
//long length 1000;
long fileSize 300;
long outputSize 300;
int pesNumber 1;
UtilizationModel utilizationModel new UtilizationModelFull();
Cloudlet[] cloudlet new Cloudlet[cloudlets.length];
for(int i0;icloudlets.length;i){
cloudlet[i] new Cloudlet(i, cloudlets[i], pesNumber, fileSize, outputSize, utilizationModel, utilizationModel, utilizationModel);
// setting the owner of these Cloudlets
cloudlet[i].setUserId(userId);
list.add(cloudlet[i]);
}
return list;
}// STATIC METHODS ///
/**
* Creates main() to run this example
*/public static void main(String[] args) {
Log.printLine(Starting CloudSimExercise...);
try {
// First step: Initialize the CloudSim package. It should be called
// before creating any entities.
int num_user 1; // number of grid users
Calendar calendar Calendar.getInstance();
boolean trace_flag false; // mean trace events
// Initialize the CloudSim library
CloudSim.init(num_user, calendar, trace_flag);
// Second step: Create Datacenters
//Datacenters are the resource providers in CloudSim. We need at list one of them to run a CloudSim simulation
SuppressWarnings(unused)
Datacenter datacenter0 createDatacenter(Datacenter_0);
SuppressWarnings(unused)
Datacenter datacenter1 createDatacenter(Datacenter_1);
//Third step: Create Broker
DatacenterBroker broker createBroker();
int brokerId broker.getId();
//Fourth step: Create VMs and Cloudlets and send them to broker
Random rand new Random();
int[] mips new int[100];
for (int i 0; i mips.length; i) {
mips[i] rand.nextInt(401) 100;
}
vmlist createVM(brokerId,mips); //creating 20 vms
long[] len new long[1000];
for (int i 0; i len.length; i) {
len[i] rand.nextInt(90000) 10000;
}
cloudletList createCloudlet(brokerId,len); // creating 40 cloudlets
broker.submitVmList(vmlist);
broker.submitCloudletList(cloudletList);
// Fifth step: Starts the simulation
CloudSim.startSimulation();
// Final step: Print results when simulation is over
ListCloudlet newList broker.getCloudletReceivedList();
CloudSim.stopSimulation();
printCloudletList(newList);
Log.printLine(CloudSimExercise finished!);
}
catch (Exception e)
{
e.printStackTrace();
Log.printLine(The simulation has been terminated due to an unexpected error);
}
}
private static Datacenter createDatacenter(String name){
// Here are the steps needed to create a PowerDatacenter:
// 1. We need to create a list to store one or more
// Machines
ListHost hostList new ArrayListHost();
// 2. A Machine contains one or more PEs or CPUs/Cores. Therefore, should
// create a list to store these PEs before creating
// a Machine.
ListPe peList1 new ArrayListPe();
int mips 1000;
// 3. Create PEs and add these into the list.
//for a quad-core machine, a list of 4 PEs is required:
peList1.add(new Pe(0, new PeProvisionerSimple(mips))); // need to store Pe id and MIPS Rating
peList1.add(new Pe(1, new PeProvisionerSimple(mips)));
peList1.add(new Pe(2, new PeProvisionerSimple(mips)));
peList1.add(new Pe(3, new PeProvisionerSimple(mips)));
//Another list, for a dual-core machine
ListPe peList2 new ArrayListPe();
peList2.add(new Pe(0, new PeProvisionerSimple(mips)));
peList2.add(new Pe(1, new PeProvisionerSimple(mips)));
//4. Create Hosts with its id and list of PEs and add them to the list of machines
int hostId0;
int ram 16384; //host memory (MB)
long storage 1000000; //host storage
int bw 10000;
for ( int i 0; i 5; i) {
hostList.add(
new Host(
hostId,
new RamProvisionerSimple(ram),
new BwProvisionerSimple(bw),
storage,
peList1,
new VmSchedulerTimeShared(peList1)
)
);
hostId;
}
for ( int i 0; i 5; i) {
hostList.add(
new Host(
hostId,
new RamProvisionerSimple(ram),
new BwProvisionerSimple(bw),
storage,
peList2,
new VmSchedulerTimeShared(peList2)
)
);
}
String arch x86; // system architecture
String os Linux; // operating system
String vmm Xen;
double time_zone 10.0; // time zone this resource located
double cost 3.0; // the cost of using processing in this resource
double costPerMem 0.05; // the cost of using memory in this resource
double costPerStorage 0.1; // the cost of using storage in this resource
double costPerBw 0.1; // the cost of using bw in this resource
LinkedListStorage storageList new LinkedListStorage(); //we are not adding SAN devices by now
DatacenterCharacteristics characteristics new DatacenterCharacteristics(
arch, os, vmm, hostList, time_zone, cost, costPerMem, costPerStorage, costPerBw);
// 6. Finally, we need to create a PowerDatacenter object.
Datacenter datacenter null;
try {
datacenter new Datacenter(name, characteristics, new VmAllocationPolicySimple(hostList), storageList, 0);
} catch (Exception e) {
e.printStackTrace();
}
return datacenter;
}
//We strongly encourage users to develop their own broker policies, to submit vms and cloudlets according
//to the specific rules of the simulated scenario
private static DatacenterBroker createBroker(){
DatacenterBroker broker null;
try {
broker new DatacenterBroker(Broker);
} catch (Exception e) {
e.printStackTrace();
return null;
}
return broker;
}
/**
* Prints the Cloudlet objects
* param list list of Cloudlets
*/
private static void printCloudletList(ListCloudlet list) {
int size list.size();
Cloudlet cloudlet;
String indent ;
Log.printLine();
Log.printLine( OUTPUT );
Log.printLine(Cloudlet ID indent STATUS indent
Data center ID indent VM ID indent indent Time indent Start Time indent Finish Time);
DecimalFormat dft new DecimalFormat(###.##);
for (int i 0; i size; i) {
cloudlet list.get(i);
Log.print(indent cloudlet.getCloudletId() indent indent);
if (cloudlet.getCloudletStatus() Cloudlet.SUCCESS){
Log.print(SUCCESS);
Log.printLine( indent indent cloudlet.getResourceId() indent indent indent cloudlet.getVmId()
indent indent indent dft.format(cloudlet.getActualCPUTime())
indent indent dft.format(cloudlet.getExecStartTime()) indent indent indent dft.format(cloudlet.getFinishTime()));
}
}
}
}
