南阳哪里做网站,内蒙古城乡建设厅网站资质公告,珠海 网站 设计,安阳哪有做网站的Spring XD是一个功能强大的工具#xff0c;它是一组可安装的Spring Boot服务#xff0c;可以独立运行#xff0c;在YARN或EC2之上运行。 Spring XD还包括一个管理UI网站和一个用于作业和流管理的命令行工具。 Spring XD是一组功能强大的服务#xff0c;可与各种数据源一起使… Spring XD是一个功能强大的工具它是一组可安装的Spring Boot服务可以独立运行在YARN或EC2之上运行。 Spring XD还包括一个管理UI网站和一个用于作业和流管理的命令行工具。 Spring XD是一组功能强大的服务可与各种数据源一起使用。 为了达到理想的使用效果它应该在Apache Spark或Hadoop集群中运行。 在第一部分中我们将设置XD使其在具有必要数据服务的Centos / RHEL机器上运行。 这些用于运行所需的基础结构以及数据摄取。 您可以集成现有的RDBMSMongoDBKafkaApache SparkHadoopRESTRabbitMQ和其他服务。 您还可以在MacWindows和其他Linux发行版上安装XD。 对于开发人员机器上的基本用法只需从Spring.IO网站下载Spring XD并运行xd / xd / bin / xd-standalone这足以运行数据提取。 1. Spring XD设置 首先让我们在您的Linux服务器上安装Spring XD注意其运行要求。 如果您没有所需的服务则XD下载包含它们的版本供您运行。 参考 http://docs.spring.io/spring-xd/docs/current/reference/html/#_redhat_centos_installation https://github.com/spring-projects/spring-xd/wiki/Running-Distributed-Mode https://github.com/spring-projects/spring-xd/wiki/XD-Distributed-Runtime 要求 Apache Zookeeper 3.4.6 雷迪斯 RDBMSMySQLPostgresqlApache Derby等 浓缩机 GemFire强烈建议用于内存数据网格 GemFire XD强烈建议用于内存数据库 RabbitMQ强烈推荐 阿帕奇纱线 在Centos / RHEL / Fedora上安装MySQL 需要一个关系数据库来存储您的工作信息而可以使用内存中的RDBMS但为了实际使用应使用RDBMS。 如果您有可从XD群集访问的RDBMS则可以使用它。 我更喜欢将开放源代码数据库仅用于XD您可以为此安装MySQL或Postgresql。 sudo yum install mysql-server http://dev.mysql.com/downloads/repo/yum/ 安装Postgresql不要与GreenPlum安装在同一台计算机上 sudo yum install postgresql-server安装Redis http://redis.docs.pivotal.io/doc/2x/index.html#getting-started/src/install.html topic_q3g_vzs_yn 请参阅RabbitMQ wget -q -O – http://packages.pivotal.io/pub/rpm/rhel6/app-suite/app-suite-installer | shsudo yum install pivotal-redissudo service pivotal-redis-6379 startsudo chkconfig —level 35 pivotal-redis-6379 on安装RabbitMQ 即使您有另一个消息队列也需要RabbitMQ。 单个节点就足够了但是通信需要它。 我强烈建议您使用真正的RMQ群集因为它适合大多数流媒体需求。 http://rabbitmq.docs.pivotal.io/doc/33/index.html#getstart/src/install-getstart.html 安装RHEL
sudo wget -q -O – packages.pivotal.io | sh
sudo wget -q -O – http://packages.pivotal.io/pub/rpm/rhel6/app-suite/app-suite-installer | sh 根据权限的不同您可能必须将其发送到文件将其更改为chmod 700并通过sudo ./installer.sh运行。
sudo yum search pivotalpivotal-rabbitmq-server.noarch: The RabbitMQ serversudo yum install pivotal-rabbitmq-server
sudo rabbitmq-plugins enable rabbitmq_management 如果您正在该计算机上运行其他内容则可能与端口冲突。
sudo /sbin/service rabbitmq-server start安装Spring-XD 最简单的安装方法是使用Pivotal的RHEL官方版本因为它们已通过认证。 您不需要成为客户就可以使用它们。 还有许多其他方式来下载/安装XD但这对于RHEL是最简单的因为它将配置它们为服务。 sudo wget -q -O – http://packages.pivotal.io/pub/rpm/rhel6/app-suite/app-suite-installer sh sudo yum install spring-xd建议 还建议在同一容器内部署XD节点和DataNode并使用数据分区。 这将加速数据处理和提取。 设置工作数据库 更改数据源选择以下一项以进行最简单的设置。 作业数据库是存储Spring XD作业信息和元数据的地方。 这是必要的。 这将是非常少量的数据。 /opt/pivotal/spring-xd/xd/config
#spring:
# datasource:
# url: jdbc:mysql://mysqlserver:3306/xdjobs
# username: xdjobsschema
# password: xdsecurepassword
# driverClassName: com.mysql.jdbc.Driver
# validationQuery: select 1
#Config for use with Postgres - uncomment and edit with relevant values for your environment
#spring:
# datasource:
# url: jdbc:postgresql://postgresqlserver:5432/xdjobs
# username: xdjobsschema
# password: xdsecurepassword
# driverClassName: org.postgresql.Driver
# validationQuery: select 1 测试Spring-XD单节点是否正常工作 cd /opt/pivotal/springxd/xd/bin
./xd-singlenode —hadoopDistro phd20 如果您使用的是与Pivotal HD 2.0不同的Hadoop发行版则可以在此处指定该标记或将其保留为关闭状态。 测试Spring-XD Shell是否有效 cd /opt/pivotal/springxd/shell/bin./xd-shell—hadoopDistro phd20 该外壳程序具有帮助和快捷方式只需开始键入Tab即可为您解析名称和参数。 设置Spring XD的环境变量 export XD_HOME/opt/pivotal/spring-xd/xd 对于默认访问我使用 /opt/pivotal/spring-xd/shell/bin/xd-shell —hadoopDistro phd20 用于测试分布式Spring XDDIRT的容器和管理服务器 sudo service spring-xd-admin start
sudo service spring-xd-container start 用于测试Spring XD http://blog.pivotal.io/pivotal/products/spring-xd-for-real-time-analytics https://github.com/spring-projects/spring-xd-samples 一些Spring XD Shell命令进行测试 had config fs —namenode hdfs://pivhdsne:8020
admin config server http://localhost:9393
runtime containers
runtime moduleshadoop fs ls /xd/
stream create ticktock —definition “time | log”
stream deploy ticktock
stream list 检查网页界面 http// localhost9393 / admin-ui // streams / definitions 2. Spring XD Job and Stream with SQL 注意为了节省空间完整的字段列表被缩写您必须列出所有正在使用的字段。 首先我们创建一个简单的filejdbc Spring Job它将原始代字号分隔的文件加载到HAWQ中 。 这些字段都以TEXT字段形式出现出于某些目的这可能是可以的但对于我们的需求而言不是。 我们还使用自定义接收器请参阅XML无编码创建XD流该流运行SQL命令从该表插入并转换为其他HAWQ类型例如数字和时间。 我们通过命令行REST POST触发辅助流但是我们可以使用定时触发或许多其他方式自动脚本或手动来启动辅助流。 您也可以只创建一个自定义XD作业该作业完成类型的转换和一些操作或者通过Groovy脚本转换完成。 XD中有很多选项。 jobload.xd job create loadjob --definition filejdbc --resourcesfile:/tmp/xd/input/files/*.* --namestime,userid,dataname,dataname2,
dateTimeField, lastName, firstName, city, state, address1, address2 --tableNameraw_data_tbl --initializeDatabasetrue
--driverClassNameorg.postgresql.Driver --delimiter~ --dateFormatyyyy-MM-dd-hh.mm.ss --numberFormat%d
--usernamegpadmin --urljdbc:postgresql:gpadmin --deploy
stream create --name streamload --definition http | hawq-store --deploy
job launch jobload
clear
job list
stream list 作业将包含所有文本列的文件加载到Raw HAWQ表中。 流是由网页命中或命令行调用触发的 需要hawq-store。 这确实会插入到实际表中并截断临时表。 triggerrun.sh用于测试的BASH Shell脚本 curl -s -H Content-Type: application/json -X POST -d {id:5} http://localhost:9000 将spring-integration-jdbc jar添加到/ opt / pivotal / spring-xd / xd / lib hawq-store.xmlSpring集成/ XD配置 /opt/pivotal/spring-xd/xd/modules/sink/hawq-store.xml
?xml version1.0 encodingUTF-8?
beans xmlnshttp://www.springframework.org/schema/beansxmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xmlns:inthttp://www.springframework.org/schema/integrationxmlns:int-jdbchttp://www.springframework.org/schema/integration/jdbcxmlns:jdbchttp://www.springframework.org/schema/jdbcxsi:schemaLocationhttp://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsdhttp://www.springframework.org/schema/integrationhttp://www.springframework.org/schema/integration/spring-integration.xsdhttp://www.springframework.org/schema/integration/jdbchttp://www.springframework.org/schema/integration/jdbc/spring-integration-jdbc.xsd
int:channel idinput /
int-jdbc:store-outbound-channel-adapterchannelinput queryinsert into real_data_tbl(time, userid, firstname, ...) select cast(time as datetime),
cast(userid as numeric), firstname, ... from dfpp_networkfillclicks data-sourcedataSource /
bean iddataSource classorg.springframework.jdbc.datasource.DriverManagerDataSourceproperty namedriverClassName valueorg.postgresql.Driver/property nameurl valuejdbc:postgresql:gpadmin/property nameusername valuegpadmin/property namepassword value/
/bean
/beanscreatetable.sql CREATE TABLEraw_data_tbl(time text,userid text ,
...somefieldtext)WITH (APPENDONLYtrue)DISTRIBUTED BY (time);3. Shell的Spring XD脚本 我的常规安装脚本我将其保存在setup.xd中并通过 script –file setup.xd加载它 had config fs --namenode hdfs://localhost:8020
admin config server http://localhost:9393
hadoop fs ls /
stream list通过Spring-XD将文件加载到GemFireXD的脚本 stream create --name fileload --definition file --dir/tmp/xd/input/load --outputTypetext/plain | jdbc --tableNameAPP.filetest --columnsid,name --deploy4. GemFire XD的Spring XD配置 将GemFire XD JDBC驱动程序复制到Spring-XD可能也需要tools.jar cp /usr/lib/gphd/Pivotal_GemFireXD_10/lib/gemfirexd-client.jar /opt/pivotal/spring-xd/xd/lib/ 修改接收器的JDBC属性以指向您的Gemfire XD如果您使用的是Pivotal HD VM并安装带有Yum的Spring-XDsudo yum update spring-xd则此位置 /opt/pivotal/spring-xd/xd/config/modules/sink/jdbc/jdbc.properties
url jdbc:gemfirexd://localhost:1527
username gfxd
password gfxd
driverClassName com.pivotal.gemfirexd.jdbc.ClientDriver 对于Peer Client Driver您需要GemFireXD Lib.so二进制文件中的更多文件链接可能是一个好主意。 5. GemFire XD设置 gfxd
connect client localhost:1527;create table filetest (id int, name varchar(100)) REPLICATE PERSISTENT;
select id, kind, netservers from sys.members;
select * from filetest;Spring XD命令 stream list 显示你的流 参考 Spring XD文档 Spring XD Wiki 在Centos上安装Spring XD GemFire XD文档 Spring XD文件 提取 到JDBC中 带有Hadoop的Spring XD 6.通过Spring XD将数据从RabbitMQ导入RDBMS 从名为“ rq”的Rabbit队列读取的简单流并将其发送到“消息和主机”列的SQL数据库从而创建名为“ rq”的新表。 stream create --name rq --definition rabbit --outputTypetext/plain | jdbc --columnsmessage,host --initializeDatabasetrue --deploy7.通过Spring XD将数据从REST API导入HDFS stream create --name hdfssave --definition http | hdfs –deploy翻译自: https://www.javacodegeeks.com/2015/03/spring-xd-for-data-ingestion.html
