做网站推广要会什么,常用的网站制作软件,郑州金水区,张家口全景网站建设应用介绍一、设计概述与背景#xff1a;在目前SQL Server数据库和Oracle数据库之间进行数据迁移工作#xff0c;可以使用多种方案#xff0c;其中采用文本文件作为数据交换的中间介质#xff0c;具有如下特点#xff1a;1、各个主流数据库都支持文本文件的导入、导出功能。…应用介绍一、设计概述与背景在目前SQL Server数据库和Oracle数据库之间进行数据迁移工作可以使用多种方案其中采用文本文件作为数据交换的中间介质具有如下特点1、各个主流数据库都支持文本文件的导入、导出功能。2、使用文本文件进行导入的效率非常高且文本格式简便易于加工。Oracle提供了一个sqlloader命令行程序能够通过该程序进行文本文件的快速导入经测试在直接路径模式下可以达到每秒钟上万条数据的处理能力。但其具有如下缺点1、需要针对每个导入表编写一个对应的控制文件。在控制文件里可以设置各种参数和简单的处理逻辑。2、使用SQLLDR命令自身也存在各种参数而这些参数又非常繁琐不易理解。很多时候数据迁移需要同时针对上百个表格进行处理在有限的停机时间内如每个表都编写这样的控制文件和对应的调度文件然后在数据迁移过程逐个点击调度文件完成数据的导入将严重影响效率且容易出错。故本解决方案探讨了一个自动生成控制文件、调度文件并自动完成数据导入的几乎全自动的流程。以便节省迁移周期、提高工作效率。解决方案主要思路如下1、首先按照预定逻辑从Oracle数据库中取得表结构信息并依赖这些信息生成控制文件和对应的调度文件。2、从需要迁移的SQL Server目标端数据库或其它数据库里按照Oracle表结构导出数据并形成txt文件存放在特定目录下。3、有一个定时程序检查该目录如果存在文件则自动查找对应的调度文件将该文件处理完毕。4、存在一个检查日志的工具能够自动检查导入后的数据信息摘要找到可供使用的信息。二、生成SQLLDR控制文件及对应的调度文件1、在目标数据库按先后顺序执行 CreateTable.sql和Create_SQLLDR.pck–2、如果需要批量生成控制文件按照顺序如下执行–2.1在PL/SQL中新建一个SQL窗口里执行如下语句beginCreate_SQLLDR.GenAllTabCtrl();end;/select msg from t_output order by idx;–2.2将Select出来的信息拷贝出来注意需要全部获取。–2.3在PL/SQL中新建一个命令窗口将拷贝出来的信息执行即可生成。–3、如果需要批量生成运行的BAT文件按照如下顺序执行–3.1在PL/SQL中新建一个SQL窗口里执行如下语句beginCreate_SQLLDR.GenAllTabRunBat();end;/select msg from t_output order by idx;–3.2将Select出来的信息拷贝出来注意需要全部获取。–3.3在PL/SQL中新建一个命令窗口将拷贝出来的信息执行即可生成。–4、如果需要修改生成文件里的信息必须首先指明对应的变量否则将以默认值生成文件的内容具体可以设定的变量请查看包里的说明示例代码如下beginCreate_SQLLDR.Init_DbServer:ERPDEV;Create_SQLLDR.init_DbUsr:用户名;Create_SQLLDR.Init_DbPwd:数据库密码;Create_SQLLDR.GenAllTabRunBat();end;/–5、相关说明–影响生成控制文件的属性包括有INIT_PATH varchar2(200); --初始化导入路径 INIT_CTRL_DIR varchar2(20);–控制文件的路径,默认为E:\online INIT_CTRL_EXT varchar2(20); --控制文件的默认扩展名 INIT_TERMINATED varchar2(10);–数据文件里的字段分割符默认为|,可以为WHITESPACE(空格)、x’09’(制表符) APPEND_OR_TRUNC varchar2(30); --插入模式还是覆盖模式 可选项Append、TRUNCATE、INSERT、REPLACEInit_DateFormat varchar2(50); --数据文件里的日期字段的文本展示格式Init_TimeStampFormat varchar2(50); --数据文件里的时间戳字段的文本展示格式 Init_RawFunvarchar2(50); --数据文件里Raw类型所对应的函数名称–影响生成调度文件的属性有INIT_PATH varchar2(200); --初始化导入路径INIT_CMD_DIR varchar2(20); --BAT运行文件的路径默认为cmdINIT_CMD_EXT varchar2(20); --BAT运行文件的扩展名默认为batINIT_DATA_DIR varchar2(20); --数据文件的路径INIT_DATA_EXT varchar2(20); --数据文件的扩展名默认为txtInit_log_Dir varchar2(20); --日志文件的路径默认为logInit_log_Ext varchar2(20); --日志文件的扩展名默认为.logInit_Bad_Dir varchar2(20); --坏文件的路径默认为badInit_Bad_Ext varchar2(20); --坏文件的扩展名默认为.badInit_Bak_Dir varchar2(20); --已经导入完成后的文件路径为数据文件路径的子目录Init_DbServer varchar2(30); --数据库服务名init_DbUsr varchar2(30); --数据库登录用户Init_DbPwd varchar2(30); --数据库登录密码Init_Max_Error varchar2(30); --SQLLDR最大导入错误数Init_Other_Para varchar2(300); --SQLLDR的导入其他参数Move_Data_flag boolean; --导入完成是否转移数据文件,默认为true转移Pause_Over_flag boolean; --导入完成后是否暂停–包提供了针对单个表生成的过程分别对应GenOneTabCtrl、GenOneTabRunBat均需传入指定的表名。–6、一些调用的示例–6.1 库存组的SQLLDR控制文件begincreate_sqlldr.GenAllTabCtrl();end;/–6.2 只生成以BD开头的表名的控制文件begincreate_sqlldr.GenAllTabCtrl( and table_name like BD%);end;/–6.3 稍微复杂点的控制文件生成beginCreate_SQLLDR.INIT_TERMINATED : :; --使用;作为导入数据的分割符Create_SQLLDR.APPEND_OR_TRUNC : TRUNCATE; --使用此控制文件将首先清空表的内容再进行插入Create_SQLLDR.Init_Other_Para : Directtrue; --使用直接路径模式生成对应的控制文件可以自定义任何符合SQLLDR的参数create_sqlldr.GenAllTabCtrl( and table_name like BD%);end;/三、执行循环扫描指定目录的批处理文件默认情况下只要数据文件对应的调度文件存在使用如下步骤即可完成数据文件的自动导入1、解压缩Online.Rar至E:根目录2、将对应的数据文件存放至E:\Online\data目录下3、执行E:\Online\main.bat该批处理将自动找到数据文件对应的调度文件并执行SQLLDR导入。四、日志数据的检查为方便统计和分析导入完成后的日志信息本解决方案提供了一个日志分析的小应用程序可以针对指定目录进行日志文件的分析。如需进行日志统计只需要执行E:\Online\统计Log.exe如果默认路径未进行修改直接敲回车即可否则需要输入对应路径。程序将自动抽取日志目录下的所有扩展名为.log的文件并提取有效信息展示在输出窗口。
