数据处理工具用户手册（一）

数据处理工具的用途与相关概念

用途说明

数据处理工具有对任务调度的用途，如数据处理工具对任务进行定时后任务自动进行。

数据处理工具可以根据任务的类型、周期性、并发性和重试设置进行有效的任务调度功能，保证数据处理任务的顺利执行完毕。

数据处理工具是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。 ?

整体结构

数据处理工具分为两部分：脚本定义模块只定义和保存脚本，脚本执行模块只读取和执行脚本，二者互不影响，需要为两个模块提供同样的环境，但不一定是同一个环境。

定义过程使用的环境不一定要和运行环境是同一个，但是要有相同的环境。

相关概念

适配器

适配器（ Adapter ）负责与数据源之间的输入与输出，例如连接数据库、打开文件、LOG或ERROR都是由Adapter负责的。

数据处理工具通常需要面对多种数据源环境。

例如，当需要将多个业务系统的数据抽取并同步至统一的数据中心时，生产系统的数据库可能是Oracle，财务系统的数据库则可能是SQLServer，人事系统的数据库又可能是DB2。其次，不仅仅是关系型数据库，有时数据源还可能是文件类型，如Excel、XML。

对不同类型数据源的操作方式通常是不同的。

适配器（Adapter）则是封装了对不同数据源的操作。并可在数据处理工具动作中直接调用，从而完成对不同类型数据源的支持。

适配器可为分为：源适配器和目标适配器。

动作

具体执行数据处理、文件处理的操作 。?有很多不同功能的动作，例如?：
??????? 1、在数据库中执行一段SQL语句的动作；?
?????????2、将A库中某张表的数据全部同步到B库中某张表的动作 ；
??????? 3、将A库中某张表满足特定条件的数据追加至B库中某张表的动作。

任务脚本

任务脚本是一个以retl为后缀的文件 ，该文件包含：版本标记、注释、变量、命令。

脚本命令包括四部分：动作名称、动作参数、来源适配器和目标适配器。

一个数据处理任务对应一个任务脚本。即调度器运行一个数据处理任务时，是通过执行一个任务脚本来完成具体的数据处理过程的。当有多个数据处理任务时，也就相应有多个任务脚本。

一个数据处理任务脚本中可以包括若干数据处理动作（Action），用于指定ETL任务需要对哪些数据执行何种ETL操作处理。