如何在DAYU中实现跨源数据对账

概述

数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。

准备阶段

首先需要准备好需要对账的数据源，即通过管理中心创建数据连接待校验的异构数据源，用于跨源数据对账

此处以DWS和DLI为例，进入DAYU管理中心模块

1. 首先创建DLI数据连接，选择数据连接类型为DLI, 为数据连接命名，如下图：

   

   测试数据连接，连接成功即可：

   
   

2. 创建DWS数据连接，点击创建数据连接，选择连接类型为DWS，录入dws连接信息，如下图：

   

   同样测试连接成功后保存即可

创建对账作业

在准备好跨源数据连接后，接下来进入数据质量模块，创建对应的数据对账作业

1. 在DAYU中切换到数据质量模块，点击左侧对账作业菜单

   

   点击新建创建对账作业，填写对账作业名称后，点击下一步

   
   

2. 进入规则配置步骤后，此处分为来源配置和目的配置，其中来源配置源端数据源信息和规则信息，目的配置目的端数据源信息，此处支持不同类型数据源之间的配置，借以支持跨源的数据对账

   

   选择准备阶段创建的数据连接，选择要进行对账的数据表信息，此处以跨源表的行数对账为例，规则类型选择表级别规则，规则模板选择表行数，如下图

   

   选择对应的数据表后，配置告警条件，其中点击左侧的表行数（${1_1}）表示左侧源端选中表的行数，点击右侧表行数（${2_1}）表示目的端表行数。此处配置告警条件为${1_1}!=${2_1}，表示当左侧表行数与右侧表行数不一致时，触发报警并显示报警状态。

   
   

3. 接下来进入第三步，配置订阅信息，此处勾选通知类型，勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。

   
   

4. 最后一步配置此作业是否进行周期性调度。单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置

   

5. 点击提交后保存对账作业，然后点击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面

   

   
   

6. 点击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图

   
   

   

结果分析

至此，完成了通过DAYU数据质量模块中的对账作业功能实现了DLI和DWS两种不同数据源中的表行数一致性对账功能。

运行结果中，左侧表示源端表行数规则运行结果，右侧表示目的端表行数规则运行结果。

误差率表示两端数据行数的差异比率，此处误差率为0表示两端一致。