一、信创迁移时同步适配的核心痛点

很多企业做信创迁移时,都会遇到一个绕不开的问题:原来用的国外数据库,要换成国内的信创数据库,数据得完整、准确地同步过去,还不能影响业务正常运行。之前大家常用的DataX这个开源工具,本身是支持很多数据库的,但直接用来对接达梦、OceanBase、Greenplum这些信创数据库,经常会出各种问题,不是连不上,就是数据丢了,要么就是同步速度慢到离谱。

我之前帮几家企业做过这类适配,踩过不少坑,比如达梦的驱动包版本不对导致连不上,OceanBase的表名大小写敏感搞乱了数据,Greenplum的批量写入配置错了导致报错。这些坑看起来小,但解决起来特别费时间,而且很多都是网上搜不到的实战细节。今天就把这些真实的踩坑和解决方法整理出来,帮大家少走弯路。

二、DataX对接达梦数据库的兼容改造与踩坑

达梦是国内很常用的信创数据库,很多企业的核心业务系统都会选它。DataX本身有MySQL的读写插件,但达梦和MySQL的语法、驱动有不少差异,直接用MySQL插件对接达梦会出问题。

2.1 适配前的准备:驱动包的正确选择

很多人一开始会随便找个达梦的JDBC驱动包放到DataX的插件目录下,结果连不上。这里的坑是:达梦的驱动包版本必须和达梦数据库的版本严格对应,比如达梦8的数据库,必须用达梦8的驱动包,不能用达梦7的,而且驱动包的名称不能随便改,必须是DmJdbcDriver18.jar(达梦8对应JDK8的驱动包)。

另外,DataX的mysqlreader和mysqlwriter插件的目录下,都要放这个驱动包,还要修改插件的plugin.json文件,把驱动类的名称改成达梦的,达梦的驱动类是dm.jdbc.driver.DmDriver,而MySQL的是com.mysql.cj.jdbc.Driver。

2.2 实战示例:达梦的同步配置

这里用DataX的配置文件来做示例,技术栈是DataX 3.0 + 达梦8数据库 + JDK8。

首先是达梦的同步配置文件,我们把MySQL的插件改成适配达梦的配置:

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "SYSDBA", // 达梦的默认管理员账号
            "password": "SYSDBA", // 达梦的默认管理员密码
            "column": ["id", "name", "create_time"], // 要同步的字段
            "splitPk": "id", // 分片字段,用来并行同步,提升速度
            "connection": [
              {
                "jdbcUrl": ["jdbc:dm://localhost:5236?schema=TEST_SCHEMA"], // 达梦的JDBC连接串,指定schema
                "table": ["TEST_TABLE"] // 要同步的表
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "SYSDBA",
            "password": "SYSDBA",
            "column": ["id", "name", "create_time"],
            "preSql": [], // 写入前的预处理SQL,比如清空表
            "connection": [
              {
                "jdbcUrl": "jdbc:dm://localhost:5236?schema=TARGET_SCHEMA",
                "table": ["TARGET_TABLE"]
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 3 // 并行同步的通道数,根据服务器配置调整
      }
    }
  }
}

2.3 踩坑实录:达梦的大小写敏感问题

我第一次用这个配置同步的时候,发现表名和字段名经常找不到,后来才知道达梦默认是大小写敏感的。比如你在达梦里创建的表是test_table(小写),但JDBC连接串里写的是TEST_TABLE(大写),就会报错。解决方法有两个:要么所有表名、字段名都和达梦里的完全一致,要么在达梦里修改大小写敏感的配置,不过修改配置可能影响其他业务,所以更稳妥的是严格保持大小写一致。

三、DataX对接OceanBase数据库的兼容改造与踩坑

OceanBase是分布式的信创数据库,很多大型企业会用它来做核心业务的分布式部署。DataX对接OceanBase的坑和达梦不太一样,主要集中在驱动包的适配和批量写入的配置上。

3.1 适配前的准备:OceanBase的驱动选择

OceanBase有两种部署模式:MySQL模式和Oracle模式,我们常用的是MySQL模式,所以用的驱动包是OceanBase的MySQL驱动包。这里的坑是:OceanBase的驱动包必须和DataX的JDK版本匹配,比如DataX用的是JDK8,就要用OceanBase对应JDK8的驱动包,不能用JDK11的。

另外,驱动包要放到mysqlreader和mysqlwriter的插件目录下,同时修改plugin.json里的驱动类,OceanBase的驱动类是com.oceanbase.jdbc.Driver,和MySQL的不一样。

3.2 实战示例:OceanBase的同步配置

技术栈是DataX 3.0 + OceanBase 4.0(MySQL模式) + JDK8。

配置文件的核心修改是JDBC连接串和驱动类,示例如下:

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "root123",
            "column": ["id", "content", "update_time"],
            "splitPk": "id",
            "connection": [
              {
                "jdbcUrl": ["jdbc:oceanbase://localhost:2883/test_db"], // OceanBase的JDBC连接串
                "table": ["test_table"]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "root",
            "password": "root123",
            "column": ["id", "content", "update_time"],
            "preSql": ["truncate table target_table"], // 同步前清空目标表
            "connection": [
              {
                "jdbcUrl": "jdbc:oceanbase://localhost:2883/target_db",
                "table": ["target_table"]
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5 // OceanBase是分布式,并行通道数可以适当多一点
      }
    }
  }
}

3.3 踩坑实录:OceanBase的批量写入超时

我第一次同步的时候,发现数据量稍微大一点(比如10万条)就会超时报错,后来查资料才知道OceanBase的默认超时时间比较短。解决方法是在JDBC连接串里添加超时参数,比如:jdbc:oceanbase://localhost:2883/test_db?socketTimeout=60000&connectTimeout=30000,把socket超时改成60秒,连接超时改成30秒。另外,还可以调整mysqlwriter里的batchSize参数,把批量写入的数量调小一点,比如从默认的1024改成512,减少单次写入的压力。

四、DataX对接Greenplum数据库的兼容改造与踩坑

Greenplum是开源的分布式数据仓库,很多企业会用它来做数据分析,属于信创相关的大数据场景常用数据库。DataX本身有专门的gpdbwriter插件,但这个插件的配置和其他插件差异很大,踩坑点也最多。

4.1 适配前的准备:Greenplum的驱动与插件配置

Greenplum的驱动包是PostgreSQL的驱动包,因为Greenplum是基于PostgreSQL开发的。这里的坑是:Greenplum的版本必须和PostgreSQL驱动包的版本对应,比如Greenplum 6,就要用PostgreSQL 12的驱动包,不能用更高版本的。

另外,gpdbwriter插件的plugin.json里要指定驱动类,是org.postgresql.Driver,同时要把驱动包放到gpdbwriter的插件目录下。

4.2 实战示例:Greenplum的同步配置

技术栈是DataX 3.0 + Greenplum 6 + JDK8。

Greenplum的配置和其他数据库的差异很大,核心是要指定Greenplum的Master节点地址、端口、schema,还有目标表的分布键(Greenplum的表必须有分布键,用来把数据分散到各个节点)。示例如下:

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader", // 假设源数据库是MySQL,这里可以换成其他源
          "parameter": {
            "username": "root",
            "password": "root123",
            "column": ["id", "user_id", "amount", "create_date"],
            "splitPk": "id",
            "connection": [
              {
                "jdbcUrl": ["jdbc:mysql://localhost:3306/source_db"],
                "table": ["order_table"]
              }
            ]
          }
        },
        "writer": {
          "name": "gpdbwriter",
          "parameter": {
            "username": "gpadmin",
            "password": "gpadmin123",
            "column": ["id", "user_id", "amount", "create_date"],
            "preSql": ["truncate table dw_order"],
            "connection": [
              {
                "jdbcUrl": "jdbc:postgresql://localhost:5432/gp_db", // Greenplum的JDBC连接串
                "table": ["dw_order"]
              }
            ],
            "writeMode": "insert", // 写入模式,支持insert、update等
            "distributionKey": ["user_id"] // Greenplum的分布键,必须和目标表的分布键一致
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 4
      }
    }
  }
}

4.3 踩坑实录:Greenplum的分布键不匹配

我第一次同步的时候,直接报了一个很奇怪的错,查了半天才发现是分布键的问题。Greenplum的表在创建的时候必须指定分布键,比如你创建dw_order表的时候指定的分布键是user_id,但配置里写的是id,就会报错。解决方法是要么把配置里的分布键改成和表的一致,要么在创建Greenplum表的时候把分布键改成配置里的。

另外,还有一个坑是Greenplum的字符集问题,如果源数据库的字符集是UTF-8,Greenplum的表也要用UTF-8,不然会出现乱码,这个要提前检查。

五、信创迁移同步的应用场景、优缺点与注意事项

5.1 应用场景

信创迁移的同步适配主要用在这些场景:一是存量系统的信创改造,比如原来的Oracle系统要换成达梦或OceanBase,数据要从旧库同步到新库;二是多源数据的信创数据仓库搭建,比如把业务数据同步到Greenplum做数据分析;三是异构数据库的信创同步,比如从MySQL同步到达梦,从Oracle同步到OceanBase等。

5.2 技术优缺点

优点方面,用DataX做同步适配的成本比较低,因为DataX是开源免费的,不用额外付费;而且DataX的插件体系成熟,只要适配驱动和配置,就能对接大部分信创数据库;另外,DataX支持并行同步,速度比较快,适合大数据量的同步。

缺点方面,DataX本身没有可视化界面,配置全靠写JSON文件,对新手不太友好;而且不同数据库的适配坑很多,需要有实战经验才能快速解决;另外,DataX的实时同步能力比较弱,只能做批量同步,如果需要实时同步,还要配合其他工具,比如Canal。

5.3 注意事项

第一,驱动包的版本一定要和数据库版本严格对应,这个是很多人容易忽略的,也是最容易出问题的地方;第二,同步前一定要做预演,先同步小批量的数据,检查数据的完整性和准确性,再同步全量数据;第三,同步的时候要避开业务高峰,避免影响业务系统的运行;第四,要做好数据备份,同步前备份旧库的数据,同步后备份新库的数据,防止同步失败导致数据丢失;第五,不同数据库的语法差异要注意,比如达梦的函数和MySQL的不一样,如果配置里用到了自定义SQL,要改成目标数据库支持的语法。

六、文章总结

信创迁移浪潮下,用DataX做同步适配是很多企业的选择,但对接达梦、OceanBase、Greenplum这些信创数据库时,会遇到驱动包、大小写敏感、分布键、超时等各种坑。本文把实战中的适配方法、踩坑实录和解决方法整理出来,结合具体的配置示例,帮大家快速完成适配。

总的来说,做信创同步适配的时候,要提前做好准备,仔细检查驱动包、配置、语法这些细节,遇到问题不要慌,先查错误日志,再结合数据库的特性来分析解决。只要掌握了这些实战技巧,就能顺利完成信创迁移的同步适配工作。