【解决方案】如何将其他数据库(OLAP/OLTP)中的表结构同步到Doris?

Viewed 142

方式一:Sql convertor(SQL 方言转换器)

在线体验链接:
https://play.selectdb.com/sql-convertor

方式二:catalog

例如:在Doris 中建立catalog后, 可以通过show create table tableName 查看外表的表结构,同时可以show create table like在内表创建相对应的表。

show create table tableName like jdbc_catalog.database.table;

https://doris.apache.org/zh-CN/docs/lakehouse/multi-catalog/

如下,当在shell脚本中增加--create-table-only true 参数时,只会自动将表结构映射到Doris,而不会传输数据。
参考文档:
https://doris.apache.org/zh-CN/docs/ecosystem/flink-doris-connector

<FLINK_HOME>bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.16-1.4.0-SNAPSHOT.jar \
    mysql-sync-database \
    --database test_db \
    --mysql-conf hostname=127.0.0.1 \
    --mysql-conf port=3306 \
    --mysql-conf username=root \
    --mysql-conf password=123456 \
    --mysql-conf database-name=mysql_db \
    --including-tables "tbl1|test.*" \
    --sink-conf fenodes=127.0.0.1:8030 \
    --sink-conf username=root \
    --sink-conf password=123456 \
    --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 \
    --sink-conf sink.label-prefix=label \
    --table-conf replication_num=1 
    --create-table-only true 

方式四:x2doris

x2doris 支持将 olap 数据全量导入 doris,并且可以通过可视化界面合理配置 table schema,以及对任务进行管理。

参考文档:
https://selectdb.com/tools/x2doris

2 Answers

x2doris目前支持doris、hive、kudu、starrocks,后续将支持greenplum 和 clickhouse 。欢迎大家测试使用

cloudcanal,bifrost也可以得,页面点点也挺舒服,Sql convertor为啥没有mysql