博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
实践 —— 亲测从 RDS MySQL 通过数据集成导入 MaxCompute
阅读量:6645 次
发布时间:2019-06-25

本文共 712 字,大约阅读时间需要 2 分钟。

我们今天要试的,是从RDS 的MySQL数据库到MaxCompute的 ODPS 的数据同步过程。

image

往简单了说,就是把源数据库(Read)里的数据,转移到目标数据库(Write)。 DataWorks 产品组里的 数据集成 提供了数据一次性搬移,以及周期性搬移的功能,搬移的细节可以在数据同步任务中设置。

一、 数据源

1、 来源数据源
申请RDS 上的MySQL就不多说了,此处的注意事项是,数据集成服务连接RDS MySQL数据库属于远程连接,需要添加连通允许的白名单,如下图所示设置:
image
image
参考链接:,

注意:白名单设置我这里很简单,设置为所有ip都可以访问,实际上数据集成服务需要的ip为:

image

2、 目标数据源

MaxCompte后台用的存储是ODPS,在大数据开发套件里创建的任务默认会带一个ODPS的数据存储,所以需要新建一个project就新建了一个ODPS数据源。

image

image

二、 任务配置

进入 数据集成,按照向导模式,将read数据源和write数据源都配置好。
image
配置来源:
image
配置目标:
image
配置字段映射:
image
预览配置并保存:
image
配置完成后,就可以运行任务了。点击“运行”会把当前配置好的数据源导入一次。
可以在 DataWorks 产品组中的 数据管理 中查看导入进来的数据表,如下图所示:
image
笔者尝试过两次导入,一次是几百行,很快完成,一次是大于1亿行,运行了好几个小时,所以要尝试的同学要注意一下,尝试流程时不要试太大的数据集,避免造成运算量过大。

三、 任务运行

测试通过后,可以启动周期调度,点击“提交”后可以就可以进入任务页面了。
image
按照实际周期同步的需求,设置周期属性,任务提交后,在 运维中心 可以看到任务运行情况。

转载地址:http://kplvo.baihongyu.com/

你可能感兴趣的文章
java中的BigDecimal和String的相互转换
查看>>
Android中Adapter总结
查看>>
数据解析:从某种格式的数据中提取自己所需的数据
查看>>
ArrayList源码深度解析
查看>>
关爱通用户登录支付接口实例
查看>>
angularJS一个比较好的分页地址
查看>>
(转)CWnd与HWND的区别与转换
查看>>
豆瓣有无验证码登陆+selenium
查看>>
android:sharedUserId
查看>>
简单的Windows 服务的安装和卸载
查看>>
IOS开发——正则表达式验证手机号、密码
查看>>
VC++ 内存机理的个人理解(一)——地址和指针的关系
查看>>
QT+VS
查看>>
SQL2008安装详细教程
查看>>
获得驱动器信息卷设备&&Ring3得到磁盘文件系统(NTFS WIN10)
查看>>
js 事件点击 显示 隐藏
查看>>
java基础:4.2 对象和类(二)、数据域封装、this
查看>>
1118 实验三 有限自动机的构造与识别
查看>>
Ubuntu16.04使用Tarball安装ntp
查看>>
构造器及this的用法
查看>>