APP下载
报价宝  ›  科技  › 

基于Tablestore Tunnel的资料复制实战_服务

报价宝 来源:baojiabao.com 发布时间:2019-08-28 09:08:00 11月16日更新
报价宝综合消息基于Tablestore Tunnel的资料复制实战_服务

资料复制主要指通过互联的网络在多台机器上储存相同资料的副本,通过资料复制方案,人们通常希望达到以下目的:1)使资料在地理位置上更接近使用者,进而降低访问延迟;2)当部分元件出现故障时,系统依旧可以继续工作,提高可用性;3)扩充套件至多台机器以同时提供资料访问服务,从而提升读吞吐量。

如果复制的资料一成不变,那么资料复制就非常容易,只需要将资料复制到每个节点,一次性即可搞定,面对持续更改的资料如何正确而有效的完成资料复制是一个不小的挑战。

表格储存(Tablestore)是阿里云自研的NoSQL多模型数据库,提供海量结构化资料储存以及快速的查询和分析服务,表格储存的分散式储存和强大的索引引擎能够提供PB级储存、千万TPS以及毫秒级延迟的服务能力。DataX是阿里巴巴集团内被广泛使用的离线资料同步工具,DataX本身作为资料同步框架,将不同资料来源的同步抽象为从源头资料来源读取资料的Reader外挂,以及向目标端写入资料的Writer外挂。

通过使用DataX可以完成Tablestore表的资料复制,如下图所示,otsreader外挂实现了从Tablestore读取资料,并可以通过使用者指定抽取资料范围可方便的实现资料增量抽取的需求,otsstreamreader外挂实现了Tablestore的增量资料汇出,而otswriter外挂则实现了向Tablestore中写入资料。通过在DataX中配置Tablestore相关的Reader和Writer外挂,即可以完成Tablestore的表资料复制。

通道服务(Tunnel Service)是基于表格储存资料界面之上的全增量一体化服务。通道服务为您提供了增量、全量、增量加全量三种型别的分散式资料实时消费通道。通过为资料表建立资料通道,可以简单地实现对表中历史存量和新增资料的消费处理。

借助于全增量一体的通道服务,我们可以轻松构建高效、弹性的资料复制解决方案。本文将逐步介绍如何结合通道服务进行Tablestore的资料复制,完整程式码开源在github上的 tablestore-examples中。本次的实战将基于通道服务的Java SDK来完成,推荐先阅读下通道服务的相关档案,包括快速开始等。

配置抽取其实对应的是资料同步所具备的功能,在本次实战中,我们将完成指定时间点之前的表资料同步,指定的时间点可以是现在或者未来的某个时刻。具体的配置如下所示,ots-reader中记录的是源表的相关配置,ots-writer中记录的是目的表的相关配置。

ots-reader中各引数的说明如下:

ots-writer中各引数的说明如下(略去相同的引数):

资料复制的主逻辑主要分为以下4步,在第一次执行时,会完整的进行所有步骤,而在程式重启或者断点续传场景时,只需要进行第3步和第4步。

1. 建立复制目的表

通过使用DesribeTable界面,我们可以获取到源表的Schema,借此可以创建出目的表,值得注意的是需要把目的表的有效版本偏差设成一个足够大的值(预设为86400秒),因为服务端在处理写请求时会对属性列的版本号进行检查,写入的版本号需要在一个范围内才能写入成功,对于源表中的历史存量资料而言,时间戳往往是比较小的,会被服务端过滤掉,最终导致同步资料的丢失。

2. 在源表上建立通道

使用通道服务的CreateTunnel界面可以建立通道,此处我们建立全量加增量型别(TunnelType.BaseAndStream)型别的通道。

3. 启动定时任务来监测备份进度

备份进度的监测可以通过DesribeTunnel界面来完成,DescribeTunnel界面可以获取到最新消费到的时间点,通过和配置里的备份结束时间对比,我们可以获取到当前同步的进度。在到达结束时间后,即可退出备份程式。

4. 启动资料复制

启动通道服务的自动化消费框架,开始自动化的资料同步,其中OtsReaderProcessor中完成的是源表资料的解析和目的表的写入,处理逻辑将会在后文中介绍。

使用通道服务,我们需要编写资料的Process逻辑和Shutdown逻辑,资料同步中的核心在于解析资料并将其写入到目的表中,处理资料的完整程式码如下所示,主要逻辑还是比较清晰的,首先会检查资料的时间戳是否在合理的时间范围内,然后将StreamRecord转化为BatchWrite里对应的行,最后将资料序列写入到目的表中。

在本次的实战中,我们结合通道服务完成一个简洁而有效的资料复制方案,实现了指定时间点的表资料复制。借助于本次的实战样例程式码,使用者仅需要配置源表和目的表的相关引数,即可以高效的完成的表资料的复制和资料的迁移。

在未来的演进中,通道服务还将支援建立指定时间段的通道,这样可以更加灵活的制定资料备份的计划,也可以完成持续备份和按时间点恢复等更加丰富的功能。

----------------------------------------

本文作者:琸然

原文连结:https://yq.aliyun.com/articles/706791?utm_content=g_1000064615

本文为云栖社群原创内容,未经允许不得转载。

文章标签: 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 报价宝 汽车价格 笔记本价格 电视机价格 红米手机价格