客户案例
UFS利用T-Intergrater实现自动数据迁移
T-Intergrater 是 触脉自行研发的用来实现Google 相关数据与本地私有云、混合云或Google外部云数据交互管理的工具。可实现数据自动化、批量化的迁移,常用于大量数据(尤其是原始数据)的迁移与集成使用。T-Intergrater在企业与Google之间架起了一座桥梁,是双方实现数据交互的重要途径。
所有的数据迁移根据客户需求而定,数据粒度最细可以到hit( 每个server call)级别,满足客户不用需求的二次加工使用。
整个工作模式是对数据集对象的批量化操作,无论数据集位于几张表、几个库,都能同时进行。
可无人值守,通过定时任务的方式自动化执行相关数据迁移和管理操作。同时特有的数据校验机制保证了数据的准确性。
基于Google Cloud的独有优势,客户通过T-Intergrater在DoubleClick、AdWords、YouTube、Google Analytics等外部数据源的数据均可同步到传输到Google BigQuery、Google Cloud Storage以及客户指定的服务器(或云服务器),整个过程都是自动执行的。
借助于T-Intergrater,客户可以根据不同的场景选择最佳数据接入方案。例如API、FTP等,也可以根据不同场景获取不同格式的数据,例如数据文本等。
在大型企业的数据工作环境中,会涉及到众多系统、工具和技术的管理和集成过程,例如Spark、Hadoop、SQL、HIVE、HBASE等,这些不同的工具和技术各有自身的特定需求场景。T-Intergrater能够与不同类型的工具对接,满足大数据生态中各种数据工程的需要。