数据整合解决方案|通用解决方案|解决方案|触脉咨询-数据整合_数据迁移_数据集成_数据导出_数据仓库_BigQuery整合_大数据集成_Google Analytics集成_企业数据整合 


方案概述

Solution Summary

数据整合方案包括基于Google 360的云数据整合方案、Google Cloud Storage云整合与存储方案、Google Cloud数据本地化迁移与整合方案和企业大数据本地化整合解决方案四部分。前三种方法可实现任何本地、云数据源与Google相关数据源的打通、迁移与整合,并且整个过程都是自动化实现的。企业大数据本地化整合解决方案可实现将所有企业相关的数据,都整合到企业私有云或内部大数据平台,整个过程都以后期数据应用为导向。





业务痛点

Issues & Problems


card_travel

数据口径不一致

在企业内部不同部门都拥有自己的运营系统,由于运营需求的差异,可能存在对同一对象的不同描述以及数据结果。这导致了后期在做数据分析、评估、应用和计划时产生莫衷一是的结果,并且数据给业务部门的认可度、价值度及公正性会大打折扣。

trending_up

数据安全性低

不同部门对自身的数据分散管理,可能涉及到不同层次、角色和能力的人员参与,这会导致企业的数据安全处于巨大的不确定性之中。其中可能会涉及到权限、任务、出口、访问限制、传输、分享、加密、备份、容灾等多个环节,有一个环节出现问题就会导致企业数据风险危机。

lightbulb_outline

缺乏统一数据视图

企业的数据决策通常建立在对各个环节的统一跟踪、标记、分析和认知之上,但由于缺乏统一的数据视图和管理,导致对企业内部各个环节的认知缺乏完整性和一致性,给决策带来巨大的盲目性,这通常是数据决策失败最主要的因素。





方案内容

Solution Contents

基于Google 360的云数据整合方案

基于所有在线流量的数据整合服务,满足多种数据源的接入,包括GCS(谷歌云存储)、其他谷歌营销平台工具(例如Google Ads, Display & Video, Google Play, YouTube等广告投放和管理服务数据)、可读取数据源(例如本地文件、)、流式数据(例如流式日志)、网站/APP/H5/AMP等数据(例如通过Google Analytics采集到的数据)。这些数据都以Google big table做结构化存储,并可通过Google BigQuery工具执行数据检索、分析、建模任务(新增数据库建模能力),完成数据后期应用。此方案尤其适用于海量数据的OLAP及数据库建模处理。利用触脉研发的独有工具,可实现数据自动化、批量化的程序化运作。基于客户需求,云数据整合方案也可通过协同有效开展工作。

Google Cloud Storage云整合与存储方案

本方案侧重于将更多数据源整合(如AWS、阿里云等各种云服务,企业内部数据环境)至Google Cloud Storage(简称GCS)中,并基于GCS技术进行数据构建、测试、分析处理;企业更可直接利用Google的机器学习和深度学习能力,构建完整的数据应用循环体系。这是真正利用Google强大的云服务支持实现大数据应用的起点。除了支持Google结构化表格格式文件,GCS亦支持如图片、视频、半结构化和非结构化文本等其他类型的数据文件,此方案能够充分满足数据存储需求,以及后期构建基于海量、多类型、复杂数据运算的需求。基于触脉研发的独有工具,所有数据的整合过程都符合安全性、高效性及自动化性标准。

Google Cloud数据本地化迁移与整合方案

很多大型企业有数据存储于企业环境之外的情况,例如广告投放数据、广告跟踪数据、网站用户行为数据等。针对这样的情况,触脉提供Google Cloud服务体系内托管数据的迁移服务,即将这部分数据迁移至企业本地环境。此迁移过程可实现自动化执行,具备高度准确校验机制,并能够保证所有数据的安全传输性。实现迁移之后的数据可作为企业大数据整合研究及应用的基石,保证数据应用链条的完整性。触脉深刻理解谷歌云服务的数据流转过程及企业需求,并能够将原始Google的数据存储形态,以匹配企业整合及应用需求的形态做转换,实现在线数据到本地数据的无缝对接与整合,包括:Google数据仓库建模、Google数据映射与转换、Google大数据存储设计、Google异构数据源同步与质量校验等。

企业大数据本地化整合解决方案

大数据整合是企业开展大数据工作的基础。触脉作为行业知名数据咨询公司,在电商、零售、电子商务、航空、外贸等领域参与并见证了众多企业的大数据发展历程,其中不乏行业领军品牌,在为这些企业服务的过程中,触脉积累了深厚的行业大数据处理及应用经验。这些实践经验,可以与众多合作伙伴及客户共享。此解决方案从企业大数据发展战略出发,涵盖从产品设计、制造生产、渠道拓展、销售至售后的全业务环节,覆盖会员体系管理、营销运营、采销、客服、广告投放、物流到仓储等多部门体系数据库,针对企业不同数据源的特点及部门需求,把脉各个数据源的质量,采取有效措施实施数据规划,数据清洗及数据质量提升,最终形成整合的、高质量的、面向主题,解决企业发展问题的,并以分析和应用为导向的企业大数据库。

触脉致力于组织碎片化信息为有效整体,并构建清晰的数据轮廓及数据认知

使用产品

Related Products




T-Intergrater

数据管理工具

T-Intergrater可实现本地、外部云服务与Google产品和服务的数据迁移、同步与整合。
[查看更多]

Big Query

数据管理工具

BigQuery是Google 推出的可扩展性强、成本低廉的无服务器企业数据仓库。
[查看更多]

Cloud Storage

数据管理工具

Google Cloud Storage是Google为开发者和企业设计的统一对象存储系统。
[查看更多]

Google Analytics

数据监测工具

Google Analytics是Google推出的跟踪在线广告和用户行为的数据采集分析系统。
[查看更多]



主要优势

Main Advantages

business

强大的数据整合能力

无论结构化、非结构化还是半结构化数据,无论数据是否异构,无论是运营系统、应用系统还是分析系统,所有数据源都可做统一整合。

people

全过程自动化

整个数据整合过程都是通过定义好的配置文件,程序化实现的,全过程无需大量人工工作参与。

lightbulb_outline

数据质量保障

数据整合过程中,对于数据的来源、大小、记录数、时间、唯一值、数据依赖关系等通过多种自研方法和流程做有效控制及保障。

headset_mic

实时数据保障

根据数据源的数据生产特点,可实时/准实时同步数据,方便后期做流式计算或实时计算。





应用案例

Case Studies


消费品领域

Consumer Industry

某客户将Google Cloud数据自动化迁移到本地

某企业是一个全球性经营食品及洗涤用品事业的跨国集团,旗下的饮食策划事业群(下面简称该客户)主要负责通过对饮食类项目的策划,实现其食品相关商品、服务的推荐和售卖。该客户通过该解决方案,将在线流量跟踪分析系统中的特定数据导出,自动化同步到企业内部的应用和分析系统中,然后做后期运营活动效果评估、分析等。该解决方案有效帮助企业降低了人力资源的投入,提高了数据同步的效率和实时性,并将其自动化机制的二次封装,成为其他应用系统做开发的基础。