Big Query
数据管理工具
BigQuery是Google 推出的可扩展性强、成本低廉的无服务器企业数据仓库。
[查看更多]
方案概述
Solution Summary
数据整合方案包括基于Google 360的云数据整合方案、Google Cloud Storage云整合与存储方案、Google Cloud数据本地化迁移与整合方案和企业大数据本地化整合解决方案四部分。前三种方法可实现任何本地、云数据源与Google相关数据源的打通、迁移与整合，并且整个过程都是自动化实现的。企业大数据本地化整合解决方案可实现将所有企业相关的数据，都整合到企业私有云或内部大数据平台，整个过程都以后期数据应用为导向。
业务痛点
Issues & Problems
card_travel
数据口径不一致
在企业内部不同部门都拥有自己的运营系统，由于运营需求的差异，可能存在对同一对象的不同描述以及数据结果。这导致了后期在做数据分析、评估、应用和计划时产生莫衷一是的结果，并且数据给业务部门的认可度、价值度及公正性会大打折扣。
trending_up
数据安全性低
不同部门对自身的数据分散管理，可能涉及到不同层次、角色和能力的人员参与，这会导致企业的数据安全处于巨大的不确定性之中。其中可能会涉及到权限、任务、出口、访问限制、传输、分享、加密、备份、容灾等多个环节，有一个环节出现问题就会导致企业数据风险危机。
lightbulb_outline
缺乏统一数据视图
企业的数据决策通常建立在对各个环节的统一跟踪、标记、分析和认知之上，但由于缺乏统一的数据视图和管理，导致对企业内部各个环节的认知缺乏完整性和一致性，给决策带来巨大的盲目性，这通常是数据决策失败最主要的因素。
方案内容
Solution Contents
基于Google 360的云数据整合方案
基于所有在线流量的数据整合服务，满足多种数据源的接入，包括GCS（谷歌云存储）、其他谷歌营销平台工具（例如Google Ads, Display & Video, Google Play, YouTube等广告投放和管理服务数据）、可读取数据源（例如本地文件、）、流式数据（例如流式日志）、网站/APP/H5/AMP等数据（例如通过Google Analytics采集到的数据）。这些数据都以Google big table做结构化存储，并可通过Google BigQuery工具执行数据检索、分析、建模任务（新增数据库建模能力），完成数据后期应用。此方案尤其适用于海量数据的OLAP及数据库建模处理。利用触脉研发的独有工具，可实现数据自动化、批量化的程序化运作。基于客户需求，云数据整合方案也可通过协同有效开展工作。
Google Cloud Storage云整合与存储方案
本方案侧重于将更多数据源整合（如AWS、阿里云等各种云服务，企业内部数据环境）至Google Cloud Storage（简称GCS）中，并基于GCS技术进行数据构建、测试、分析处理；企业更可直接利用Google的机器学习和深度学习能力，构建完整的数据应用循环体系。这是真正利用Google强大的云服务支持实现大数据应用的起点。除了支持Google结构化表格格式文件，GCS亦支持如图片、视频、半结构化和非结构化文本等其他类型的数据文件，此方案能够充分满足数据存储需求，以及后期构建基于海量、多类型、复杂数据运算的需求。基于触脉研发的独有工具，所有数据的整合过程都符合安全性、高效性及自动化性标准。
Google Cloud数据本地化迁移与整合方案
很多大型企业有数据存储于企业环境之外的情况，例如广告投放数据、广告跟踪数据、网站用户行为数据等。针对这样的情况，触脉提供Google Cloud服务体系内托管数据的迁移服务，即将这部分数据迁移至企业本地环境。此迁移过程可实现自动化执行，具备高度准确校验机制，并能够保证所有数据的安全传输性。实现迁移之后的数据可作为企业大数据整合研究及应用的基石，保证数据应用链条的完整性。触脉深刻理解谷歌云服务的数据流转过程及企业需求，并能够将原始Google的数据存储形态，以匹配企业整合及应用需求的形态做转换，实现在线数据到本地数据的无缝对接与整合，包括：Google数据仓库建模、Google数据映射与转换、Google大数据存储设计、Google异构数据源同步与质量校验等。
企业大数据本地化整合解决方案
大数据整合是企业开展大数据工作的基础。触脉作为行业知名数据咨询公司，在电商、零售、电子商务、航空、外贸等领域参与并见证了众多企业的大数据发展历程，其中不乏行业领军品牌，在为这些企业服务的过程中，触脉积累了深厚的行业大数据处理及应用经验。这些实践经验，可以与众多合作伙伴及客户共享。此解决方案从企业大数据发展战略出发，涵盖从产品设计、制造生产、渠道拓展、销售至售后的全业务环节，覆盖会员体系管理、营销运营、采销、客服、广告投放、物流到仓储等多部门体系数据库，针对企业不同数据源的特点及部门需求，把脉各个数据源的质量，采取有效措施实施数据规划，数据清洗及数据质量提升，最终形成整合的、高质量的、面向主题，解决企业发展问题的，并以分析和应用为导向的企业大数据库。
主要优势
Main Advantages
business
强大的数据整合能力
无论结构化、非结构化还是半结构化数据，无论数据是否异构，无论是运营系统、应用系统还是分析系统，所有数据源都可做统一整合。
people
全过程自动化
整个数据整合过程都是通过定义好的配置文件，程序化实现的，全过程无需大量人工工作参与。
lightbulb_outline
数据质量保障
数据整合过程中，对于数据的来源、大小、记录数、时间、唯一值、数据依赖关系等通过多种自研方法和流程做有效控制及保障。
headset_mic
实时数据保障
根据数据源的数据生产特点，可实时/准实时同步数据，方便后期做流式计算或实时计算。
应用案例
Case Studies
消费品领域
Consumer Industry
某客户将Google Cloud数据自动化迁移到本地
某企业是一个全球性经营食品及洗涤用品事业的跨国集团，旗下的饮食策划事业群（下面简称该客户）主要负责通过对饮食类项目的策划，实现其食品相关商品、服务的推荐和售卖。该客户通过该解决方案，将在线流量跟踪分析系统中的特定数据导出，自动化同步到企业内部的应用和分析系统中，然后做后期运营活动效果评估、分析等。该解决方案有效帮助企业降低了人力资源的投入，提高了数据同步的效率和实时性，并将其自动化机制的二次封装，成为其他应用系统做开发的基础。