2024年7月1日后,Universal Analytics(GA3,以下统一简称UA)工具以及API都会停用且无法访问,且UA的历史数据将被从服务器端永久删除,没办法做数据恢复。所以在此之前,您必须要开始做好UA数据备份、数据整合和清洗。数据备份不仅仅是简单的数据迁移,它涉及多个部门的协作和资源整合,也可能会影响到企业未来的业务分析需求,建议尽快开始备份过程。
在当前海外市场进行数据运营的过程中,首先我们必须重视以下几个关键问题,以确保数据备份和操作的高效和合规:
- UA历史数据备份的截止日期:必须确保在6月30日之前完成UA历史数据的备份。目前,我们依靠Google Reporting API来完成这一任务。根据Google的官方通知,从2024年7月1日起,Reporting API也将不再可用。
- 进行数据备份前的业务评估:在备份数据前,进行必要的业务评估至关重要。举一个简单的例子,如果今年我们计划推出新产品,需要将其与去年推出的上一代产品的数据进行比较,那我们就需要把去年的数据拉出来和今年的数据做比对。如果我们没有提前针对历史数据做备份的话,那就没办法实现这个业务分析的需求。
- 遵循隐私合规要求:对于各位业务同事来说,在UA正式下线之前,我们要做的还不只是数据备份这么简单,而是同时要考虑清楚数据导出之后,存储在哪里?以什么样的方式合规存储?如果您的业务会涉及到全球,就必须要考虑备份的数据是统一都集中存储在某一个国家还是分散存储。
- 数据价值的实现:在完成数据备份外,同时也要让数据价值落地。目前,一些企业可能仅将数据存储在内部数据仓库中,但它其实只是解决了一个存储的问题,并没有解决数据价值落地的问题。例如,企业想把UA和GA4的数据集成到同一个看板上、基于某些我们选定的维度进行比较,或者在一些指定的分析场景下需要把两个不同的监测工具的数据放在一起去进行一些对比分析来评估我们的运营效果和业务复盘等等,这些都需要通过有效的数据管理和利用策略来实现。
简单总结就是,首先我们必须要做数据备份,在这个过程当中,我们同时要考虑到隐私合规,最后我们备份的数据要和我们现有的已经启用的GA4埋点数据要做衔接。在此我们也建议大家用一些相对比较轻便的方式去完成数据的一些整合和清洗的工作,比如基于UA+Google BigQuery这种方式来快速的实现数据的整合及清洗。
1、UA历史数据备份的关键点
在进行UA历史数据备份的全过程中,我们需要细致梳理和执行相应的步骤,确保数据备份的完整性和准确性。其中有几个非常重要的细节:
- 数据视图确认:首先,确定需要备份哪些UA数据视图。了解涉及的数据视图总数至关重要,因为数据导出是根据视图来划分的。若不确定具体视图,可以尝试导出默认的“全部网站数据”视图。
- 报表需求转化:了解业务方希望导出哪些报表,并将这些需求转化为具体的数据维度和指标。由于维度和指标的导出存在上限,必须验证所需维度和指标是否匹配。
- 使用BigQuery(BQ)的配置:使用BQ进行数据备份前,确认是否已启用所需的API,并明确数据存储的地理位置。由于不同国家的站点数据可能需存储在特定地区,建议与法务部门确认。如法务支持不足,可咨询触脉获得一些初步建议。
- 报表还原与验证:根据第一步确定的维度和指标,还原报表。可以通过自定义报告检查维度和指标的匹配性,抽样情况,以及API导出的数据与UA视图中创建的自定义报告的数据一致性。
- API操作熟练度确认:确认负责API调用的团队对reporting API的使用是否熟练,并确保API可以正常执行。
这些关键步骤旨在明确操作步骤,提升备份的效率和质量,同时确保符合业务需求和合规要求。
关于Google BigQuery(以下简称BQ)
简单来说,BigQuery是谷歌的一个线上的数仓工具。在进行UA数据备份的标准使用场景中,我们通常首先利用UA的Reporting API导出UA报表或数据视图中的维度、指标和其他期望字段,然后将这些数据同步到BQ进行存储。接下来的步骤是将这些已存储的数据在Looker Studio中进行可视化展示
对于出海企业来说,基于业务或营销需求会收集来自多个平台的数据,例如Meta、Twitter、Snapchat、TikTok以及Google Ads等。鉴于市面上提供多种第三方API工具,即便没有技术资源的参与,我们也能将这些数据直接同步到BQ进行永久存储。此外,企业还会定期从其他平台或第三方获取一些离线数据,这些数据可能是CSV或Excel文件格式,也可以直接上传到BQ中。
通过BQ不仅可以优化数据管理流程,还加强了数据的可访问性和实用性,提供了一个高效且灵活的数据处理解决方案。
2、如何确认要备份哪些报表?
在整个数据备份过程中,我们发现很多业务同事对于应该备份的数据报表存在很多不确定性。触脉比较建议大家可以遵循以下逻辑以确保全面性和有效性:
- 用户层级报告:备份涉及用户维度的报告,如用户数量、用户类型、使用设备、所在城市或国家等信息。这有助于了解用户的基本构成和分布。
- 流量报告:包括流量来源分析,如访问渠道、来源、媒介、关键词等。同时,也需要涉及到与流量商品相关的互动数据。
- 页面层级报告:特别关注那些关键的着陆页和大促活动页面以及其他重要节点页面。这类报告应包括页面访问量(PV)、页面停留时间、访问者每次访问的页面数量等指标。
- 电商数据:对于电商平台,需要备份包括订单数据、商品数据、站内促销活动、用户购物流程及结算流程等方面的报告。这些数据对于理解和优化销售漏斗至关重要。
- 非电商转化目标:对于非电商站点,可以关注的是如在线咨询客服、导航栏点击、注册和登录等转化事件,有助于评估和优化用户互动和转化效率。
3、为什么建议大家立即开始数据备份
我们在评估整个数据备份工作需要在什么时候开始时,需要考虑到几个重要的影响因素:
业务流程和制度
包括关于业务需求的确认、关于和GDPR、DMA以及其它法案把握的确认、关于BQ项目初始化和结算这些事情,对于企业来说并不是一件简单或者基础的事情。它其实是一个业务流程以及确定业务需求的一系列问题。如果您的公司规模大且制度严谨,那业务流程的一步步确认会需要更长的时间。
数据范围与量级
一般情况下,如果我们的网站不复杂的话,那么我们可能只需要导出一个原始视图的数据。但是对于出海企业来说,除了Global的汇总媒体资源外,同时又会分不同的国家地区,甚至在这个基础上再去细分不同的部门角色以区分媒体资源或视图。这样交叉下来会大大增加需要导出的数据的数量。
另外如果我们需要导出的数据时间范围跨度非常大,比如1年以上的话,鉴于API导出的限制,导出所有这些数据也需要大量的时间。
数据校验复杂度
数据导出这件事情并不是一件单纯依靠IT同学就可以完成的事情,这里主要会涉及一个特别关键的问题就是报表的拆分和校验。前面我们有提到UA报告导出时维度最多可选9个,指标最多是10个。如果我们导出的报表的维度和指标导出需求比较多的时候,势必要进行需要拆分。但是用什么方法去拆分、怎么确认拆分逻辑等这些流程和工作同样耗时且复杂。同时提醒大家确认拆分之后建议先做测试,测试之后才能确认我们的拆分是否正确。
4、我应该备份哪些历史数据?
基于我们已经完成的UA数据备份服务以及过往的服务经验,触脉团队已经精心整理出七大类报表,每类报表下再细分为具体的子报表,总共多至25份报表,均包含在我们提供的UA数据迁移备份服务中。
每份报表中我们已经把所有的字段细分成维度和指标,包括字段名和它对应的API的名称,IT拿到这些文档后可以直接去做开发。
除了这些预定义的报表以外,我们还可以支持用户自定义报告。因为很多客户在使用UA的过程中都会有一些自定义的逻辑,比如自定义维度,自定义指标,自定义事件等,这些自定义的数据都可以添加到报表模板中。
如果您的团队目前资源紧张、对数据备份的步骤不明确、不确定如何正确进行报告备份,或者在备份过程中遇到任何问题,都欢迎扫描文末的二维码联系我们的服务团队寻求帮助。
再次提醒大家,UA即将在约两个月后正式下线。如果您尚未开始数据备份,现在是采取行动的关键时刻。数据备份不仅仅是简单的数据迁移,它涉及多个部门的协作和资源整合,也可能会影响到企业未来的业务分析需求。所以强烈建议尽快开始备份过程。对于已经完成备份的情况,务必进行数据校验,以确保数据迁移和备份的准确性。未经验证的备份可能导致整个团队的努力白费,因此确保数据备份的正确性至关重要。
TRUEMETRICS(触脉咨询)成立于2012年。目前是 Google Marketing Platform(GMP)官⽅认证合作伙伴以及Google Cloud Platform(GCP) Resell 和 Service 认证合作伙伴。是更全面的OneGoogle生态(GMP+GCP两大核心平台)数据咨询服务及解决方案提供商,在北京、上海、深圳、香港、新加坡设立有分支机构。
我们的服务全面覆盖独⽴站、APP、⼩程序等终端的精细化数据监测以及⼴告效果衡量和数据应用。专注为出海品牌提供数据⼯具实施、数据培训、数据可视化、数据分析、数据集成咨询等综合解决方案;致力于为零售、⾼科技、消费品、游戏、航旅等行业出海提供数据护航。
如需业务联系或服务采购,您通过以下任一方式与我们联系:
- 电话:400-080-5098
- 邮箱:vip@truemetrics.cn
- 微信公众号:触脉咨询
- 微信客服:truemetrics_service