如何建立头条这样的数据驱动能力?
如果我们去通过谷歌的关键词趋势观察大数据的搜索热度,大概2009年一个起点,在2015-2016年达到峰值,然后逐渐趋缓降低一直到2019年的这个时候。
如果按照Gartner的经典技术市场化的观点来看,其实大数据这个技术热点已经经过了2次泡沫,并进入深入结合企业业务的业务价值期。
国内互联网最近几年格局变化中比较突出的几家企业,比如:字节跳动、快手科技、美团、拼多多等,每家企业都充分具备了这些以下的能力:
- 全域数据采集和外部数据合作
- 数据仓库和大数据平台建设成熟
- 数据团队职能和技术栈能力(运维、开发、产品、算法、分析等职能)
- 数据驱动和个性化服务能力
- 数据和AI支持业务(数据产品)能力:BI产品、标签平台、AB实验平台、推荐系统等
- 数据和AI支持营销能力:数据反馈、数据获取、数据预测等
- 数据变现及产品输出能力
这每一部分能力都和企业经营决策层对技术的理解能力有直接关系。
我不是说每个CEO都应该是技术出身,但是至少一个企业的负责人至少要做到可以在一定程度上对云计算和大数据的业务价值有正确的判断。
否则可能会导致这样的决策失误:
当然,一个企业在发展的过程中,会有一个通过人工手工统计数据,到使用高级的excel,在进一步利用SQL和统计工具做数据挖掘的过程,我们还经常遇到一些企业的财务人员也向我们咨询是否可以学习Python、统计学模型和机器学习基本理论的需求,但这些一线的从业者即便再努力,但如果企业的高层缺乏基本的数据驱动常识,那么企业的决策将继续由收入最高的人来做主要影响(也是前微软负责数据科学和试验决策的集团副总裁Ronny Kohavi一直提的HIPPO理论),那么就无法落地如阿里曾鸣教授在其著作中提到的阿里中台战略。
你可以关注公众号dtalks后,输入D来获得一份免费的D-Index数据能力评估报告。
企业的数据驱动和数据中台战略如何落地?
引用好友饿了么CTO张雪峰的一句话:
我个人的观点是:中台的需求和数据驱动是强关联的,而企业做不做得好数据驱动又是自动化、一定程度智能化的基础。其实许多机器学习领域的论文要早于大数据领域的发展,但由于借助互联网可以收集的海量数据和这些年算力的支持,才使得阿里和头条这样的企业有条件实现精准营销和个性化服务。
我定义这种工作模式叫企业的精益数据驱动,类似制造业得益于精益生产,本质上是尽可能去做到通过工具去解耦职能、提升效率和可量化甚至预测。
其实很多企业,特别近几年一些传统企业和银行的主要高层领导也在开始提Agile和敏捷开发这些概念,这其实是传统企业数字化转型的开始,只要想一想没有去IOE之前的阿里是多么痛苦就知道这些银行在开始迫于用户的转变而不得不开始线上业务所面临的同样问题之焦虑。
我更想提的一个话题是,如果阿里提出了中台战略,企业该如何应对?
技术栈的丰富并不代表用了大数据的技术,就可以实现精益数据驱动和中台战略。
第一个问题:哪些企业才需要做到精益数据驱动?
我个人的观点是只有哪些已经验证了PMF(产品市场匹配度),产品和业务获得了批量化用户的数据反馈并呈现上升趋势的企业,才需要开始考虑精益数据驱动。
需要考虑精益数据驱动的企业决策者有这样一些共同的特点:
- 流量在进来,也在流走,用户需求开始变得复杂怎么办?
- 想提升GMV,但是花了钱就上去,不打折就无效,如何解?
- 运营策略会议天天开,如何识别有效决策?
- 如何通过运营发现产品、业务和流程优化?
- 如何解决用户留存率始终在下降?到底要如何定义核心指标?
- 董事会要求我们年底KPI要过底线,如何避免做大量无效功能和活动?如何找到可以撬动用户自发增长的曲线?
这些特点我称之为进入增长期的“烦恼”,有能力解决得好的企业将快速将对手甩在身后,比如头条在北美推出的TikTok。
第二个问题:如何做到精益数据驱动?
我的好友光年实验室的张国平老师曾经举过一个如何通过挖掘上百万的关键词,以保证阿里国际业务平台可以通过没有人竞争的关键词去获取付费PPC广告流量的例子,这是在站外流量运营领域的经典做法(其实很多出海的企业很多做的不怎么样)。
我自己处理过的携程多语言业务APP和网站业务,以及后来创办DTALK这几年给不少互联网企业和传统企业线上业务部门提供数据平台和数据分析技术咨询,经常处理流量进入后的转化率优化和用户流失问题都属于数据驱动业务优化的范畴。
举一个我处理过的例子:
某电商企业遇到由于无法有效识别用户唯一性的问题,导致无法利用采集到的数据去建立全域用户生命周期模型。
大家都知道在出现APP和小程序后,用户行为在多设备端跳转的成为标配,cookie也无法作为用户的唯一识别方式(特别是广告行业利用DMP配合DSP买流量的cookie标示其实和甲方企业的的用户全局标示没有毛关系)。
所以该企业需要部署一整套涉及官网、移动站、iOS和Android的用户行为埋点sdk,主要用来解决:
一)渠道效果的监测和流量分析
- SEO/SEM(PC & Mobile)(App Link)
- 展示广告/DSP/再营销
- 合作伙伴/分销伙伴 Affiliate
- 社交媒体 Social Media
- 比价搜索 Meta Search
- 分类信息网站 Classified Information
- APP应用市场 APP markets
- 线下推广 Offline Campaign
监测工具的选择可以阅读我写的“2019网站与APP分析工具大全”。
官网、移动网站和APP的订单除了用户直接访问产生之外(即:直接渠道),其他比如各个搜索引擎广告、自然搜索、微信、比价搜索和分类信息等,其实都需要被清楚划分订单归属的渠道。项目开始的状况是有渠道的订单只占全部online订单的3%(比例非常低),大部分的渠道都没有被正确归类,导致影响营销部门的重要决策!
该大型电商对官网、移动站和APP订单渠道归属做大量的整理+修正后,有渠道的订单数已经上升到93%。
二)在数据采集和打通基础上,该企业需要具备类似天猫的人群运营能力
也就是在除了在流量和渠道分析能力之上,他们希望运营团队可以实现:
- 自定义dashboard报告
- 外部渠道归属报告 & 归因报告
- 每个用户的轨迹(人群画像)报告
- 站内个性化营销活动
- APP个性化营销活动
- 电子邮件个性化营销活动
- 人群定向的效果预估能力(算法支持)
- 实验和AB测试
这件事情的本质是要建立如下图所示的企业文化 职能设置和工作流程:
数据驱动的企业能力图
下面我们一个一个来说。
开放共享
数据的开放共享有2个层面的意思。
第一,企业内部需要建立一个数据开放共享的机制,在保证安全和权限合理设计的前提下,尽可能地向一线员工开放产品、运营和业务分析所需要的全域数据
第二,企业需要一个基本的员工招聘要求底线,比如小红书就要求所有运营岗员工必须熟悉SQL查询语法,必须入职后一定时间内熟悉内部的指标体系和取数规则(避免数据分析团队成为表哥)
特别是第二条的执行是否到位,将直接影响数据驱动决策是否可以落地。试想,如一个医院招聘的护士连打针都不会,难道让医生直接上吗?
先验测试和迭代学习
传统企业在进入互联网领域后会陷入一个误区。
比如某老牌房地产巨头会认为给一个商场配上一个网站或者APP,就等于互联网化了。
然后该公司老总和BAT的老板们也是酒桌上的好友,常常听了几句后,就认为这是转型的高招,马上去让团队执行。
前百度的首席科学家吴恩老师曾经跟一个公司的CIO聊天,这位CIO说,亚马逊有一个网站卖东西,我们也有一个网站卖东西,那我们是一样的啊。当然不是一样的,因为亚马逊(Amazon)是一个典型的互联网公司。
- 大量的A/B测试
- 迭代速度很快
- 工程师及产品经理共同进行决策
这里的最大的一个教训和需要深刻理解的是:
“互联网的用户和产品是非常复杂的,所以不能只依靠首席信息官(CIO)一个人决策,需要产品经理、工程师一起来做,因为他们更加了解技术和用户之间的细节”
AB测试也是数字营销(或者说流量拉新)上非常重要的一个技术手段,对于测试渠道x登陆页(含各种元素组合)的流程转化效果是必不可少的,甚至哈佛商学院专门就AB测试与创业企业健康增长做了相关分析(如下图)。
这里举一个我刚加入的“群响”这个流量操盘手社群的讨论来说:
马蜂窝的一位流量操盘手问:“谁了解携程和去哪儿在微信生态的布局?“
我的回答是:
“之前在携程负责数据驱动增长和数据模型,提供些个人观点。总的来说可以按照一个基本逻辑来理解内容在渠道之间分发的价值:大的信息入口仍然是关键词和社交关系链。从信息论的本质来说,由于搜索行为是用户主动输入长尾词,最大程度抵消了信息的不确定性。
所以任何搜索引擎(包括垂直搜索引擎)都是需要去做内容布局的。具体到技术上,其实大站的SEO项目的后台机制可以复用在微信小程序里(微信本身每天用户的搜索行为一样需要分发流量给相应的页面,默认搜索引擎是搜狗,所以我个人观点是尽量多基于关键词去把自己的APP尽可能多的做H5页面及小程序。另外一定要做好Mobile SEO和移动页面的性能优化,携程自己有很大问题的是很多页面还是PC页面(居然还出现在微信搜索结果点击后)。H5页是可以跳转APP的(做好内容的页面配置规则和schema对应)。
页面的转化效果要上AB测试,在流量增长的期间对文案、按钮和内容排序规则等进行试验。携程的优势是其实已经收购了去哪儿和Skyscanner,机票的上游入口优势。马蜂窝这块的内容其实搜素引擎喜欢的。”
下图是携程国际业务Trip.com用来做SEO项目的一个架构图:
携程国际业务SEO项目架构
大家可以去琢磨一下为什么是这样?其实互联网公司做SEO本质上是离不开海量数据处理和数据分析,就这么简单直接。
自助
企业内部设计开发的数据分析工具要让产品运营团队可以容易上手,并降低自助分析的难度。
这就诞生了一个刚需的岗位:数据产品经理。数据PM的需要有能力理解大数据技术栈的底层能力,并设计出可以实现具备图形化前端交互和高效数据处理运算能力的分析和运营工具。你可以关注公众号dtalks后,输入D来获得一份免费的数据能力评估报告。
数据领导性
数据领导性正好是HIPPO的对立面,也是头条、美团这样的企业非常领先的领域。
数据领导性体现在:
- 强调决策需要有数据依据
- 全面结合定量和定性数据
- 建立数据驱动产品和运营的企业方法论
- 把自有数据资产的建设放到企业战略任务级别
- 一个有利于数据团队发挥作用的组织架构
这里多说一句,组织架构的设计其实在很大程度上影响数据团队能否发挥价值。
特别是相当多的企业开始建立了大数据技术团队,但缺乏有效的数据产品规划,在运营团队直接背业绩指标,且人员水平参差不齐的情况下,直接会导致数据团队陷入数据报表的重复性工作,没有通过有效的系统释放运营方和数据算法方的生产力,并导致决策周期和数据反馈周期过长,乃至等不及有质量的数据洞察而匆匆作出有问题的决策,这样事情有太多例子。
多问好问
这个事情最好的解决方法是让数据团队有机会深入业务和产品规划工作中去提业务问题。
最悲哀的事情是业务增长团队和产品团队不相信数据团队提供的数据结论,而原因可能是几个指标的定义双方理解相差十万八千里(不排除双方知识结构的差异)。
由于数据团队处理的往往是抽象的数学模型,如果可以通过提问和共同解决业务问题的方式来设计算法和数据模型,只要指标体系定义清楚,则业务决策者会重新认识数据团队的价值,并一起并肩作战。
目标第一
很好理解,所有的业务和产品决策都应该有明确的指标度量来评估效果。
比如:点击率、转化率、若干天内核心行为发生次数(比如搜索和比价)等。
在一个小前台、大中台的企业组织架构里,往往是整个业务线(BU)里有业务、产品、运营和数据(独立或者非独立)共同背负一个核心的业务指标(比如GMV),只要整个团队对于背负的KPI有合理的分拆和结构化优化目标,就可以有效做出决策。
数据理解和洞察
当有了大数据平台,获得了来自渠道、用户行为、业务和更多来自用户的数据后,最关键的就是如何通过数据挖掘和分析,理解数据背后对用户的洞察。
对用户的洞察这件事不是很多传统企业认为的“数据大屏”,比如每天有多少人下单、每小时有多少用户在登陆和发布评论。
数据洞察的关键任务是要通过数据抽象出每个用户的属性和特征,并把这些信息标签化后沉淀在类似数据标签平台这样的数据资产系统里,并可以支持企业的精准营销、客户价值评估、流失预警、交叉销售和风险控制等核心业务运营。
联系我们来建立你的数据驱动能力