- 在线广告:互联网广告系统的架构及算法
- 张亚东
- 15519字
- 2021-04-02 06:07:41
第1章 在线广告发展简史
1.1 在线广告发展简介
广告,即广而告之,是为了某种特定的目的,向公众传递信息的宣传手段。自古有贸易就有广告,贸易越发达,广告的形式和内容就越复杂多样。随着互联网的兴起,网络上聚集了越来越多的人群,更多的贸易也开始在网络上进行。到20世纪90年代,在线广告应运而生,它虽然只有几十年的发展历史,却已经成为最重要的广告形式之一,且仍然在高速发展中。
1.1.1 中国古代的广告
图1.1 印刷广告
来源:中国历史博物馆.中国古代史参考图录:宋元时期[M].上海:上海教育出版社,1991.
中国古代酒家门口挂的幌子,上面画着一个酒壶或者写一个酒字,告诉南来北往的客人店里有酒,这就是一种最基本的广告。它通过幌子作为媒介,目标客户是南来北往的客人,展现场地在店门口,如果路过的客人看到了幌子,知道店里有酒卖,就有可能进店喝酒,幌子起了宣传的作用。店家如果运气够好,碰到一个有名气的诗人,为自己的店铺或者商品作诗一首,通过口口相传,更远的客人也会慕名而来,收益自然越来越多。更有甚者,若能让皇帝试用,再为商品赐一个名或者成为皇家御用,产品自然就更不愁卖了。这都是我们比较熟悉的一些例子,名人和皇帝的行为都起到了推广的效果,也算一种形式的广告。
人类使用广告的历史非常悠久,我国现存最早的印刷广告是北宋时期济南刘家功夫针铺的广告铜板。如图1.1所示,铜板四寸见方,上面雕刻有“济南刘家功夫针铺”的字样,中间是白兔抱铁杵捣药的图案,在图案的左右各有四字:“认门前白”和“兔儿为记”。在铜板的下半部刻有说明商品质地和销售办法的文字:“收买上等钢条,造功夫细针,不误宅院使用;客转为贩,别有加饶。请记白。”该铜板现存上海博物馆,是迄今为止所发现的世界上最早的印刷广告品。
1.1.2 在线广告的诞生
使用印刷术和纸作为媒介的广告,在当时是一种非常先进的广告形式。在漫长的历史长河中,伴随着商业的发展,广告也一直走在技术变革的最前沿。随着互联网的诞生,在线广告也应运而生,这是一种通过互联网作为媒介向潜在消费者传递营销信息的一种广告形式。可追溯的最早的网络推广发生在1978年5月3日,是DEC(Digital Equipment Corporation)的市场营销人员通过当时的网络电子邮件系统Arpanet,向美国西海岸的用户发送的一个有关计算机模型的广告。这次网络推广的效果非常好,这种形式的广告迅速被大面积效仿,演变成为后来的垃圾邮件(Templeton and Brad,2008)。
1991年第一个网页诞生,它是一个解释什么是万维网的网页,图1.2是该网页的一个截图。万维网是一个具有划时代意义的创新,从此开启了互联网时代。此后,万维网作为新事物渐渐被公众所熟悉,使用的人越来越多,人们在电视、报纸等传统媒介上花的时间逐渐减少,在网络上花费的时间开始逐渐增多。
图1.2 万维网的一个页面
一开始用户在网络上浏览网页是免费的,网站的所有者需要寻求额外的收入来源,以支持他们的内容生产,这便是互联网时代在线广告产生的内驱力。1993年,第一个可点击的广告被网景公司卖给了硅谷的一家律师事务所,这是一个文字点击链接,是世界上第一个超文本链接广告。1994年10月14日是在线广告史上具有里程碑意义的一天,美国著名Hotwired杂志推出了网络版Hotwired,并首次在网站上推出了在线广告,这立即吸引了AT&T(美国电话电报公司)等14个客户在其主页上发布Banner广告(横幅广告),第一个广告投放的是AT&T的广告,如图1.3所示。值得一提的是,由于用户对新鲜事物的好奇,当时的广告点击率高达40%(Templeton and Brad,2008)。
图1.3 早期的Banner广告
这种形式的广告,不仅点击率很高,也让精确统计曝光和点击成为可能,这个特点非常重要。美国百货商店之父John Wanamaker有句话流传很广:“我知道在广告上的投资有一半是无用的,但问题是我不知道是哪一半。”此前,虽然可以对比企业在不同广告作用下的整体营收差异,但想精确统计哪些花费对最终的转化有作用,几乎是不可能的。而在线广告的诞生,给广告效果统计带来革命性的改变。由于广告由程序控制,系统可以精准记录广告的曝光和点击次数,记录用户浏览和点击的详情,从而就可以辨别哪次广告曝光引发了用户的点击,我们对广告如何影响转化有了更深入的了解。
1.1.3 搜索广告的诞生和发展
1990年,第一个搜索引擎的雏型Archie出现,用在FTP服务器上。8年后,Go To.com推出了搜索引擎竞价排名业务,采用PPC(Pay Per Click,按点击付费)的广告模式。2000年下半年,Google推出了AdWords广告(Google Launches Self-Service Advertising Program,2000),并且随后又推出了基于用户竞价和广告质量度的排序分配方法(Jansen et al.,2008)。自20世纪90年代后期开始,随着网站数量的急剧增加,市场对搜索引擎的需求更加凸显,市面上逐渐出现多家搜索引擎。
图1.4是搜索引擎的收入链示意图。搜索引擎需要不断优化搜索的自然结果,吸引用户使用,用户会在多家搜索引擎中选择最能满足需求的那一个。搜索引擎的用户多了,流量达到一定的量级,才会有广告主愿意来投放广告,从而获得收益。流量越多,系统的收益也越多。这些收益可以再投入到自然结果的优化工作中,通过更加优质的内容来吸引更多用户使用。这样的相互作用也驱使广告系统不断地优化广告投放效果,在竞价机制设计、CTR预估、定向投放等领域不断改进,以获得竞争优势。
图1.4 搜索引擎的收入链示意图
最初,在线广告的转化效果很好,广告主愿意接受按广告投放时间或者按广告展现次数来计费的广告模式。但随着在线广告越来越多,用户对在线广告不再好奇,广告的点击率和产生之初时相比下降了很多。广告主开始深入思考广告和企业营收之间的关系,以及广告效果如何精确衡量,并寻找更加直接衡量广告效果的方法。与此同时,随着对用户行为的深入分析,广告系统设计人员发现不点击广告A的用户,可能点击广告B,不同用户对广告的点击偏好不同。如果能根据用户的喜好,只投放给他们可能会点击的广告,那么同一时间段内,流量可以同时售卖给多个广告主,不仅可以保持整体的广告效果,系统也增加了收益。于是,网站和广告主协商,对广告按照点击次数收费,这样,网站可以将流量卖给更多的广告主,而广告主也乐意为更直接的效果付费,双方都更愿意接受这种新的模式。1996年,PPC结算方式首次被Planet Oasis网站提出,后来Go To.com引入竞价模型,使用的也是PPC。到1997年,DoubleClick已经开始提供CPA(Cost Per Action)的定价方式,广告按照每一次行动付费,例如用户在广告主网站上发生注册、下载等行为后广告主才需要支付广告系统一定的费用,广告效果衡量更加直接。
1.1.4 社交和视频类广告
社交网络在在线广告的发展历程中也扮演着非常重要的角色。从1997年第一个社交媒体Six Degrees.com建立以来,不同种类的社交应用层出不穷。2004年,Facebook建立,最初只是简单地在首页投放展现广告,服务校内大学生和本地商业机构。后来,随着企业规模的扩大,为了获得更多的收益,Facebook推出了CPC和CPA的广告产品。2006年,Facebook对外开放,用户数量暴增,便推出了更加友好的Feed流广告,同时也进一步挖掘了社交媒体的定向潜力,建立基于用户社交网络行为的社交图谱,在用户的定向能力上不断突破。现今,社交网站上广告业务的市场已经非常大。
视频类广告也是非常重要的在线广告类型,2002—2008年,全球视频广告逐渐兴起。2005年,YouTube建立,从2006年便逐步开启视频的商业化道路。这期间,中国国内也出现了很多视频类平台,都在不断探索新的广告样式和商业化模式。同年,YouTube为了鼓励优质内容的生产,启动了合作者计划,优质内容可以获得平台收益的分成。当时土豆网也发起过类似的计划,2006年3月,土豆网民可以申请Toodou Ad计划,可以获得原创视频的广告收益分成。2008年后,各种视频广告标准陆续制定,视频广告行业的发展更加规范。
1.1.5 Ad Network的诞生
1995—1998年,网络技术、语言以及应用大量出现,eBay、Amazon.com、Google等公司也在这期间相继成立,形形色色的网站不断涌现。从1998年10月起,网络经济纳斯达克指数一路上扬,持续攀升,至2000年3月10日,纳斯达克指数突破5000点大关,并创下5132点的历史最高纪录。网络经济如日中天,网络公司越来越多,数以千亿计的资金流向网络市场。截至2000年12月31日,中国已经有可上网计算机约892万台,CN下注册的域名122 099个,www站点约265 405个。然而,大量的网站却没有自己的广告投放平台和客户,网站亟待解决盈利问题。
于是,约在1995年,Ad Network(在线广告联盟)产生了。它联合有广告投放需求的中小网站,统一管理它们的广告位,作为这些网站的代理,与广告主接触,协商一个大家都愿意接受的价格,并建立对接的标准,愿意接入的网站和媒体都可以按照标准接入,成为它的一部分。当网站有流量到达的时候,如果有适合投放的广告,Ad Network就会将广告返回给该网站,广告主付费后,网站和Ad Network按一定比例分配收益。Ad Network的出现,解决了大量网站流量变现难的问题。它快速发展,规模越来越大。因为有大量优质垂直站点的加入,Ad Network成为与主流大网站不同的优质流量来源,广告主也越来越多。Ad Network让广告行业的整体投放效率大大提升。
1.1.6 Ad Exchange和TradingDesk
2005年,市场上已经有很多家Ad Network,但每家接入的标准和定价都不同,拥有的广告位资源也有差异。部分Ad Network虽然有比较优质的广告位资源,却没找到合适的广告主,导致这些优质资源卖不出好的价格。有些Ad Network由于没有适合投放的广告位,导致广告效果欠佳。于是诞生了Ad Exchange(互联网广告交易平台),它作为广告位资源和广告主需求对接的一个自由交易市场,网站、Ad Network、广告主以及管理广告主广告的代理都可以接入。Ad Exchange最大的改变在于它的定价机制,对每一个可以售卖的流量都通过竞价的方式售卖,价高者得,实时售卖并实时完成投放。定价不再由每家Ad Network来做,而采用更合理的方法,让市场自身来决定广告位的价格,机制更加透明。Ad Exchange进一步提升了广告主和媒体之间的匹配效率。
2005—2010年,全球的四大媒体——报纸、杂志、广播和电视的广告市场份额逐渐减少,迅速崛起的在线广告由于成本低、效果易监控等特点获得广告主的青睐。2010年,美国在线广告的市场规模达260亿美元,中国在线广告的市场规模也达到了325.5亿元。市场的持续扩大,带来更精细的划分,DSP、SSP、DMP相继出现。DSP(Demand Side Platform)为广告主服务,对接RTB(Real Time Bidding)实时交易平台,通过算法帮助广告主提升广告投放效果。SSP(Sell Side Platform)是对网站的广告位资源统一管理的系统,站长们也可以在SSP上管理自己的广告位,进行相关的设置,实现流量的程序化售卖。DMP(Data Management Platform)是数据管理的平台,收集整理各种对广告投放有帮助的数据,其中的用户数据是精准投放必不可少的重要资源。
随着在线广告整体市场的进一步扩大,精准投放技术快速发展,程序化广告市场越来越繁荣,提供自由交易平台的Ad Exchange、专注于做算法的DSP、提供数据管理和数据分析的DMP公司、程序化创意公司、广告监测公司等在其中各司其职。由于程序化广告转化效果好,价格相对低廉,传统的品牌广告主也尝试投放程序化广告,之前负责对接品牌广告的4A公司开始自己或者找乙方DSP公司、数据公司来完成甲方的品牌广告投放需求。不同的DSP公司擅长的领域和已经服务的客户差异很大,每家公司都有自己擅长的广告业务,所以多数情况下,4A公司会找几家DSP公司对比试投,将业务交给投放效果最好的那家。然而,这部分工作非常费时费力,于是作为DSP上游的TradingDesk应运而生,它作为对接广告需求和程序化广告各细分领域的中间代理,提供统一的程序化交易采买,提升它们的对接效率。品牌广告市场巨大,跨屏、无缝投放等各种各样的投放需求种类繁多,整合能力较强的公司已经开始进入TradingDesk。
1.2 移动广告的发展
移动领域是互联网中一个全面繁荣、新鲜事物不断产生的领域,移动广告在在线广告中占的比重越来越大,目前势头正劲。我们无法将移动广告发展中所有的重要事件一一列举出来,这里通过一小部分重点事件来说明移动广告发展的主要趋势,图1.5是移动广告发展历史中的重要事件。
早在1938年,美国贝尔实验室就为美国军方制造出了世界上第一部无线电话。然而,直到1973年4月,摩托罗拉工程技术员Martin Cooper才发明了世界上第一部推向民用的手机,他也因此被称为现代手机之父。1993年,中国出现了第一部移动电话,当时手机仍然是少数人才能拥有的奢侈品。1999年,摩托罗拉推出了第一部智能手机,手机的功能有了更大的想象空间。此后的几年间,移动网民的数量与日俱增。2007年,中国手机网民已经达5040万。特别值得一提的是,这一年iPhone手机问世,新颖的触摸方式和手机应用开始引领新的生态。2008年,第一部Android手机由HTC制造出来。今天再回头看,这些事情影响之深远,远超当时的想象。
图1.5 移动广告发展重点事件
在移动设备更新迭代的同时,移动网络也在快速发展。2009年,中国进入3G时代,网速变快,移动体验得到巨大的提升,移动用户激增,移动互联网进入黄金发展期,这一年,中国移动用户已经达2.3亿。移动用户的快速增长也给广告带来了巨大的市场空间。2010年,第一台iPad诞生,惊艳的外观和全新的体验再一次刷新普通用户对移动设备的认知,此后,各种类型的移动设备如雨后春笋般涌现,并走进千家万户。移动端产品区别于传统的PC端,体积小,用户可随身携带,也可随时使用,移动网民的用户行为因此呈现出碎片化、多场景化的特点。PC端的上网场景相对比较局限,而移动端几乎在任何地方都可以连接到网络,因此诞生了大量全新的移动应用。无聊的时候,可以在任何地方打开新闻客户端,浏览新闻事件;可以打开社交网站,浏览朋友发的最新动态。抵达一个陌生的地方,可以定位当时的地理位置,寻找周边的美食。当然,也可以随时和网友来几局游戏。用户每天频繁地在各种移动应用间切换,时间分散到了不同的应用中。
随着移动设备和移动网络的不断发展,移动广告市场的快速发展也是大势所趋。但是移动端的屏幕较小,不同应用有不同的布局,直接把PC端的广告搬到移动端,体验会非常差。如PC端非常流行的Banner广告,在移动端就会显得非常突兀,移动端的屏幕较小,加入Banner广告后会严重影响用户的阅读体验。原生广告的出现逐渐解决了这个问题,它可将广告以更原生的形态集成到应用和内容中,作为内容的一部分,对用户的干扰大大降低。从2012年原生广告概念(Native Advertising)被提出至今,仍旧没有一个具体且权威的定义来描述它。正如它所呈现出的多种形态和多种样式一样,原生广告本身更像是一种理念和思维。IAB(美国互动广告局)在2014年发布的《原生广告手册》中提出了较为标准的描述:原生广告是与页面内容紧密关联、融入于整体设计且与平台行为一致的广告,以致用户感觉广告属于产品的一部分。信息流广告是其中不得不提的一员,早在2006年,Facebook就推出了信息流广告,应该算是最早的信息流广告了。2011年,Twitter推出了信息流广告,2012年,新浪微博也推出了信息流广告。这种广告以原生的状态融入到用户产品中,对用户的干扰很小,非常适合移动端,得到了大面积的推广,传统的门户网站、今日头条等信息流产品、百度等搜索类产品以及社交类软件中都开始出现信息流广告的身影。2016年,国内信息流的广告市场规模已经达到308亿元。
2000—2007年,电商的经营体系也在逐步完善,网民渐渐接受网购。2010年,支付宝推出了快捷支付功能,银行卡只要绑定了支付宝的快捷支付,就能脱离网银在支付宝直接完成支付,这是客户体验的巨大提升。这期间,一些线下的知名商家开始逐步向线上迁移。2014年春节,微信支付利用红包把移动支付的普及度推向前所未有的高度。对于大量不愿意尝试移动支付的客户群来说,用微信抢红包的过程也是绑定银行卡和学习收付款的过程。移动支付的普及带来了移动端交易的繁荣,2015年,移动端的交易规模占比已经超过PC端,移动电商广告已经非常重要。2016年,电商广告规模首超搜索广告,移动端成为最大的贡献者。
移动游戏的用户规模与网民发展趋势类似。2008年,中国移动游戏用户规模为1000万。到2013年,游戏用户的规模已经达到3.1亿,并保持持续高速增长。2017年,中国移动游戏的用户规模已经达到5.54亿,移动游戏是网民消耗时间最多的领域之一。移动游戏市场的繁荣带动了游戏广告市场的一路飙红。
截至2011年,全球Android平台已经发生近70亿次App应用下载,其中仅有9500万次是付费应用,占比仅为1.35%,苹果的平台上也只有14%的应用是付费应用。网民更愿意接受免费的应用服务,应用必须寻求其他方法实现流量变现。激励广告就是其中的一种方法,例如游戏类应用的开发者可以把这类广告集成到应用内部,玩家可以通过播放广告获得额外的生命或者提升角色的力量,这样普通用户更愿意接受,也为开发者提供了更多的收入来源。
2016年,移动设备在线视频的消费量首次超过了非移动设备,而且,两者的差距还在大幅拉大。短视频就是其中一个热点领域,有希望成为新的超级社交入口。2016年,抖音上线。2018年7月,抖音的全球活跃用户数就已经超过5亿,成为市场营销的又一重要场地。
各种O2O模式的移动应用,提供基于LBS的优惠信息推送服务,通过信息化技术把供需双方更好地结合在一起。对于线下提供服务的商家而言,用在线的方式推销自己可以改善自己的营销模式,增强商家自身品牌宣传力度,也加速了商品的销售,实现品牌与效益的双赢,因此广受商家青睐。
“金钱跟着眼球走”,移动端的广告也顺势发展,2017年,全球移动广告支出首次超过PC。虽然移动广告发展迅速,市场规模也越来越大,但用户的时间分散到多种场景、多种应用之中,移动互联网就像一个浩瀚的海洋,广告主在其中投放广告如同漫天撒网,这些现状对广告系统提升投放效率、精准投放、跨设备、跨场景的投放都提出了全新的挑战。于是便出现了移动广告联盟,这些联盟不断努力解决和优化这些问题。在国内,2011年百度的移动应用联盟上线,腾讯的广点通移动应用联盟也在2013年上线。
移动端多个领域全面繁荣,是一个新场景和新技术频繁出现的领域,且仍然在高速发展中,除了以上提到的领域外还有很多重要的营销领域,例如社交类、搜索类、工具类都是移动广告营销的重要场地。如何整合流量、寻找最合适的样式和创意、通过数据驱动定位目标用户来提升整体营销的效率,依然有很长的路要走。
1.3 搜索广告和定价模式
图1.6展示的是搜索广告(Sponsored Search)和其中定价方式发展历程中的重要事件,1994年,Hot Wired推出了第一个Banner广告,由AT&T(美国电话电报公司)投放,该广告按时间售卖,3万美元投放3个月,从此拉开了在线广告的序幕。
图1.6 搜索广告和其中定价方式发展中的重要事件
网络搜索早期,网站通过<META>标签注释网站的主要内容,包含网站内容的核心关键词。搜索引擎也通过网站<META>标签中的内容来检索网站内容,有些网站为了在排名上超过其他网站,会针对性地设置里面的关键词,有些甚至是虚假的,导致搜索结果中相关性更好的结果反而排名较低。更严重的是,一些类似色情网站的不良站点也开始滥用标签中的关键词,很多不相关查询都可以检索到色情网站。后来,为了解决这一问题,Go To.com对搜索量最大的前1000个查询的搜索结果进行了人工整理,这一操作也激发了后来搜索广告的诞生。
搜索引擎在引入搜索广告之前,主要依赖Banner广告获得盈利,但系统设计者会陷入两难境地,他们既希望用户可以尽快地到达搜索结果的落地页面,寻找到需要的信息,同时又希望用户长时间停留在网站中,以便看到更多的Banner广告,而两者又是相互矛盾的,让系统的设计者非常头痛,直到付费搜索的出现,才算解决了这个问题。
同时,广告主开始思考一个最基本的问题:用户是否会因为Banner广告进入自己的网站,广告效果如何精准衡量?并寻找更加直接的衡量方式。1996年,PPC结算方式首次被Planet Oasis网站提出。随后,Open Text推出了一个新颖的广告产品,网站拥有者可以付费将自己的网站插入到某些关键词的搜索结果中,定价方式为PPC,按照点击付费,这被认为是第一个基于关键词的付费广告。1997年,中国第一个Banner广告出现在Chinabyte.com上。1997年3月Chinabyte.com获得第一笔广告收入,是IBM为AS400的宣传支付的3000美元。
最开始,PPC广告的价格是固定的,平均每次点击的价格为0.005~0.25美元,转化效果很好,价格又相对便宜,越来越多的广告主投放这种形式的广告,竞争也出现了。为解决竞争问题,也为进一步提升收入,1998年Go To.com推出广义一阶拍卖(GFP)的广告,出价最高的广告主获得第一个位置,出价第二高的获得第二个位置,以此类推。如果用户点击了广告,系统就向广告主收取该广告的竞拍价格,GFP使得广告平均点击价格达到了1美元。广告点击率的预估变得更加重要,广告只有被点击,系统才会有收益。如何精准地预估点击率或者寻找出用户最有可能点击的广告成为系统提升收益的一个增长点,该问题也是在线广告的一个经典问题,现在还在被持续探索研究着。
随着在线广告的发展,市面上存在定价方式不同的多种广告产品,广告主通过估算每次点击的费用(eCPC),可以衡量CPM和CPC之间的效果差异,然后选择eCPC最低的广告产品。但是由于eCPC逐渐升高,且用户的点击行为和广告主关心的最终转化仍存在一定距离,广告主开始更关注广告对最终转化的影响。1997年,DoubleClick提供了CPA的定价方式,按每一次行动付费,例如,只有广告导致了购买或者注册行为时广告主才需要付费。
20世纪90年代后期,网站数量急剧增加,用户对搜索引擎的需求日益凸显,广告主在搜索引擎的推广力度也进一步加大。当时,市场上存在多家搜索引擎,广告主选择在哪几家搜索引擎上投放广告,判断的核心依据是网站流量大小和广告效果。搜索引擎为了获得订单,不断努力优化竞价机制、定价模式,提供更多的定向条件来满足广告主的需求。同时,也需要不断改进搜索引擎的自然搜索结果,自然结果是否能够满足用户需求,决定着网站流量的大小,进而影响广告主是否会来投放广告。
机制设计是其中最重要的一个优化方向,解决如何给广告排序以及如何收费的问题,广义一阶拍卖(GFP)存在不稳定的情况,例如对于某一个广告位,竞拍成功后,广告主A可以通过它获利1元,广告主B可以获利0.75元,如果没有竞拍成功,他们的收益为0。这样A最多愿意出价1元,而B最多愿意出价0.75元,出价再高,就算竞拍成功,支付系统费用后也不会有收益。假设竞价系统设置的最低出价为0.1元,参与竞价的广告主最少出0.1元才能竞拍。最开始,B出价0.1元,A只需要多加一点,出价0.11元就可以获得广告位,这是A的最优出价,这样收益最大。同样,B为了获得广告位就会加价到0.12元。获得广告位才会有收益,他们会不断重复下去。最后,当B出价到0.75元后,就不再愿意继续增加了,这个时候A可以继续出价到0.76元,得到位置。这时B会退出竞争,将竞拍价格设置为0.1元。由于广告主的出价即是需要支付给系统的费用,这个时候A如果调整出价到0.11元就可以获得位置,便可获得更大的收益。于是,A会继续降低竞拍价格,而一旦竞拍价格降低,又会开始新一轮的竞争,如此循环往复。广义一阶拍卖的不稳定,对系统的长期收益也有损害。
2002年2月,Overture(前身为Go To.com)首次推出了二阶竞价拍卖,收取的费用为排名下一位广告主的出价上浮一点,解决了广义一阶拍卖的不稳定性,这是拍卖机制发展过程中的里程碑事件。此后,大量的研究人员投入到如何设计最优的拍卖机制中,希望设计出稳定、激励兼容、效益最大化的机制。然而,现实困难重重,随着大家对机制的逐渐熟悉,出现一些非预期的策略行为,例如Gap Jamming(Brandt and Weiss,2002),排名第二的广告主不断试探价格,直到刚好比第一名低一点,这样第一名就会以较高的成本获得竞拍,从而更快地消耗掉所有的预算。
2002年5月,Google上线广义二阶竞价拍卖,使用PPC(之前都是使用PPM)的定价方式,并引入了基于质量的二阶竞价拍卖,排序的模型为Q×bid,其中Q为CTR和其他质量因子的组合,包括对作弊行为的惩罚、落地页内容质量等。Yahoo 2007年在GSP中也引入了质量因子。
2003年,Google推出了Adsense,普通网站可以根据网站内容和受众做广告定向,然而也导致了大量点击欺诈行为的出现。网站主为了广告收益而故意人为地点击或者机器点击,搜索引擎中广告主之间恶意点击以消耗竞争对手的预算,从而降低市场竞争等都是比较常见的欺诈行为。2005年,点击欺诈行为开始被关注,Google广告系统上线了监测和阻止欺诈行为的功能。
对于营销人员来说,如何设置竞价策略也是一个重要的问题。在某个词下如何出价,以及在什么词下出价,不同的策略最后的收益差异很大。同时,如何将有限的预算分配到不同的投放策略中也极为重要。为此,2003年,Google发布了Google Analytics,方便广告主更好地跟踪广告的详细信息。
随着市场竞争的加剧,广告推广的费用也相应提升,无论是广告主还是广告系统的设计者都在考虑如何提高广告的投放效果。2006年,MSN推出新的功能,可以根据用户历史行为定向潜在的购买者,然后推荐最合适的广告。
2009年,移动互联网的应用不断增加,Google收购移动广告公司AdMob,开始将重点放在移动广告的解决方案上。之后随着点击价格的持续上升,广告主开始注重优化转化率。2010年,Google推出了Remarketing功能,进一步提升了广告的精准定向能力。2012年,Google的收入超过500亿美元,其中95%来自广告。
搜索引擎需要不断地提升收益,广告主需要尽可能地降低投放成本,普通用户需要得到满意的用户体验,广告系统中,无论是产品的交互、机制的设计、效果因子的计算还是不同定价模式的产品演变都是围绕着这三方的博弈在不断向前发展着。
1.4 社交媒体广告
社交网站是当今互联网中一类非常成功的应用网站,除了能让人们彼此联系和分享信息外,也为企业提供了一个可以精准触达巨大人群的平台。第一个社交网站是诞生于1997年的Six Degrees.com,它允许用户建立自己的个人资料,也可以查看好友的资料,建立的初衷是为了帮助人们互相联系和彼此发送信息,但是由于没有合理的商业模式,2000年就关闭了(Todi and Mrinal,2008)。
随后,在2001年,以帮助人们建立专业联系的社交网站Ryze.com诞生。紧接着,类似的网站Friendster、Linked In和Tribe.net也相继建立。2003年,音乐类社交网站MySpace建立。2004年2月4日,Zuckerberg创建了Thefacebook,至2004年年底,就已经拥有了100万的学生用户。2005年,网站正式改名为Facebook。YouTube等其他网站也随后建立,并且迅速拥有了庞大的用户群。截至2007年,Facebook、MySpace和YouTube三家公司就拥有1.61亿独立用户,相当于当时所有美国在线用户的2/3。由于社交媒体可以获得大量的用户信息和个人兴趣,为广告更加精准的定向投放提供了非常好的平台,逐渐受到广告主的重视。
2004—2010年,Facebook、Twitter、Pinteres和Instagram等大量的社交网站建立,目前Facebook已经是全球最大的广告公司之一。接下来通过Facebook的广告发展史来了解社交网站的广告如何发展变化。
最开始,Facebook推出了一个名为Flyers的功能,可以让学生和本地商家按照每天10~40美元不等的价格在首页发布一个展现广告,这也是Facebook当时最重要的收入来源。后来它将Flyers升级为Flyers Pro,推出了基于CPC的竞价模式,并且增加了性别、年龄、地域、教育状况等一系列定向条件。Facebook的第一个大客户是赌博公司Party Poker,它通过CPA的形式购买广告,为每个在赌博账户至少充值50美元的新用户支付300美元,这个订单让Facebook每个月可以赚60 000美元。2005年,Facebook迎来了另外一个大的广告主Apple,Apple愿意为自己群组中每个成员每个月付费1美元,用户的增加为Facebook带来了一大笔收入。
2006年,Facebook开始对所有年满13周岁的人开放使用,快速增长的用户数量吸引大量公司积极寻求和Facebook合作。为此,Facebook推出了Banner广告和付费链接广告。2007年,Facebook推出了移动版本,对小屏幕的阅读体验做了专门的优化。2008年,任何一个商业实体都可以在Facebook上免费创建一个主页,可以在主页做广告来推荐自己的商品。同时,移动端增加了可以评论好友状态的功能。Facebook逐渐发现了社交媒体的广告优势,不断地升级定向功能,推出语言和地理位置的定向等功能。
2010年,Facebook开始推出移动App。2011年,用户在News Feed中可以看到广告,并且广告主可以选择突出显示用户的某些操作。2012年,Facebook首次推出了移动端的广告,并且开始逐步建立用户的社交图谱,用户在社交平台上的行为都会被记录进入社交图谱,用于后期的兴趣定向。随后Facebook推出了自己的Ad Exchange平台。
2013年,定向技术进一步提升,Facebook先后推出了Lookalike功能和Retargeted功能,前者可以让广告主找到和指定用户相似的用户群体,后者可以针对老客户精准定向投放。
国内的社交媒体也在快速发展,早在1999年,腾讯就推出QQ。2005年,人人网的前身校内网成立,仅比Facebook的成立晚一年。2008年,开心网成立。2009年,新浪微博成立。2011年,腾讯推出微信,并在2013年腾讯广点通和微信共同推出公众号广告。现今,社交媒体广告的价值已经被国内外营销人员所认可和重视。
2006—2007年,戴尔的市场份额因受到惠普和联想的激烈竞争而下降。为此,戴尔希望推出更加环保的产品,让企业的形象更具社会责任感,以此来恢复形象,提高盈利。戴尔在Facebook上创建了一个艺术应用程序,用户可以设计和提交自己的作品,题目为“绿色对你意味着什么?”用户在创建和提交作品的时候,都会有戴尔的标记展现,以此让用户将戴尔和绿色环保联系起来。这个活动并没有直接做广告,但是它依赖用户数量超过800万的涂鸦社区,通过口口相传,取得了非常好的推广效果。
口口相传被认为是社交媒体营销的一大利器。用户会选择忽略网站和应用中的广告区域,却愿意相信来自朋友、家人、粉丝以及社区其他人的推荐,基于口口相传的营销模式也不断被探索。国内外社交媒体公司都在尝试和电商平台合作,希望打通从社交到购买的所有触点,以便提供更加高效的营销模式。
1.5 视频广告
1941年5月2日,美国联邦通信委员会向电视台颁发了商业许可证。同年7月1日,Bulova以9美元的价格,向纽约市的全国广播公司NBC旗下的电视台购买了棒球赛播出前的10s,内容十分简单,一支Bulova手表显示在一幅美国地图前面,搭配公司口号“美国以Bulova时间运行”,这被认为是第一个合法的电视广告。在随后的几十年里,视频类型的广告效果逐渐被认可。
互联网产生后,在线视频类广告的规模不断扩大,2017年视频广告的支出达到119亿美元。YouTube作为全球最大的视频类网站之一,它的广告类产品变迁从某种程度上反映了全球视频类广告的发展变化。下面本书整理了YouTube广告类产品发展历史中的部分重要事件,从中可以了解视频类广告的发展趋势。
Paypal的三位员工——Steve Chen、Jawed Karim和Chad Hurley一起出去吃饭,Karim通过数码相机记录下了一些当时的情景。后来Karim试图与朋友们分享视频,但是发现互联网上并没有非常方便的途径,便萌生自己搭建一个网站来分享视频内容的想法。于是YouTube.com在2005年2月15日诞生了,同年得到Sequoia Capital的投资。2005年12月正式推出,当时每天有大约800万的视频被观看。
一开始YouTube发展并不是很顺利,2006年2月,由于视频的版权问题,NBC要求YouTube撤下NBC公司的视频内容。2006年8月,YouTube推出品牌频道和PVA(Participatory Video Ads),品牌频道允许公司创建自己的节目来积累观众并且用户可以对视频进行转发、评论等。YouTube的价值开始被版权方重视,逐渐有公司和它寻求合作。10月9日,Google以16.5亿美元的价格收购了YouTube网站。
2007年8月,YouTube推出In Video广告,可以将一个图片广告显示在YouTube视频播放器的底部,用户播放视频的时候,就能看到广告。同年12月,YouTube推出合作伙伴计划,视频的创作者通过在平台发布视频内容,可以通过广告和订阅的分成获利。这一阶段产生了大量的网红歌手,例如大家比较熟悉的贾斯汀·比伯,他童年时期在剧场门口进行音乐表演,积攒了一些人气。2007年年底,为了让一些不能出席他表演活动的家人和朋友看到自己,他和母亲在YouTube上上传自己的视频和翻唱的歌曲。一年之后,他现在的经纪人无意中看到这些视频,并很快带他和R&B歌手亚瑟小子签约。如今,贾斯汀·比伯已经是美国的当红歌手,在最近几年福布斯公布的30岁以下的名人收入排行榜上一直保持着前10的成绩。
2008年,YouTube推出Insight工具,视频创作者可以看到如观看时间、流量来源等更加详细的视频信息。同年10月,YouTube推出Click-To-Buy的电子商务平台,通过YouTube的精彩内容吸引用户,用户可以在该平台轻松地点击购买一些产品,例如歌曲和电影。
随着视频平台广告的崛起,相关部门也推出了相应的视频广告标准,以规范行业发展。2008年,IAB推出了视频广告标准VAST。同时年11月,YouTube推出前贴片广告。2009年IAB推出了交互式广告的标准。同年11月,YouTube推出可跳过的前贴广告。
2010年3月,YouTube推出移动广告。同年,获得印度板球超级联赛的转播权,开始进军直播市场。一年之后的4月,YouTube上线了自己的直播平台。之后,YouTube不断细分视频市场领域,推出有针对性的产品,希望不错过任何拥有大量用户的市场热点。2012年1月,YouTube每日视频观看量已经达到40亿次,美妆、段子手、游戏等很多领域的博主都在YouTube上取得了成功。
在中国,2002年,CAS为电影《英雄》做了30s的宣传片,被业内认为是中国首个网络视频广告。2005—2006年,中国视频类网站激增,这些早期的视频网站,都分别进行了各具特色的在线广告探索。2008年,中国网络视频用户规模已经达到2.3亿,广告市场潜力巨大。2009年,中国网络视频广告行业因监督更加严格而变得日趋规范。同年,国家加大了网络视频内容版权的监控,网络视频的发展也越来越规范。
这期间,广告从业者和研究人员对视频广告的时长、投放方式、内容创意以及效果衡量等方面做了大量分析。移动互联网的发展,让用户每天要面对多个屏幕,时间进一步被瓜分,如何对合适的人在合适的时间投放合适的内容成为视频类广告的主要算法思想。同时,广告数据欺诈行为也开始受到广泛关注,直到今天,这个问题依然存在。
1.6 在线广告优势
在线广告相对于传统广告有很多优势,下面介绍几个最具代表性的优势。
(1)触达全球所有用户。全世界所有的计算机网络通过统一的通信协议连接到一起,无论在什么国家什么地区,冲浪的人都可以在同一个页面浏览同一条新闻,也可以在同一个网站讨论同一个话题,甚至可以成为朋友,互联网打破了地理位置的限制。网络中各种服务都是通过机器来提供,机器可以24小时不间断地工作。因此,对于广告主来说,网络是一个不受空间地理和时间限制、可触达全球用户、传播范围广、广告影响力大的媒介。
(2)互动性更好。在线广告除了曝光广告本身的创意外,往往都可点击,如果用户对广告内容感兴趣,通过点击广告就可以了解更详细的信息,甚至可直接完成购买。广告形式可以是图片、文字、视频或者声音,样式更加丰富,部分广告还支持互动和转发。这些特点让广告和普通用户的距离更近,体验更好。
(3)精准定向。在线广告可根据各种用户信息来定向用户,从而进行更加精准的广告投放。例如搜索引擎广告系统支持只有当用户搜索“鲜花”的时候才投放“鲜花快递”的广告,广告主也可以把自己的“宠物”类广告,只投放在网页内容和“宠物”相关的网页上,这些操作都能让广告主避免不必要的浪费。在线广告系统一般也提供基于地理位置、人群统计画像、兴趣、时间、设备等更多种类的定向条件,广告主可以实现更精细的定向投放。
(4)效果可以追踪。传统的电视广告和杂志广告无法跟踪到广告的具体效果,无法衡量效果就无法做更多的优化和改进。而在线广告,可以收集用户更多的信息,广告的曝光、点击、购买、转化都能被记录下来。用户在广告主网站内部的行为数据也可以整理成更形象的数据呈现给广告主,广告主可根据这些信息来设置投放计划,并且可以通过线上的对比实验来不断改进广告投放的策略,从而在预算固定的情况下取得更好的ROI。
(5)广告主发布广告更容易,价格更低廉。传统的广告媒介,如电视、报纸等,广告的制作成本高,时间周期长。如电视广告片的拍摄,需要在作曲、演奏、配音、剪辑、合成等多方面投放大量的资金,且一旦发布就很难修改。而在线广告制作广告创意的要求相对较低,普通的非专业人士都能快速制作出一个满足标准的广告,广告发布后也可以修改,有些系统甚至支持随时修改。另外,网络可以接触到比传统媒体更庞大的受众人群,但价格却比传统媒体低很多。
(6)更多的广告主可以使用。传统媒体一般非常昂贵,并非所有的广告主都可以承担,而在线广告价格相对低廉,不同的广告主可根据自己业务的利润空间来选择不同的广告产品,并且很多广告平台几乎没有消费下限。在线广告也可以按照广告的效果付费,广告主只有在广告有效果的时候才支付一定的费用,这样更多中小广告主可以更放心地投放在线广告。
(7)未来发展空间巨大。社交网络的广告让普通用户和广告进行更多的互动,用户可以转发、评论、点赞和关注广告,广告除了本身的效果外,也会有社交加成效益。如果用户关注了广告主的账号,那么后期广告主就可以和对品牌感兴趣的用户做更多的互动交流,广告的收益是持续的。广告样式也有很大的改进空间,例如较新出现的用户可以玩的广告形式,用户体验可能会更好。用户的定向技术也在不断迭代改进中,在预算固定的情况下,可提供更好的广告效果,甚至在整个营销链路上都能对广告主有所帮助。并且,互联网不断有新应用和新技术产生,VR技术、人工智能技术都会给在线广告提供新的投放场景和更多的想象空间。
1.7 在线广告规模
2016年,中国在线广告市场规模达到2902.7亿元,同比增长32.9%。2017年中国在线广告市场规模达3828.7亿元,预计到2019年中国在线广告市场的规模将突破6000亿元。在经过多年的高速发展之后,未来两年在线广告市场规模仍将保持较高水平,但增速将略有放缓。
随着中国移动互联网的快速发展,移动广告也迅速崛起。2016年,中国移动广告市场规模达到1750.2亿元,同比增长率为75.4%,发展势头依旧强劲,增速远远高于在线广告市场增速。2017年第二季度,在移动广告市场上,阿里巴巴、百度、腾讯收入占比达76.3%,市场集中趋势明显,预计到2019年可以接近80%。其中阿里巴巴的收入占比最高,其次是百度,腾讯第三。阿里巴巴主要围绕电商生态展开,通过大数据算法不断驱使转化率的提升,百度主要收入来源是搜索类营销,腾讯则是以社交为中心的泛娱乐产业。
在2018年中国互联网大会上,中国互联网协会发布的《中国互联网发展报告2018》显示,截至2017年底,中国网民规模达7.72亿,手机的网民规模达7.53亿,手机已经成为最主要的上网工具。伴随着用户注意力向移动端的转移和精准化投放技术的升级,移动广告的投放效率将不断提高。未来几年移动广告在整体在线广告中的占比将持续增大,预计2019年该占比将接近80%。
参考文献
BRANDT F, WEISS G, 2002.Antisocial Agents and Vickrey Auctions [J]. Intelligent AgentsⅧ, 2333:335-347.
BRIGGS R, HOLLIS N, 1997.Advertising on the Web: Is there Response Before Click-through? [J]. Journal of Advertising Research, 37(2): 33-45.
Commercial Advertising in China [EB/OL]. [2017-08-06]. http://depts.washington.edu/chinaciv/graph/tcommain.htm.
FAIN D, PEDERSEN J, 2006.Sponsored search: A brief history [J]. Bulletin of the American Society for Information Science and Technology, 32(2): 12-13.
Google Launches Self-Service Advertising Program [EB/OL]. [2017-06-13]. http://googlepress.blogspot.com/2000/10/google-launches-self-service.html.
History of Monetization at YouTube [EB/OL]. [2018-08-02]. https://sites.google.com/a/pressatgoogle.com/youtube5year/home/history-of-monetization-at-youtube.
JANSEN B, MULLEN T, 2008.Sponsored search: An overview of the concept, history, and technology [J]. International Journal of Electronic Business, 6(2): 114-131.
Keyword Advertising [EB/OL]. [2018-08-17]. https://en.wikipedia.org/wiki/Keyword_advertising.
Marketers Think the 6-Second Pre-Roll Spot Is the Best Digital Video Ad Format [EB/OL]. [2018-08-06]. https://www.adweek.com/tv-video/marketers-think-the-6-second-pre-roll-spot-is-the-best-digital-video-ad-format/.
MCAFEE R P, MCMILLAN J, 1987.Auctions and Bidding [J]. Journal of Economic Literature, 25:699-738.
MSN Adds Behavioral Targeting To Search [EB/OL]. [2018-08-17]. https://www.mediapost.com/publications/article/47728/msn-adds-behavioral-targeting-to-search.html.
TAVOR T, 2011.Online Advertising Development and Their Economic Effectiveness [J]. Australian Journal of Business and Management Research, 1(6):121-133.
TEMPLETON B, 2008.Reflections on the 25th Anniversary of Spam [EB/OL]. [2017-06-14]. http://www.templetons.com/brad/spam/spam25.html.
The History of Facebook Advertising [EB/OL]. [2017-08-15]. https://blog.hubspot.com/marketing/history-facebook-adtips-slideshare.
The History of Online Advertising [EB/OL]. [2018-08-17]. https://www.adpushup.com/blog/the-history-of-online-advertising/.
The History of Social Networking [EB/OL]. (2014-08-04) [2017-08-06]. http://www.digitaltrends.com/features/the-history-of-social-networking.
This Is the World's First TV Ad [EB/OL]. [2017-07-12]. https://mashable.com/2013/08/01/first-tvcommercial-bulova-video/#RWkb TQp KCkqG.
TODI M, 2008.Advertising on Social Networking Websites [J/OL]. Wharton Research Scholars, 52. [2017-08-12]. http://repository.upenn.edu/whartonresearchscholars/52.
CNNIC年中报告:移动端全面吞噬PC,互联网向农村渗透,社交网络大迁徙[R/OL].[2018-08-16]. https://36kr.com/p/213953.html.
IAB:2017年全球数字广告市场达到880亿美元,同比增长21%[EB/OL].[2018-08-02]. http://www.199it.com/archives/722518.html.
2009年中国正式进入3G时代[EB/OL].[2018-08-17].http://tech.qq.com/a/20090909/000253.htm.
2017中国移动游戏市场发展报告:收入超千亿,用户数达5.5亿[R/OL].[2018-08-17].http://www.sohu.com/a/214642671_115479.
2018年我国移动广告行业市场份额、收入规模及未来增速分析[EB/OL].[2018-08-08].http://free.chinabaogao.com/chuanmei/201803/0363233932018.html.
2018年全球移动视频广告支出将达180亿美元[EB/OL].[2018-08-15].https://www.digitaling.com/articles/39203.html.
宋乐怡,宫学庆,张蓉,等,2013.在线广告投放系统及技术的演变[J].上海:华东师范大学学报(自然科学版),3:107-117.
史上最全最详细手机发展史[EB/OL].[2018-08-17].http://www.sohu.com/a/204850736_257861.
手游收入去年首超PC主机游戏[EB/OL].[2018-08-07].https://top.sina.cn/zx/2017-07-14/tnewsifyiakur8930565.d.html?vt=4.
支付宝大事件[EB/OL].[2018-08-07].https://ab.alipay.com/dashiji.htm.
中国网民已达7.31亿,2016年互联网的最全分析在这里[EB/OL].[2018-08-08].http://tech.ifeng.com/a/20170122/44535194_0.shtml.
全球安卓APP付费下载仅1%移动广告成救命草[EB/OL].[2018-08-08].http://tech.qq.com/a/20111123/000295.htm.
抖音全球月活跃用户数突破5亿[EB/OL].[2018-08-07].http://finance.people.com.cn/n1/2018/0717/c67737-30153417.html.