互聯網與計算廣告
1994年10月，互聯網廣告第一次出現在hotwired網站上，用戶點擊了該廣告之后，就會被引導到AT&T的網站上。從這之后互聯廣告開始蓬勃發(fā)展，可以說廣告業(yè)務支撐了整個互聯網的發(fā)展，沒有廣告業(yè)務也就沒有今天的互聯網。
廣告投放是將廣告與受眾的需求作匹配，這一點線下廣告與線上廣告并無二致。由于受眾需求的多樣性，如何準確地細分受眾的需求是廣告投放的核心命題。線下廣告只能通過媒體的不同、版面或頻道的區(qū)別等方式間接獲得細分的受眾需求。比如在一本計算機雜志上刊登Andrio開發(fā)培訓的廣告，在一部青春劇前播放健身房的廣告等。
很明顯，這樣匹配的準確率不會很高且在線下投放模式下無法優(yōu)化?？赐环蓦s志的消費者，總是看到同樣的廣告；電視廣告也是這樣。線下廣告始終無法逾越這個規(guī)律：同一媒體的受眾，不同的受眾面對的廣告也是相同的。廣告先于互聯網產生，不管是在吆喝、報紙、廣播和電視時代還是在互聯網時代，廣告的本質一直沒有變——企業(yè)傳遞給受眾的信息。既然是信息就有價值，不過該價值取決于信息的場景，當信息不在恰當的場景下，信息就成為了一種騷擾。可以認為傳統(tǒng)的線下廣告對很多人造成了信息騷擾，這也是很多人不喜歡廣告的原因。
互聯網和計算技術的發(fā)展使互聯網廣告具備了突破這一規(guī)律的能力，把廣告信息投放在恰當的用戶和場景下。第一、互聯網的用戶在網上留下了各種行為數據，廣告發(fā)布商可以據此利用統(tǒng)計及機器學習方法有效地將用戶進行分類，從而實現廣告受眾需求的細分；第二、廣告主或廣告發(fā)布商可利用這些用戶行為數據精準衡量廣告的投放效果，從而及時調整廣告投放，以達到某種目標（比如提升廣告匹配受眾的準確率，或者廣告發(fā)布商的收益等）。這兩點就是計算廣告的精髓。
但并不是所有的互聯網廣告都屬于計算廣告的范疇。上面提到的互聯網發(fā)展早期的廣告和一些固定位置投放的banner廣告，并沒有體現出上述兩個特點，因此與線下廣告投放無異，只不過是廣告的載體發(fā)生變化而已。
一般情況下，互聯廣告有4個參與方：媒體、廣告主、廣告網絡平臺、互聯網用戶。媒體通過內容吸引用戶，并且提供廣告位；廣告網絡平臺按照某種目標和規(guī)則分配廣告位給廣告主，收取費用并和媒體分成；廣告主提供廣告內容以及付費；互聯網用戶訪問媒體的網站內容，點擊感興趣的廣告并且發(fā)生購買或者增加品牌忠誠度等對廣告主正面影響的行為。這四個參與方各自有自己的利益訴求，此消彼長，計算廣告通過創(chuàng)造性引入各種模型、算法和機制實現廣告，場景和受眾的優(yōu)美匹配，實現多方的利益共贏。
這里給出業(yè)界對計算廣告比較公認的定義（Andrei Broder and Dr. Vanja，2011）：
計算廣告是為給定場景c下的用戶u找到一個合適的廣告a，以實現“最優(yōu)”匹配。（Find the "best match" between a given user u in a given context c and a suitable advertisement a.）。該定義中并沒有互聯網的概念。也就是說，如果地鐵里安裝某種裝置，可以識別通過的人群信息，然后經過計算切換或滾動出相應的廣告，那么這就是線下的計算廣告。
不過，計算廣告肇始于互聯網，而且至今互聯網仍是計算廣告的主戰(zhàn)場，所以本文仍主要關注互聯網中的主要計算廣告形態(tài)：搜索廣告、廣告網絡、廣告交易市場。
搜索廣告
當用戶在百度等搜索引擎進行檢索時，在搜索結果頁面上看到的廣告形式，稱之為搜索廣告。標準的搜索廣告樣式是文本廣告，由標題、描述和URL超鏈組成，與自然搜索結果類似。一般情況下搜索廣告會出現在自然搜索結果的上方或者右側。
搜索廣告對受眾需求的劃分是由用戶輸入的檢索詞為界限的，搜索引擎通過檢索詞觸發(fā)同一類廣告展現。這些廣告是廣告主事先提交關鍵詞和廣告創(chuàng)意存貯在廣告數據庫中的。由于搜索用戶的需求意圖比較明確，搜索引擎能更好的匹配廣告庫中的廣告，所以成為投放效果最好的一類互聯網廣告。
搜索引擎一般根據用戶點擊廣告的次數向廣告主收取費用，業(yè)界稱為按點擊付費（Cost Per Click，CPC）。
搜索廣告的技術主要體現在以下幾個方面：
（1）廣告觸發(fā)
廣告觸發(fā)，是指從用戶搜索的檢索詞（query）找到廣告主所購買的關鍵詞（keyword）集合，進而篩選出可以展現的廣告集合。在實踐中廣告觸發(fā)面臨的技術挑戰(zhàn)是在一個動態(tài)的廣告庫集合（廣告主可以即時增加、刪除和修改關鍵詞和廣告創(chuàng)意）上實現在線匹配（不能影響正常檢索需求，所以需要在毫秒級內完成）。從觸發(fā)的目標來看，廣告觸發(fā)匹配的是“人”的需求，而不是靜態(tài)的文檔，所以廣告主的體驗和用戶體驗都是必須考慮的因素。同時，還需要結合下面要提到的拍賣機制，最大化搜索引擎的收益。
推薦技術與檢索的思路近似。它們的區(qū)別是推薦滿足用戶的潛在需求，而檢索滿足用戶當下主動表達出的需求。比如當用戶搜索“比格自助餐”時，為其推薦“好倫哥”，甚至是“帶自助餐的KTV”。當然，推薦技術也常用于廣告觸發(fā)和匹配中，比如基于概率的主題模型（topic model）中的PLSA和LDA。
（2）點擊率預估
因為搜索廣告是按點擊付費的，且搜索結果頁上的廣告點擊率隨著位置的下降迅速減少，所以廣告點擊率預測的精準性對搜索引擎的收益影響至關重要。點擊率預估的基本任務就是給定一個組輸入（用戶查詢詞、廣告信息、用戶信息及其他上下文信息）來預測一個點擊是否會發(fā)生。
通常點擊率預估使用典型的機器學習技術。選定某個時期展現日志的數據作為訓練集，輸入一組特征X（包括查詢詞字面特征，廣告賬戶結構、創(chuàng)意特征及用戶的特征等）和樣本標注y（廣告是否被點擊），利用機器學習算法（比如SVM和LR等）輸出一個模型f，使得f(X)與y盡可能接近。
在實際的應用中，用戶的點擊數據非常稀疏且呈冪律分布的形式。這就導致通常的預估方法方差會很大，即使是充分多的歷史展現數據，也總有數據不充分的部分。一般會采用大量細顆粒度特征，精細刻畫CTR，像百度和Google這樣規(guī)模的搜索引擎一般會達到百億級別的特征。
除了使用傳統(tǒng)的機器學習模型，機器學習領域的新技術也開始應用到ctr預估這個領域，比如目前炙手可熱的深度學習模型。
對于那些歷史展現數據不充分的廣告，需要利用在線學習的方式，比如探索和利用（Explore-Exploit）的方法讓這些廣告有充分展現的機會。這種方法本質上是拿當前的短期收益去探索更好的廣告以換取更長期的收益。與典型的探索利用模型（多臂賭博機問題multi-arm bandit problem）相比，搜索里面的探索與利用問題更具有挑戰(zhàn)性：1、需要探索的廣告數量極大；2、每個廣告的點擊率會隨著時間環(huán)境的變化而變化。一般情況下，探索與利用的方案會損失平臺方的短期收益，而長期收益的影響很難評估。因此雖然這個問題很重要，目前工業(yè)界并沒有較好的解決方案，通常做法是開啟一小部分流量讓展示不充分的廣告獲得展示。
（3）拍賣與機制設計
廣告觸發(fā)解決如何篩選可展現的廣告，點擊率預估則對這些廣告的質量進行評判，搜索引擎還需要解決如何為這些廣告分配廣告位的問題。這就是機制設計的內容。
現在業(yè)界通常使用廣義二價（GSP: Generalized Second price）拍賣機制。該機制最早由Google于2002年使用。
什么是GSP機制？搜索引擎根據廣告主為每個關鍵詞的出價B和由預估點擊率形成的質量分Q來確定廣告的排序，具體來講，根據B×Q的大小依次在搜索結果頁面從上至下排列廣告。當用戶點擊某廣告i時，廣告主按下面的公式向搜索引擎支付：Bi+1×Qi+1/Qi。其中i+1是緊挨著廣告i下面的廣告。
這種機制并不是搜索引擎一開始就采用的。搜索廣告的先驅Overture采用的是廣義一階價格（GFP）拍賣。在完全信息的情況下，其在理論上沒有博弈的均衡，從而價格的波動性很大，搜索引擎的收益和系統(tǒng)的效率都不高。GSP機制存在博弈上的均衡，其在均衡的狀態(tài)下，是有效率的分配。
但GSP機制并不是能給搜索引擎帶來最大化收益的機制。在機制設計理論上，收益最優(yōu)的機制是Myerson機制，效率最優(yōu)（所有廣告主產生的價值總和最大）的機制是著名的VCG機制。實際的機制設計中雖然很少有采用這兩種機制的，但許多設計和研究都會涉及到它們。比如業(yè)界使用的GSP機制，其在博弈上的一組均衡收益不會低于VCG機制產生的收益。
這些機制設計理論往往有很多假設，比如廣告主是理性的，廣告主有著完全信息，這在實踐中會面臨不小的挑戰(zhàn)。搜索引擎常常會根據實際的廣告主行為，對機制進行相應調整，以適應環(huán)境的變化。另外搜索引擎為了提升自己的收益，常常會在現有的機制上加上保留價。例如Yahoo在2008年的時候實驗了Myerson的機制，并據此為每個關鍵詞設置了保留價，平均20美分，據持續(xù)觀測，08年第三季度保留價設置對營收的影響約為13%。
（4）反作弊技術
搜索廣告是按照點擊計費的方式，在這種情況下，不可避免的遇到某些點擊是無效的、惡意的，這些點擊對廣告主來說毫無價值，一般情況是競爭對手的惡意策略導致的。雖然惡意點擊在短時間內會提升搜索引擎的收益，但是廣告主的推廣滿意度和ROI會隨之下降，必然減少推廣投入，從而導致長期營收下降。因此把無效和惡意的點擊過濾也是搜索廣告生態(tài)圈里面重要的一個環(huán)節(jié)。反作弊技術也是通過機器學習或者統(tǒng)計模型識別有規(guī)律性的點擊攻擊行為，然后對這些點擊進行過濾。但是隨著作弊技術的發(fā)展，點擊攻擊的行為越來越不容易識別，此外有些攻擊是通過有組織的團體通過人工發(fā)起的，這些都對反作弊的技術提出了更高的要求。
廣告網絡（Ad Network）
搜索引擎解決了在線廣告市場需求面的問題（中小廣告主如何購買廣告位），在線廣告市場供給面的問題（中小網站如何出售廣告位）并沒有觸及。
實現聚合中小網站廣告位的是廣告網絡。這種網絡聯盟集中分散的廣告位庫存，開發(fā)分發(fā)廣告的投放引擎，使中小網站出售廣告位成為可能。
搜索引擎仍然是此種能力的最佳候選者：一方面搜索引擎是上網的入口，因此吸引了大量中小網站圍繞在其周圍以獲得流量；另一方面搜索廣告又帶來大量投放廣告的客戶，本身具有投放廣告的技術服務能力和營銷能力。搜索引擎天然就是廣告主和網站之間的一座橋梁。雖然最早的廣告網絡并不是搜索引擎首創(chuàng)，但最成功的廣告網絡毫無疑問應該是搜索引擎創(chuàng)造的。典型的就是Google的廣告網絡AdSense和百度網盟。
廣告網絡不僅可以為中小網站提供廣告變現的渠道，同樣可以為大型網站的長尾廣告位實現合理的收益。一個主流的新聞門戶網站包含眾多頻道，主頁或熱門頻道可以自己出售廣告位（比如主頁放置可口可樂的廣告，汽車頻道放某汽車品牌的廣告等）。但在一些位置不好，流量較少的頻道上，網站并不一定能隨時賣出去這些廣告位。于是，委托給這種廣告網絡也是一種不錯的選擇。
和搜索廣告的query定向不一樣，廣告網絡通過受眾定向的方式進行廣告匹配。常見的受眾定向方式有以下幾種：1、用戶重定向（也稱為再營銷）。所謂的重定向是將廣告信息再次推送到訪問過廣告主網站的用戶。2、上下文定向。對網站的內容和廣告的內容進行匹配，定位受眾。3、行為定向。按照用戶行為分析用戶的興趣愛好等，投放相關的廣告。4、按照人口統(tǒng)計學以及地理位置定向。從效果來看，用戶重定向的效果是最好的。目前這幾種定向方式普遍應用于Google的adsense和百度網盟。
受眾定向實際上就是對廣告主、用戶以及上下文進行打標簽的過程。這些標簽的功能主要有：（1）建立面向廣告主的售賣體系；（2）為點擊率預估模塊提供特征。
廣告網絡的技術挑戰(zhàn)可以用三個詞來概括：大數據，低收益率，用戶意圖不明顯。
大數據：廣告網絡通過cookie技術收集用戶的各種歷史行為數據，以及網站和廣告的各種特征數據，進行廣告匹配度計算，整體的數據量在P級別以上。
低收益率：相比搜索廣告，廣告網絡的廣告位較差，變現價值較低，因此更需要考慮單次廣告檢索帶來的機器成本等因素。
用戶意圖不明顯：相比搜索廣告，用戶在廣告網絡中沒有搜索Query來確定用戶的意圖，為了找到最匹配的廣告，需要收集大量用戶的歷史行為信息來挖掘用戶的意圖特征。
另外廣告網絡的出現和發(fā)展給網站帶來了許多收益管理問題：
廣告位是自己銷售還是通過廣告網絡賣出去？
如果網站與某些廣告主有擔保合約，即保證給廣告主約定的廣告展現數，違約會有相應懲罰。所以網站需要保留一定數量的展現機會給這些合約廣告主。這就要求網站能預估自己的流量和變現質量。
在市場上會有多個廣告網絡，每一家廣告網絡的廣告主類型和數量都不一樣，如果網站都要接入，就要考慮便利的管理和收益優(yōu)化。這需要廣告主了解每個廣告網絡廣告主的支付能力和分成比例。
解決這些問題是計算廣告學的任務。已經有一些公司專門為這些網站提供外包服務，除了收益管理的主要功能外，還為網站提供廣告投放管理和廣告業(yè)務分析等相關服務。
廣告交易市場（Ad Exchange）
廣告交易市場是交易廣告投放的場所，不過這里交易的不是廣告位，因為廣告位不是個標準化的交易對象。像股票交易所那樣把經營的企業(yè)轉化成股票去交易，廣告交易市場是把廣告位轉化成“有不同標簽的受眾”去交易，不同標簽的受眾如廣告網絡里面一樣。
假如一家主營家庭清潔護理產品的公司希望面向30-40歲的已婚女性受眾推廣他們的新產品便捷拖把。他可以在廣告交易市場購買標簽為“30-40歲，已婚，女性”的受眾。當有這樣一個受眾打開網站W查看天氣預報，網站W或者替網站W管理收益的第三方平臺首先判斷是否通過廣告交易市場出售廣告位。如果決定通過廣告交易市場出售，那么需要把受眾和頁面信息及最低的價格（通常是CPM）發(fā)送給廣告交易市場。
廣告交易市場獲得這個出售的需求后，確定將這一信息發(fā)送給哪些廣告主。通常接入廣告交易市場的是廣告主的委托代理人——需求方平臺（Demond Side Platform, 簡稱DSP）。DSP雖然類似于傳統(tǒng)廣告代理，但DSP是個技術導向的平臺，它的主要職能是為廣告主尋找物美價廉的廣告展現機會。
廣告主或DSP借助數據管理平臺（Data Management Platform，簡稱DMP）提供受眾標簽，了解這個受眾的基本屬性。然后返回廣告交易市場兩個信息：
我是否需要這次廣告展現機會
如果需要，我的最高報價是多少
廣告交易市場會收到多個DSP的報價信息，他通過既定的拍賣規(guī)則確定贏家，同時把贏家的廣告物料傳遞給這個網站W，網站則在既定的位置展現這個廣告，受眾就看到了便捷拖把的廣告。
上述過程經歷了網站W、SSP、Ad Exchange、DSP及DMP等多個信息平臺，通過精細的計算和拍賣，從用戶打開網頁開始到她看到廣告為止，業(yè)界的標準時間是毫秒級。
整個交易過程是通過實時競價RTB（Real Time Bidding）的方式進行的，是對每一次展示進行競價。廣告交易市場以DMP為重要依托，整合DSP、SSP進行RTB，從而實現各方資源的最優(yōu)配置。
這個過程涉及到廣告發(fā)布的多方利益，誰獲得的信息多，誰計算最準確，誰系統(tǒng)運轉良好，誰就能占據優(yōu)勢，這里同樣是計算廣告學的用武之地。
未來的挑戰(zhàn)與發(fā)展
計算廣告相關技術的進一步優(yōu)化。機制層面：“拍賣機制”是計算廣告的核心技術，目前的機制并不是激勵兼容的，廣告主要花很多的時間和精力在出價策略上，如果機制是激勵兼容的，廣告主直接出自己的心里估計就行，節(jié)省大量的人力和物力，因此如何設計一個簡單易于理解而且是激勵兼容的機制具有很大的挑戰(zhàn)性；
目前移動互聯網發(fā)展迅猛，越來越多的流量和用戶轉移到移動設備上。由于移動設備的屏幕較小，合理的出廣告,平衡網民、廣告主和媒體的收益在產品和技術上都有較大的挑戰(zhàn)。當然這里也有更大的機會，因為移動設備上有更多的特征可以定位用戶的興趣和愛好，與LBS結合，如何利用好這些特征，讓移動廣告發(fā)揮更大的價值也是未來有挑戰(zhàn)的發(fā)展方向。
計算廣告的隱私問題。除了搜索廣告之外，基于受眾定向的廣告匹配都比較依賴用戶cookie的收集和使用。目前國內沒有法律法規(guī)來規(guī)定cookie該如何使用，使用到什么程度，因此如何平衡好cookie的使用及隱私問題也是需要應對的一個問題。
多屏聯合投放問題。隨著越來越多的設備接入互聯網（電視、戶外電子顯示屏），如何在多個屏幕上統(tǒng)一的投放，優(yōu)化效果，也是未來的挑戰(zhàn)。
轉載來源：CSDN程序員雜志
