下圍棋、玩德州撲克，大家看到的往往是AI風(fēng)光的一面。殊不知訓(xùn)練AI往往卻要靠人工提供獨(dú)特的數(shù)據(jù)給它學(xué)習(xí)。由于最近YouTube爆發(fā)了在宣揚(yáng)暴力的視頻旁邊放置廣告的風(fēng)波，使得《連線》把目光瞄準(zhǔn)了訓(xùn)練AI的一個(gè)幕后的臨時(shí)工群體。而這個(gè)群體的處境有可能會(huì)對(duì)AI的品質(zhì)造成不好的影響。
每天，在美國(guó)各地，那些替Google工作的人都會(huì)登錄進(jìn)自己的計(jì)算機(jī)開始觀看YouTube，為的是找出視頻里面的暴力。他們從視頻標(biāo)題里找出帶有仇恨的語(yǔ)言。他們決定某個(gè)視頻剪輯應(yīng)該分類為“攻擊性”的還是“敏感性”的。他們是Google所謂的“廣告質(zhì)量評(píng)估師”，是由外部代理商雇傭的臨時(shí)工，作為判斷機(jī)器還沒有辦法自行做出判斷的彌補(bǔ)措施?，F(xiàn)在Google顯然迫切需要這些人的幫忙。
YouTube，這個(gè)Google旗下的視頻巨頭，每天都要在網(wǎng)站播放的數(shù)百萬(wàn)視頻當(dāng)中穿插廣告。自動(dòng)系統(tǒng)確定這些廣告在什么地方出現(xiàn)，廣告主往往并不知道自己的廣告會(huì)出現(xiàn)在哪一個(gè)視頻的旁邊。最近這種不確定性已經(jīng)給Google惹來了大麻煩。在多份報(bào)告披露Google允許在宣傳仇恨和恐怖主義的視頻邊上放置廣告之后，該公司已經(jīng)在接受審查。諸如沃爾瑪、百事可樂、Verizon等廣告主以及范圍更廣的Google廣告網(wǎng)絡(luò)已經(jīng)摒棄了這個(gè)平臺(tái)。
Google極力淡化這次事件，說媒體夸張了攻擊性視頻旁邊放置廣告問題的嚴(yán)重性。該公司說：標(biāo)記視頻收到的“印象占比還不到廣告商總印象的1/1000”。Google的CBO Philipp Schindler則強(qiáng)調(diào)問題僅影響到“非常非常少量”的視頻。但廣告評(píng)估師說公司正在集結(jié)他們以防問題變?cè)恪?/p>
“我們非常清楚在評(píng)估內(nèi)容的時(shí)候，人類的眼睛，還有大腦都需要審慎的思考。”前廣告評(píng)估師。
由于Google 90%的收入來自廣告主，所以它需要防止定向廣告到攻擊性視頻造成更多的損失。但用戶每天上傳的新視頻長(zhǎng)達(dá)60萬(wàn)小時(shí)，這需要一座小型城市規(guī)模的人夜以繼日的處理才能看完。所以搜索巨頭才會(huì)強(qiáng)調(diào)，開發(fā)出可標(biāo)記日益增多的攻擊性視頻的人工智能內(nèi)容過濾器是很難的。Schindler說：“這個(gè)問題無法由人來解決，也不應(yīng)該由人來解決。”
問題是公司仍然要靠人來訓(xùn)練AI。于是Google仍然要依賴一群工人去識(shí)別和標(biāo)記攻擊性材料，然后把這些作為AI的訓(xùn)練數(shù)據(jù)。但據(jù)一些廣告評(píng)估師透露，由于Google跟他們的溝通不暢，再加上這份工作的不穩(wěn)定性，導(dǎo)致了他們沒有辦法把工作做好。而這個(gè)就會(huì)影響到AI識(shí)別的精確度。
人類任務(wù)
技術(shù)公司雇傭內(nèi)容版主由來已久，隨著大家上傳和分享的內(nèi)容越來越多，這項(xiàng)工作對(duì)于互聯(lián)網(wǎng)巨頭也變得愈發(fā)重要。Google的廣告評(píng)估師工作可不僅僅是監(jiān)控視頻。他們還要讀評(píng)論區(qū)標(biāo)記出用戶爆粗的言語(yǔ)。要檢查Google廣告網(wǎng)絡(luò)服務(wù)的各種網(wǎng)站，確保符合公司的質(zhì)量標(biāo)準(zhǔn)。他們還要按照零售、新聞等目錄對(duì)網(wǎng)站進(jìn)分類，并且點(diǎn)擊廣告鏈接看看是否有效。同時(shí)正如他們的名字所示那樣，他們還得對(duì)廣告本身的質(zhì)量進(jìn)行評(píng)價(jià)。
今年3月，在廣告商的抵制下，Google讓評(píng)估師把其他工作都先放到一邊，去執(zhí)行一個(gè)“高優(yōu)先級(jí)的評(píng)估項(xiàng)目”。新項(xiàng)目意味著這群評(píng)估師幾乎所有的精力都要集中在YouTube上面——檢查視頻內(nèi)容，或者整個(gè)頻道，看看有沒有一系列可能因此廣告主反感的東西。這是一個(gè)很大的變化。
而且評(píng)估師稱，從自己手頭的工作量來看，數(shù)量和速度的優(yōu)先級(jí)要比準(zhǔn)確性更高。在某些情況，這幫人甚至要在2分鐘內(nèi)審核時(shí)長(zhǎng)數(shù)小時(shí)的視頻。在一個(gè)匿名的在線論壇上，評(píng)估師相互交流省時(shí)的辦法——比方說，說唱視頻就快速瀏覽一下歌詞看看有沒有褻瀆的話就行了，或者用10秒鐘粗略看看視頻剪輯而不是完全看完。會(huì)有計(jì)時(shí)器記錄每個(gè)視頻審查所需的時(shí)間，盡管這只是建議的期限，但評(píng)估師說這給他們?cè)黾恿藟毫ΑＳ腥藫?dān)心積壓的視頻過多會(huì)害得自己被炒。
廣告評(píng)估師的工作不僅僅只是把視頻標(biāo)記為不合適。他們還被要求對(duì)視頻標(biāo)題和內(nèi)容進(jìn)行細(xì)顆粒度的評(píng)估——要進(jìn)行分類，比方說，是否包含“不合適語(yǔ)言”，如“褻瀆”、“仇恨發(fā)言”或者“其他”等；或者是否屬于“暴力”，子類包括“恐怖主義”、“戰(zhàn)爭(zhēng)和沖突”、“死亡和悲劇”等等。此外還有黃毒方面的分類。系統(tǒng)還為廣告評(píng)估師提供“其他敏感內(nèi)容”選項(xiàng)——這在比方說有人分享了極端政治言論的時(shí)候可以用得上。（AdAge 最近報(bào)道稱Google現(xiàn)在允許客戶取消在“性暗示”、“轟動(dòng)、聳人聽聞”以及包含“褻瀆、粗俗”的內(nèi)容旁展示廣告。）
但廣告評(píng)估師說，有些內(nèi)容未必就能找到合適的位置歸類。這種情況下，評(píng)估師就會(huì)把材料標(biāo)記為“無法歸類”。一位現(xiàn)任評(píng)估師講述了自己是如何評(píng)估兩個(gè)講西班牙語(yǔ)的人進(jìn)行說唱大戰(zhàn)的。“我把材料歸類為無法歸類是因?yàn)樗麄冎v外語(yǔ)。同時(shí)我還添加了一段評(píng)論，稱視頻里面的人似乎在用外語(yǔ)相互辱罵，但無法確定他們是否說了臟話。”（一位前評(píng)估師說，從最近的招聘判斷，Google似乎更青睞懂雙語(yǔ)的評(píng)估師。當(dāng)視頻語(yǔ)言自己不懂時(shí)，評(píng)估師還可以勾選某個(gè)選項(xiàng)。）
多名廣告評(píng)估師稱自己被要求觀看內(nèi)容令人震驚的視頻。有一位評(píng)估師說，有人試圖發(fā)布自殺的視頻。有一個(gè)人把自己的轎卡點(diǎn)燃，然后把槍對(duì)準(zhǔn)自己自殺了。在廣告評(píng)估師頻繁訪問的一個(gè)論壇上，匿名發(fā)帖者稱自己曾經(jīng)見過虐待婦女、兒童以及動(dòng)物的視頻。有幾個(gè)發(fā)帖者稱，在連續(xù)看了好幾個(gè)類似視頻之后，自己被迫休息才能緩過來。廣告評(píng)估師稱自己并不清楚Google是如何給自己挑選需要觀看的視頻的——在評(píng)估前自己只能看到視頻的標(biāo)題和縮略圖。此外，評(píng)估師經(jīng)常觀看的視頻還包括有人講話的視頻游戲、政治類視頻，以及陰謀論等。
綜合來看，評(píng)估視頻所需的工作范疇和對(duì)微妙之處的把握說明Google仍然需要人的幫助來處理YouTube的廣告問題。Google在一份像廣告評(píng)估師說明評(píng)估工作目的的文檔中說：“我們有很多信息來源，但你們是我們最重要的來源之一。”但盡管只有機(jī)器智能才能處理YouTube的內(nèi)容規(guī)模，就像Google高管和代表反復(fù)強(qiáng)調(diào)的那樣，除非Google的機(jī)器已經(jīng)聰明到能夠分辨真正的攻擊性言論與其他表達(dá)形式的不同，此類努力就仍然需要靠人來幫助完成。
Google發(fā)言人Chi Hea Cho說：“我們一直都在靠技術(shù)與人工審核的結(jié)合來審分析標(biāo)記內(nèi)容，因?yàn)閷?duì)視頻內(nèi)容的理解是非常主觀的。最近我們?cè)黾恿烁嗳耸謥砑铀賹徍?。這些審核幫助訓(xùn)練我們的算法，讓它們能不斷改善。”
人力資源
據(jù)兩個(gè)消息來源透露，Google的廣告質(zhì)量評(píng)估師計(jì)劃始于2004年。計(jì)劃參照了Google的搜索質(zhì)量評(píng)估計(jì)劃，一開始主要服務(wù)于Google核心的廣告活動(dòng)：根據(jù)搜索結(jié)果產(chǎn)生相應(yīng)廣告的AdWords，以及通過Google把廣告放置到網(wǎng)站上的AdSense。原先的廣告評(píng)估師招聘代理ABE給他們的時(shí)薪是20美元。一位前評(píng)估師說，他們可以全職工作甚至加班工作。2006年，在評(píng)估師稱工作條件變得不那么令人滿意之后，WorkForceLogic收購(gòu)了ABE。然后到了2012年，一家名為ZeroChaos 的公司收購(gòu)了WorkForceLogic，前者就變成了跟評(píng)估師簽合同的甲方至今。
廣告評(píng)估工作往往能吸引喜歡工作條件更靈活的人，比如剛剛進(jìn)入工作的大學(xué)畢業(yè)生，接近退休年齡的工人，家庭主婦，以及身體有殘障的個(gè)人。只要能滿足每周10小時(shí)的最低工作要求，廣告評(píng)估師可以隨時(shí)隨地開展工作。評(píng)估師只需要有自己的桌面計(jì)算機(jī)和移動(dòng)設(shè)備就能開始工作。
但這項(xiàng)工作天生的不穩(wěn)定會(huì)對(duì)許多工人造成傷害。一位廣告評(píng)估師說，我們當(dāng)中大部分的人都喜歡這份工作，但不會(huì)有機(jī)會(huì)成為永久性的全職員工。
盡管Google廣告評(píng)估師合同工大部分都是跟ZeroChaos簽署的合同，但代理的機(jī)構(gòu)并不只有這一家。ZeroChaos的合同是1年1簽，而且直到最近他們的規(guī)矩還是連續(xù)工作2年后就不再聘用。一些工人認(rèn)為這一限制導(dǎo)致Google無法找到最適合這份工作的有經(jīng)驗(yàn)的評(píng)估師。（不過在4月初的時(shí)候ZeroChaos通知廣告評(píng)估師稱這一規(guī)定已經(jīng)取消）。廣告評(píng)估師的薪酬也沒有得到提高——他們的時(shí)薪是15美元，一周最多可以工作29小時(shí)，但是并不能保證有足夠任務(wù)達(dá)到這一閾值。工人稱自己突然就會(huì)被解雇，既沒有事先警告或者給出理由——有多位員工證實(shí)了這一點(diǎn)，甚至其中一位才工作了一周。公司會(huì)用一封敷衍了事的電子郵件通知工人被辭退。
Cho說：“在提供好的的工作條件方面，Google致力于跟有著良好履歷的供應(yīng)商合作。一旦問題引起我們的注意，我們就會(huì)提醒這些供應(yīng)商關(guān)注員工訴求，要求雙方協(xié)作來解決問題。我們會(huì)進(jìn)一步關(guān)注此事。”
跟Google缺乏清晰的溝通本身也放大了廣告評(píng)估師對(duì)就業(yè)的不安全感。他們從來都沒有見過自己服務(wù)的那些人，包括在面試過程期間，他們唯一的聯(lián)絡(luò)方式就是一個(gè)名為“廣告評(píng)估管理團(tuán)隊(duì)”的郵件地址，Google告訴評(píng)估師只有遇到任務(wù)相關(guān)問題時(shí)才能使用。評(píng)估師發(fā)送郵件給對(duì)方時(shí)，只會(huì)收到自動(dòng)回復(fù)。對(duì)此Google回應(yīng)稱：“鑒于接收到的報(bào)告規(guī)模，管理者并不會(huì)對(duì)個(gè)別問題作出響應(yīng)：相反，我們監(jiān)控收到的報(bào)告以盡快偵測(cè)出系統(tǒng)范圍內(nèi)的問題。如果你需要單獨(dú)回應(yīng)，或者采取特殊行動(dòng)，請(qǐng)聯(lián)絡(luò)你的合同管理員。”
一位前廣告評(píng)估師說：“山景城那一頭的人就像是幕布背后的巫師。我們非常想像真正的同事那樣跟他們溝通，但結(jié)果卻沒有。”
至于Google，搜索巨頭的確告訴評(píng)估師說他們做的工作很重要，即便并沒有說清楚重要的原因是什么。
公司在一份培訓(xùn)材料中解釋說：“我們未必能告訴你每一項(xiàng)任務(wù)是干什么用的，但肯定都是我們認(rèn)為重要的東西。你不會(huì)經(jīng)常聽到自己工作的成果是什么。實(shí)際上，有時(shí)候你的工作看起來就像流進(jìn)黑洞一樣……盡管你未必總能看到自己工作的影響，但你的工作是重要的，而且Google有很多人在非常非常仔細(xì)地進(jìn)行審核。”
這種仔細(xì)有時(shí)候甚至到了令一些工人感到不舒服的程度。Google會(huì)將一些已經(jīng)過審核的內(nèi)容混進(jìn)分配給廣告評(píng)估師的任務(wù)當(dāng)中來考察他們的表現(xiàn)。Google給廣告評(píng)估師的一封郵件中寫道：“這些測(cè)試以正常的任務(wù)出現(xiàn)，你會(huì)像正常工作一樣收到這些題目。但是我們不會(huì)告訴哪些是測(cè)試題目……我們會(huì)利用考試分?jǐn)?shù)來評(píng)估你的表現(xiàn)。得分很低的話可能會(huì)導(dǎo)致分配給你的任務(wù)終止。”
把已經(jīng)知道答案的問題嵌入進(jìn)來是眾包調(diào)研的一樁常見做法。這種策略往往用來確定調(diào)研人員是不是隨便亂點(diǎn)東西，往往被玩笑為從業(yè)者的圖靈測(cè)試。
但Georgia Tech AI的研究人員Mark Riedl不認(rèn)同這種做法：“眾包工人不應(yīng)該被視為是機(jī)器，相反我們需要認(rèn)識(shí)到眾包工人是人，對(duì)于這些人我們有著倫理道德方面的責(zé)任，在設(shè)計(jì)任務(wù)的時(shí)候應(yīng)該意識(shí)到他們的尊嚴(yán)。”
當(dāng)然，對(duì)于部分同事提出的這些問題，并不是所有的廣告評(píng)估師都吹毛求疵。15美元的時(shí)薪仍然高于大多數(shù)城市的最小工資。一位廣告評(píng)估師仍然對(duì)ZeroChaos提供的機(jī)會(huì)表示感謝：“甚至連麥當(dāng)勞都拒絕我的情況下ZeroChaos卻不關(guān)心我有沒有犯罪背景。”多位評(píng)估師說在拿到這份工作前自己已經(jīng)接近無家可歸或者需要領(lǐng)食物救濟(jì)券的地步。
但也有人說這種靈活性往往最終對(duì)他們并不有利，即便他們需要依賴這份工作?？梢栽诩夜ぷ鞑⑶疫x擇自己的工作時(shí)間算是一種特殊待遇。但據(jù)一份ZeroChaos FAQ，廣告評(píng)估師被禁止同時(shí)為其他公司工作。一位前廣告評(píng)估師說因?yàn)檫@項(xiàng)禁令自己無法同時(shí)打兩份工，所以現(xiàn)在她每周也就比失業(yè)的時(shí)候多拿40美元。這樣是撐不下去的。
人機(jī)連接
技術(shù)界的大公司往往都會(huì)雇用臨時(shí)工參與到訓(xùn)練AI系統(tǒng)的重復(fù)性任務(wù)。一位廣告評(píng)估師提到自己幾年前曾經(jīng)替微軟評(píng)估Bing的搜索結(jié)果，這種工作的強(qiáng)度很大，每小時(shí)大概要審查多達(dá)80頁(yè)的搜索結(jié)果。LinkedIn和Facebook也雇用人來執(zhí)行類似的工作，LinkedIn主要是做數(shù)據(jù)注釋，而Facebook則是評(píng)估粉絲頁(yè)面的“贊助帖子”。
臨時(shí)工作的不安全感以及普遍的人員流動(dòng)性令新老員工感到不安，這些人認(rèn)為Google正失去在這份工作上花費(fèi)時(shí)間更多的老員工才具備的系統(tǒng)知識(shí)。一位前廣告評(píng)估師表示：“他們把錢浪費(fèi)在了培訓(xùn)新人上面然后又把人攆出大門。”
但是廣告評(píng)估師的人員流失也許正好反映出讓AI變得更聰明的最佳實(shí)踐。人工智能研究人員和行業(yè)專家說，輸入數(shù)據(jù)的人類培訓(xùn)師的定期輪換對(duì)于訓(xùn)練AI更好。AI初創(chuàng)企業(yè)Nara Logics的CEO Jana Eggers說：“AI需要許多看法，尤其是在類似攻擊性內(nèi)容方面。”盡管最高法院并未就什么是猥褻做出描述，但是“當(dāng)我看到時(shí)就能做出判斷”這種極限值測(cè)定依然有效。“給機(jī)器更多觀察的眼睛有望得到更好的結(jié)果。”
但盡管AI研究人員通常同意人低落的士氣未必就會(huì)導(dǎo)致糟糕的機(jī)器學(xué)習(xí)，但也許會(huì)產(chǎn)生源自其工作環(huán)境和體驗(yàn)的，更為微妙的影響?？的螤柎髮W(xué)AI教授Bart Selman說：“經(jīng)常有觀點(diǎn)認(rèn)為獲取大量不同輸入是訓(xùn)練AI模型的好辦法。這個(gè)作為一般指南來說是好的，但在道德判斷上，眾所周知，大多數(shù)群體都存在著根深蒂固的嚴(yán)重偏見。” Selman舉例說，比如大家的普遍看法是男性在特定類型的工作方面要優(yōu)于女性，反之亦然。“那么，如果你基于普通組觀點(diǎn)或者過去的招聘決定來訓(xùn)練AI招聘模型，你就會(huì)得到代表一般人群觀念的隱藏偏見。”而如果結(jié)果表明你主要靠一群焦慮的臨時(shí)工的認(rèn)知來訓(xùn)練AI的話，他們最終可能會(huì)把自己獨(dú)特的偏見帶進(jìn)那些系統(tǒng)里面。
Selman說：“你不會(huì)想通過讓AI倫理模塊觀察普通人群日常所為來訓(xùn)練這種AI。你應(yīng)該從那些更加審慎地考慮了潛在偏見以及道德問題的人那里獲取輸入才對(duì)。”
在山景城的Google人享受著別致的園區(qū)，免費(fèi)的美食，以及撞球、桌上足球等娛樂手段。這些跟典型的廣告評(píng)估師得到的待遇實(shí)在是差得太遠(yuǎn)?，F(xiàn)在替全球最有價(jià)值的公司工作可以意味著奢侈的福利以及豐厚的工資。也可以意味著作為臨時(shí)工機(jī)械地執(zhí)行那些重復(fù)性的任務(wù)，好訓(xùn)練公司的機(jī)器執(zhí)行相同的工作。
閱讀排行榜
