過(guò)去十年里，計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大成功，這在很大程度上得直接歸功于深度學(xué)習(xí)模型在機(jī)器感知任務(wù)中的應(yīng)用。

此外，自 2012 年以來(lái)，這些系統(tǒng)的表征能力取得了長(zhǎng)足的進(jìn)步，這歸因于：

(a) 極為復(fù)雜的更深度模型的建立；

(b) 計(jì)算能力不斷提升；

(c) 可獲得大規(guī)模的標(biāo)注數(shù)據(jù)。

盡管計(jì)算能力和模型復(fù)雜度每年都在不斷提升（已從 7 層的 AlexNet 提高到 101 層的 ResNet），但可用數(shù)據(jù)集并未得到相應(yīng)的擴(kuò)充。與 AlexNet 相比，101 層的 ResNet 的容量要大得多，但它仍在使用同樣從 ImageNet circa 2011 獲取的 100 萬(wàn)張圖像進(jìn)行訓(xùn)練。作為研究人員，我們一直想知道：如果將訓(xùn)練數(shù)據(jù)量擴(kuò)大 10 倍，準(zhǔn)確率是否會(huì)翻倍？擴(kuò)大 100 倍甚或 300 倍，準(zhǔn)確率又會(huì)如何？準(zhǔn)確率是否會(huì)遭遇平臺(tái)期？還是說(shuō)數(shù)據(jù)越多，準(zhǔn)確率就越高？

過(guò)去五年里，GPU 的計(jì)算能力和模型大小在不斷提高，但令人吃驚的是，培訓(xùn)數(shù)據(jù)集的規(guī)模卻停滯不前。

在我們的《重新審視深度學(xué)習(xí)時(shí)代數(shù)據(jù)的非理性效果》(Revisiting Unreasonable Effectiveness of Data in Deep Learning Era) 這篇論文中，我們?cè)诮议_(kāi)圍繞“海量數(shù)據(jù)”和深度學(xué)習(xí)之間關(guān)系的謎團(tuán)方面邁出了第一步。我們的目標(biāo)是探究以下問(wèn)題：

(a) 向現(xiàn)有算法提供更多帶有噪聲標(biāo)簽的圖像是否仍可以改善視覺(jué)表征；

(b) 分類(lèi)、對(duì)象檢測(cè)和圖像分割等標(biāo)準(zhǔn)視覺(jué)任務(wù)中，數(shù)據(jù)與性能之間的本質(zhì)關(guān)系；

(c) 通過(guò)大規(guī)模學(xué)習(xí)找到適用于計(jì)算機(jī)視覺(jué)領(lǐng)域所有任務(wù)的最先進(jìn)模型。

當(dāng)然，一個(gè)無(wú)法回避的問(wèn)題是我們從何處獲取一個(gè)比 ImageNet 大 300 倍的數(shù)據(jù)集？在 Google，我們一直致力于自動(dòng)構(gòu)建此類(lèi)數(shù)據(jù)集以改善計(jì)算機(jī)視覺(jué)算法。具體而言，我們已構(gòu)建一個(gè)包含 3 億張圖像的內(nèi)部數(shù)據(jù)集（我們稱(chēng)之為 JFT-300M），這些圖像被標(biāo)記為 18291 個(gè)類(lèi)別。用于標(biāo)記這些圖像的算法使用了復(fù)雜的數(shù)據(jù)組合，包括原始網(wǎng)絡(luò)信號(hào)、網(wǎng)頁(yè)與用戶反饋之間的聯(lián)系等。這為 3 億張圖像生成了 10 億多個(gè)標(biāo)簽（一張圖像可具有多個(gè)標(biāo)簽）。為程度提高所選圖像的標(biāo)簽精度，我們通過(guò)某個(gè)算法從 10 億個(gè)圖像標(biāo)簽中選取了大約 3.75 億個(gè)標(biāo)簽。然而，這些標(biāo)簽中仍然存在大量噪聲：所選圖像的標(biāo)簽中約有 20% 帶有噪聲。由于缺乏詳盡的注解，我們無(wú)法評(píng)估標(biāo)簽的回想率。

我們的實(shí)驗(yàn)結(jié)果證實(shí)了部分假設(shè)，但也產(chǎn)生了一些意外的驚喜：

更好的表征學(xué)習(xí)確實(shí)大有裨益。 我們的第一個(gè)觀察結(jié)果是大規(guī)模數(shù)據(jù)有助于表征學(xué)習(xí)，進(jìn)而改善了我們研究的每個(gè)視覺(jué)任務(wù)的性能表現(xiàn)。我們的研究發(fā)現(xiàn)表明：共同構(gòu)建一個(gè)大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練非常重要。同時(shí)，實(shí)驗(yàn)也表明，無(wú)監(jiān)督和半監(jiān)督表征學(xué)習(xí)方法的前景非常光明。數(shù)據(jù)規(guī)模似乎可克服標(biāo)簽方面的噪聲問(wèn)題。

表現(xiàn)與訓(xùn)練數(shù)據(jù)的數(shù)量級(jí)呈線性遞增關(guān)系。  也許整個(gè)實(shí)驗(yàn)最驚人的發(fā)現(xiàn)就是視覺(jué)任務(wù)的表現(xiàn)和用于表征學(xué)習(xí)的訓(xùn)練數(shù)據(jù)量（對(duì)數(shù)）之間的關(guān)系了。我們發(fā)現(xiàn)它們之間的關(guān)系竟然是線性的！即使訓(xùn)練圖像達(dá)到 3 億張，我們也并未觀察到對(duì)所研究的任務(wù)產(chǎn)生任何平臺(tái)效應(yīng)。

通過(guò)針對(duì) JFT-300M 的不同子集從零開(kāi)始進(jìn)行預(yù)訓(xùn)練時(shí)的對(duì)象檢測(cè)性能。X 軸是以對(duì)數(shù)表示的數(shù)據(jù)集大小，y 軸代表針對(duì) COCO-minival 子集的 mAP@[.5,.95] 檢測(cè)性能。

容量至關(guān)重要。我們同樣觀察到：為了充分利用 3 億張圖像，我們需要更高的容量（更深的）模型。例如，就 ResNet-50 而言，其在 COCO 對(duì)象檢測(cè)基準(zhǔn)測(cè)試中的增益 (1.87%) 大大低于使用 ResNet-152 時(shí)的增益 (3%)。

新的結(jié)果。我們的論文展示了通過(guò)使用從 JFT-300M 學(xué)到的模型在多個(gè)基準(zhǔn)中取得了新的結(jié)果。例如，單一模型（沒(méi)有任何不必要的花哨功能）在 COCO 檢測(cè)基準(zhǔn)測(cè)試中從原來(lái)的 34.3 AP 提高到現(xiàn)在的 37.4 AP。

請(qǐng)注意，我們使用的訓(xùn)練機(jī)制、學(xué)習(xí)安排和參數(shù)都是基于我們使用來(lái)自 ImageNet 的 100 萬(wàn)張圖像對(duì) ConvNets 進(jìn)行訓(xùn)練后所獲得的認(rèn)識(shí)。由于我們?cè)诖隧?xiàng)工作中并未搜索最優(yōu)超參數(shù)集（這需要極為龐大的計(jì)算量），所以在使用這種規(guī)模的數(shù)據(jù)時(shí)，這些結(jié)果很可能并不是您能夠取得的結(jié)果。因此，我們認(rèn)為報(bào)告的量化表現(xiàn)低估了數(shù)據(jù)的實(shí)際影響。

這項(xiàng)工作并不會(huì)關(guān)注特定任務(wù)的數(shù)據(jù)，例如探究更多的邊界框是否會(huì)影響模型表現(xiàn)等。我們認(rèn)為，雖然獲取大規(guī)模特定于任務(wù)的數(shù)據(jù)非常困難，但它應(yīng)該成為未來(lái)研究的重點(diǎn)。此外，構(gòu)建包含 3 億張圖像的數(shù)據(jù)集不應(yīng)該是我們的終極目標(biāo)，作為一個(gè)社區(qū)，我們要探索的是，在采用更大規(guī)模的數(shù)據(jù)集（擁有 10 億張以上的圖像）時(shí)，是否可以繼續(xù)改善模型。