過去十年里，計算機視覺領(lǐng)域取得了巨大成功，這在很大程度上得直接歸功于深度學習模型在機器感知任務中的應用。

此外，自 2012 年以來，這些系統(tǒng)的表征能力取得了長足的進步，這歸因于：

(a) 極為復雜的更深度模型的建立；

(b) 計算能力不斷提升；

(c) 可獲得大規(guī)模的標注數(shù)據(jù)。

盡管計算能力和模型復雜度每年都在不斷提升（已從 7 層的 AlexNet 提高到 101 層的 ResNet），但可用數(shù)據(jù)集并未得到相應的擴充。與 AlexNet 相比，101 層的 ResNet 的容量要大得多，但它仍在使用同樣從 ImageNet circa 2011 獲取的 100 萬張圖像進行訓練。作為研究人員，我們一直想知道：如果將訓練數(shù)據(jù)量擴大 10 倍，準確率是否會翻倍？擴大 100 倍甚或 300 倍，準確率又會如何？準確率是否會遭遇平臺期？還是說數(shù)據(jù)越多，準確率就越高？

過去五年里，GPU 的計算能力和模型大小在不斷提高，但令人吃驚的是，培訓數(shù)據(jù)集的規(guī)模卻停滯不前。

在我們的《重新審視深度學習時代數(shù)據(jù)的非理性效果》(Revisiting Unreasonable Effectiveness of Data in Deep Learning Era) 這篇論文中，我們在揭開圍繞“海量數(shù)據(jù)”和深度學習之間關(guān)系的謎團方面邁出了第一步。我們的目標是探究以下問題：

(a) 向現(xiàn)有算法提供更多帶有噪聲標簽的圖像是否仍可以改善視覺表征；

(b) 分類、對象檢測和圖像分割等標準視覺任務中，數(shù)據(jù)與性能之間的本質(zhì)關(guān)系；

(c) 通過大規(guī)模學習找到適用于計算機視覺領(lǐng)域所有任務的最先進模型。

當然，一個無法回避的問題是我們從何處獲取一個比 ImageNet 大 300 倍的數(shù)據(jù)集？在 Google，我們一直致力于自動構(gòu)建此類數(shù)據(jù)集以改善計算機視覺算法。具體而言，我們已構(gòu)建一個包含 3 億張圖像的內(nèi)部數(shù)據(jù)集（我們稱之為 JFT-300M），這些圖像被標記為 18291 個類別。用于標記這些圖像的算法使用了復雜的數(shù)據(jù)組合，包括原始網(wǎng)絡信號、網(wǎng)頁與用戶反饋之間的聯(lián)系等。這為 3 億張圖像生成了 10 億多個標簽（一張圖像可具有多個標簽）。為程度提高所選圖像的標簽精度，我們通過某個算法從 10 億個圖像標簽中選取了大約 3.75 億個標簽。然而，這些標簽中仍然存在大量噪聲：所選圖像的標簽中約有 20% 帶有噪聲。由于缺乏詳盡的注解，我們無法評估標簽的回想率。

我們的實驗結(jié)果證實了部分假設(shè)，但也產(chǎn)生了一些意外的驚喜：

更好的表征學習確實大有裨益。 我們的第一個觀察結(jié)果是大規(guī)模數(shù)據(jù)有助于表征學習，進而改善了我們研究的每個視覺任務的性能表現(xiàn)。我們的研究發(fā)現(xiàn)表明：共同構(gòu)建一個大規(guī)模數(shù)據(jù)集進行預訓練非常重要。同時，實驗也表明，無監(jiān)督和半監(jiān)督表征學習方法的前景非常光明。數(shù)據(jù)規(guī)模似乎可克服標簽方面的噪聲問題。

表現(xiàn)與訓練數(shù)據(jù)的數(shù)量級呈線性遞增關(guān)系。  也許整個實驗最驚人的發(fā)現(xiàn)就是視覺任務的表現(xiàn)和用于表征學習的訓練數(shù)據(jù)量（對數(shù)）之間的關(guān)系了。我們發(fā)現(xiàn)它們之間的關(guān)系竟然是線性的！即使訓練圖像達到 3 億張，我們也并未觀察到對所研究的任務產(chǎn)生任何平臺效應。

通過針對 JFT-300M 的不同子集從零開始進行預訓練時的對象檢測性能。X 軸是以對數(shù)表示的數(shù)據(jù)集大小，y 軸代表針對 COCO-minival 子集的 mAP@[.5,.95] 檢測性能。

容量至關(guān)重要。我們同樣觀察到：為了充分利用 3 億張圖像，我們需要更高的容量（更深的）模型。例如，就 ResNet-50 而言，其在 COCO 對象檢測基準測試中的增益 (1.87%) 大大低于使用 ResNet-152 時的增益 (3%)。

新的結(jié)果。我們的論文展示了通過使用從 JFT-300M 學到的模型在多個基準中取得了新的結(jié)果。例如，單一模型（沒有任何不必要的花哨功能）在 COCO 檢測基準測試中從原來的 34.3 AP 提高到現(xiàn)在的 37.4 AP。

請注意，我們使用的訓練機制、學習安排和參數(shù)都是基于我們使用來自 ImageNet 的 100 萬張圖像對 ConvNets 進行訓練后所獲得的認識。由于我們在此項工作中并未搜索最優(yōu)超參數(shù)集（這需要極為龐大的計算量），所以在使用這種規(guī)模的數(shù)據(jù)時，這些結(jié)果很可能并不是您能夠取得的結(jié)果。因此，我們認為報告的量化表現(xiàn)低估了數(shù)據(jù)的實際影響。

這項工作并不會關(guān)注特定任務的數(shù)據(jù)，例如探究更多的邊界框是否會影響模型表現(xiàn)等。我們認為，雖然獲取大規(guī)模特定于任務的數(shù)據(jù)非常困難，但它應該成為未來研究的重點。此外，構(gòu)建包含 3 億張圖像的數(shù)據(jù)集不應該是我們的終極目標，作為一個社區(qū)，我們要探索的是，在采用更大規(guī)模的數(shù)據(jù)集（擁有 10 億張以上的圖像）時，是否可以繼續(xù)改善模型。