別亂用開源數(shù)據(jù)集，它可能會(huì)把自動(dòng)駕駛汽車帶溝里！

雷鋒網(wǎng)按，眾所周知，機(jī)器學(xué)習(xí)模型的性能與訓(xùn)練所用數(shù)據(jù)集的質(zhì)量息息相關(guān)。不過，怕什么來什么，計(jì)算視覺新創(chuàng)公司 Roboflow 就宣稱，我們擔(dān)心的情況在行業(yè)內(nèi)時(shí)有發(fā)生。 Roboflow  的創(chuàng)始人 Brad Dwyer 指出，一些用來訓(xùn)練自動(dòng)駕駛汽車的知名數(shù)據(jù)集遺漏了不少關(guān)鍵數(shù)據(jù)。

Dwyer 指出，包含了 1.5 萬張圖片（主要是白天在山景城及附近區(qū)域采集）的 Udacity Dataset 2 就出現(xiàn)了遺漏。他們在數(shù)據(jù)集中發(fā)現(xiàn)了數(shù)千張沒有標(biāo)簽的車輛、行人圖片。在大約 5000 張圖片中，還出現(xiàn)了很多沒有標(biāo)簽的自行車（其中有 217 張甚至沒有任何注釋，但這些樣片中確實(shí)有小汽車、卡車、街燈或行人）。除此之外，Roboflow 還在該數(shù)據(jù)集中發(fā)現(xiàn)了虛假注釋以及復(fù)制粘貼，甚至體積明顯超標(biāo)的bounding box。

標(biāo)簽相當(dāng)重要，但它并不是 AI 系統(tǒng)理解范式含義（比如什么時(shí)候一個(gè)人會(huì)走到車前）并給予該知識(shí)評估未來事物的準(zhǔn)繩。不過，錯(cuò)誤標(biāo)簽或者沒有標(biāo)簽的項(xiàng)目可能會(huì)造成精度降低或糟糕的決策，而對自動(dòng)駕駛汽車來說這可是災(zāi)難的根源。

數(shù)據(jù)集中很多目標(biāo)都沒有標(biāo)簽

“開源數(shù)據(jù)集確實(shí)很棒，但如果想贏得公眾的信任，我們必須保證自己分享的數(shù)據(jù)足夠完整且準(zhǔn)確。”Dwyer 寫道。他還指出，在 Udacity 的自動(dòng)駕駛工程課上，成千上萬的學(xué)生都在用 Dataset 2 支持一個(gè)開源的自動(dòng)駕駛項(xiàng)目。“如果你在項(xiàng)目中用了公共數(shù)據(jù)集，車輛上路前請一定要做好盡職調(diào)查并檢查其完整性。”

眾所周知，AI 容易因數(shù)據(jù)集不完整或偏斜而產(chǎn)生偏見。舉例來說，詞嵌入是一種常見的算法訓(xùn)練技術(shù)，由于涉及將詞鏈接到向量，因而不可避免地會(huì)拾取（最糟糕的是放大）源文本和對話中隱含的偏見。眼下，許多面部識(shí)別系統(tǒng)就有點(diǎn)“種族歧視”，它們識(shí)別起有色人種錯(cuò)誤率就要高一些。Google Photos 甚至錯(cuò)誤為黑人打上了“大猩猩”的標(biāo)簽。

目前，除了 2018 年 Uber 測試車那起致命事故，自動(dòng)駕駛汽車遭遇的都是磕磕碰碰的小事故。不過，這可能是因?yàn)槁飞系淖詣?dòng)駕駛汽車太少了，而未來情況可能會(huì)發(fā)生巨變。按市場研究公司 ABI 所言，2025 年將有 800 萬臺(tái)自動(dòng)駕駛汽車上路，Research and Markets 則預(yù)計(jì)到 2030 年全美將有 2000 萬臺(tái)自動(dòng)駕駛汽車投入運(yùn)營。

如果這些車輛都搭載著有缺陷的 AI 模型，一旦它們突然失靈，后果恐怕不堪設(shè)想，比如用一場惡性事故徹底毀掉人們對自動(dòng)駕駛汽車的信心。布魯金斯學(xué)會(huì)與高速公路和汽車安全維權(quán)組織（AHAS）的研究均發(fā)現(xiàn)大部分美國人都對自動(dòng)駕駛汽車的安全性不放心。布魯金斯學(xué)會(huì)的調(diào)查顯示，有超過 60% 的受訪者不想乘坐自動(dòng)駕駛汽車，而 AHAS 的調(diào)查中則有 70% 的受訪者不愿和自動(dòng)駕駛汽車共享道路。

想解決數(shù)據(jù)集的遺漏問題，就必須用上更好的打標(biāo)簽方案。Dataset 2 在 Github 的官方頁面表示，自家的打標(biāo)簽工作靠的是眾包語料注釋公司 Autti，后者用到了機(jī)器學(xué)習(xí)與人工監(jiān)督相結(jié)合的方法。當(dāng)然，現(xiàn)在我們還無法肯定數(shù)據(jù)集的遺漏是否與這種打標(biāo)簽的方法有關(guān)，未來嚴(yán)格的驗(yàn)證步驟才能給它蓋棺定論。

Roboflow 告訴 Sophos 的 Naked Security，稱公司計(jì)劃使用原始數(shù)據(jù)集和數(shù)據(jù)集的固定版本（已在開放源代碼中提供）進(jìn)行實(shí)驗(yàn)，以查看在訓(xùn)練各種模型架構(gòu)時(shí)問題的嚴(yán)重程度。“如果與其他領(lǐng)域（例如醫(yī)學(xué)，動(dòng)物，游戲）的數(shù)據(jù)集相比，Dataset 2 質(zhì)量真是特別差，” Dwyer解釋道。“我希望未來大公司們對打標(biāo)簽、清潔和驗(yàn)證過程再上點(diǎn)心吧。”

在一份聲明中，Udacity 強(qiáng)調(diào)稱，作為工具，自家的數(shù)據(jù)集純粹是為了教育目的而生，它們從未暗示過該數(shù)據(jù)集是完美的，或數(shù)據(jù)都打了標(biāo)簽。此外，雖然 Udacity 在用該數(shù)據(jù)集訓(xùn)練自家自動(dòng)駕駛汽車，但幾年來這些車輛均在封閉測試道路行駛，從沒上過公路。

“我們放出這個(gè)數(shù)據(jù)集的目的是為了幫助那些剛剛轉(zhuǎn)戰(zhàn)自動(dòng)駕駛領(lǐng)域的研究人員和工程師。”Udacity 發(fā)言人說道。“后來，類似 Waymo、nuTonomy 和 Voyage 等公司都放出國更新更好的數(shù)據(jù)集，它們才是面向現(xiàn)實(shí)世界的。因此，我們這個(gè)項(xiàng)目三年都沒更新了。也就是說，濫用這些教育數(shù)據(jù)集不但起不到幫助作用，可能還會(huì)造成誤導(dǎo)。”

雷鋒網(wǎng)&雷鋒網(wǎng)&雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。