《NeurIPS2021杰出論文等獎項公布斯坦福大學(xué)3篇入選成最大贏家》到底具體內(nèi)容是什么？下面由我們自成學(xué)歷信息網(wǎng)小編把收集的內(nèi)容分享給大家：

曉查豐色發(fā)自凹非寺量子位報道公眾號QbitAI

NeurIPS2021將于下周正式召開。

今天，大會委員會公布了NeurIPS2021的杰出論文獎，時間測試獎，以及今年新設(shè)的數(shù)據(jù)集和測試基準(zhǔn)最佳論文獎。

杰出論文獎今年有六篇論文被選為杰出論文獎的獲得者。委員會之所以選擇這些論文，是因為它們具有出色的清晰度、洞察力、創(chuàng)造力和持久影響的潛力。

AUniversalLawofRobustnessviaIsoperimetry論文地址：這篇論文來自微軟以及斯坦福大學(xué)，關(guān)鍵字為對抗魯棒性、過參數(shù)化和isoperimetry（等周圖形學(xué)）。

獲獎理由：

本文提出了一個理論模型，來解釋為什么許多SOTA深度網(wǎng)絡(luò)模型需要比平滑擬合訓(xùn)練數(shù)據(jù)還需多得多的參數(shù)。

特別地，在訓(xùn)練分布的某些規(guī)律性條件下，O(1)-Lipschitz函數(shù)在標(biāo)簽噪聲scale之下插入訓(xùn)練數(shù)據(jù)所需的參數(shù)數(shù)量為nd，其中n是訓(xùn)練示例的數(shù)量，d是數(shù)據(jù)的維度。

這一結(jié)果與傳統(tǒng)結(jié)果形成鮮明對比。傳統(tǒng)結(jié)果表明一個函數(shù)需要n個參數(shù)來插入訓(xùn)練數(shù)據(jù)，而現(xiàn)在則發(fā)現(xiàn)，參數(shù)d似乎是保證數(shù)據(jù)平滑插入所必需的。

該理論簡單而優(yōu)雅，和對MNIST分類具有魯棒泛化能力的模型規(guī)模的觀察結(jié)果也一致。

這項工作還為ImageNet分類開發(fā)穩(wěn)健模型所需的模型大小提供了可測試的預(yù)測。

OntheExpressivityofMarkovReward論文地址：這篇論文來自DeepMind、普林斯頓大學(xué)和布朗大學(xué)，研究方向為強化學(xué)習(xí)，通過檢查馬爾可夫獎勵函數(shù)可以表達(dá)什么樣的任務(wù)來研究有限環(huán)境中馬爾可夫獎勵函數(shù)的表達(dá)能力。

獲獎理由：

馬爾可夫獎勵函數(shù)是不確定性和強化學(xué)習(xí)下順序決策的主要框架。

本文詳細(xì)、清晰地闡述了馬爾可夫獎勵何時足以或不足以使系統(tǒng)設(shè)計者根據(jù)其對行為、特定行為的偏好，或?qū)顟B(tài)和動作序列的偏好來指定任務(wù)。

作者通過簡單的說明性示例證明，存在一些無法指定馬爾可夫獎勵函數(shù)來引發(fā)所需任務(wù)和結(jié)果的任務(wù)。

幸運的是，他們還表明，可以在多項式時間內(nèi)確定所需設(shè)置是否存在兼容的馬爾可夫獎勵，如果存在，也存在多項式時間算法來在有限決策過程設(shè)置中構(gòu)建這樣的馬爾可夫獎勵。

這項工作闡明了獎勵設(shè)計的挑戰(zhàn)，并可能開辟未來研究馬爾可夫框架何時以及如何足以實現(xiàn)人類所需性能的途徑。

DeepReinforcementLearningattheEdgeoftheStatisticalPrecipice論文地址：論文來自谷歌、蒙特利爾大學(xué)和麥吉爾大學(xué)，研究方向也是強化學(xué)習(xí)。

獲獎理由：

方法的嚴(yán)格比較可以加速有意義的科學(xué)進(jìn)步。本文提出了提高深度強化學(xué)習(xí)算法比較嚴(yán)謹(jǐn)性的實用方法。

具體而言，新算法的評估應(yīng)提供分層的引導(dǎo)程序置信區(qū)間、跨任務(wù)和運行的性能概況以及四分位數(shù)均值。

該論文強調(diào)，在許多任務(wù)和多次運行中報告深度強化學(xué)習(xí)結(jié)果的標(biāo)準(zhǔn)方法，可能使評估新算法和過去方法之間的一致性和提升變得困難，并通過實證示例說明了這一點。

所提出的性能比較方法旨在通過每個任務(wù)的少量運行進(jìn)行計算，這對于許多計算資源有限的研究實驗室來說可能是必要的。

MAUVE:MeasuringtheGapBetweenNeuralTextandHumanTextusingDivergenceFrontiers論文地址：論文作者來自華盛頓大學(xué)、艾倫研究所和斯坦福大學(xué)。

獲獎理由：

本文介紹了MAUVE，這是一種比較模型生成文本分布與人類生成文本分布的散度度量。這個想法簡單而優(yōu)雅，它基本上使用了被比較的兩個文本的量化嵌入的（soft）KL散度測量的連續(xù)族。

本出提議的MAUVE度量本質(zhì)上是對連續(xù)度量系列的集成，目標(biāo)是捕獲I類錯誤（生成不切實際的文本）和II類錯誤（不捕獲所有可能的人類文本）。

實驗表明，與之前的散度指標(biāo)相比，MAUVE可以識別模型生成文本的已知模式，并且與人類判斷的相關(guān)性更好。

這篇論文寫得很好，研究問題在開放式文本生成快速發(fā)展的背景下很重要，而且結(jié)果很明確。

ContinuizedAccelerationsofDeterministicandStochasticGradientDescents,andofGossipAlgorithms論文地址：

本篇論文來自巴黎文理研究大學(xué)、洛桑聯(lián)邦理工學(xué)院、格勒諾布爾-阿爾卑斯大學(xué)、MSR-Inria聯(lián)合中心。

獲獎理由：

本文描述了Nesterov加速梯度方法的“連續(xù)化”版本，其中兩個獨立的向量變量在連續(xù)時間內(nèi)共同演化——很像以前使用微分方程來理解加速度的方法——但使用梯度更新，隨機時間發(fā)生在泊松點過程。

這種新方法導(dǎo)致了一種（隨機化）離散時間方法：

(1)與Nesterov方法具有相同的加速收斂性；

(2)帶有利用連續(xù)時間參數(shù)的清晰透明的分析，這可以說比之前對加速梯度方法的分析更容易理解；

(3)避免了連續(xù)時間過程離散化的額外錯誤，這與之前使用連續(xù)時間過程理解加速方法的幾次嘗試形成鮮明對比。

MoserFlow：Divergence-basedGenerativeModelingonManifolds論文地址：本文作者來自魏茨曼科學(xué)研究學(xué)院、Facebook和加州大學(xué)洛杉磯分校。

獲獎理由：

本文提出了一種在黎曼流形上訓(xùn)練連續(xù)歸一化流(CNF)生成模型的方法。關(guān)鍵思想是利用Moser(1965)的結(jié)果，該結(jié)果使用具有幾何規(guī)律性條件的受限常微分方程（ODE）類來表征CNF的解，并使用散度明確定義目標(biāo)密度函數(shù)。

本文提出的MoserFlow方法使用此解決方案概念，來開發(fā)基于參數(shù)化目標(biāo)密度估計器的CNF方法。訓(xùn)練相當(dāng)于簡單地優(yōu)化密度估計器的散度，回避運行標(biāo)準(zhǔn)反向傳播訓(xùn)練所需的ODE求解器。

實驗表明，與之前的CNF工作相比，它的訓(xùn)練時間更快，測試性能更出色，并且能夠?qū)哂蟹浅?shù)曲率的隱式曲面的密度進(jìn)行建模。

時間檢驗獎從去年開始，NeurIPS時間檢驗獎（TestofTimeAward）選擇了更廣的年限范圍。因此，今年大會委員會選擇2010年2011年論文。

在16篇引用量超過500的論文里，委員會選擇了這篇論文：

OnlineLearningforLatentDirichletAllocation論文地址：

作者來自普林斯頓大學(xué)和法國國家信息與自動化研究所。

第一作者M(jìn)atthewD.Hoffman發(fā)表這篇論文時，曾經(jīng)在普林斯頓攻讀博士學(xué)位，現(xiàn)在他是谷歌一名高級研究科學(xué)家。

本文介紹了一種基于隨機變分梯度的推理過程，用于在非常大的文本語料庫上訓(xùn)練潛在狄利克雷分配(LDA)模型。在理論方面，它表明訓(xùn)練過程收斂到局部最優(yōu)，令人驚訝的是，簡單的隨機梯度更新對應(yīng)于ELBO目標(biāo)的隨機自然梯度。

在實證方面，作者首次表明LDA可以輕松地在數(shù)十萬個文檔的文本語料庫上進(jìn)行訓(xùn)練，使其成為解決“大數(shù)據(jù)”問題的實用技術(shù)。

這個想法在機器學(xué)習(xí)社區(qū)產(chǎn)生了很大的影響，因為它是更廣泛模型類別的一般隨機梯度變分推理過程的基礎(chǔ)。這篇論文之后，就沒有充分的理由再使用完整的批次訓(xùn)練程序進(jìn)行變分推理了。

數(shù)據(jù)集和基準(zhǔn)測試最佳論文獎今年NeurIPS推出了新的數(shù)據(jù)集和基準(zhǔn)測試（Datasets&Benchmarks）賽道，表彰在數(shù)據(jù)領(lǐng)域的工作。

該領(lǐng)域的2篇最佳論文獎分別是：

Reduced,ReusedandRecycled:TheLifeofaDatasetinMachineLearningResearch

論文地址：這篇論文作者來自加州大學(xué)洛杉磯分校和谷歌。

本文分析了數(shù)千篇論文并研究了不同機器學(xué)習(xí)子社區(qū)中數(shù)據(jù)集使用的演變，以及數(shù)據(jù)集采用和創(chuàng)建之間的相互作用。

作者發(fā)現(xiàn)，在大多數(shù)社區(qū)中，隨著時間的推移，使用不同數(shù)據(jù)集的人更少了，而且人們使用的數(shù)據(jù)集基本都來自少數(shù)精英機構(gòu)。

這種變化是有問題的，因為基準(zhǔn)變得不那么具有普遍性，這些數(shù)據(jù)集來源中存在的偏見可能會被放大，并且研究界更難接受新的數(shù)據(jù)集。

這對整個機器學(xué)習(xí)社區(qū)來說是一個重要的“警鐘”，讓他們更加批判性地思考哪些數(shù)據(jù)集用于基準(zhǔn)測試，并更加重視創(chuàng)建新的、更多樣化的數(shù)據(jù)集。

ATOM3D:TasksonMoleculesinThreeDimensions

論文地址：這篇文章作者來自于斯坦福大學(xué)和芝加哥大學(xué)。

本文介紹了一組基準(zhǔn)數(shù)據(jù)集，其中包含小分子和/或生物聚合物的3D表示，用于解決單分子結(jié)構(gòu)預(yù)測和生物分子之間的相互作用，以及分子功能和設(shè)計與工程任務(wù)問題。

這篇文章將3D模型的實現(xiàn)與具有1D或2D表示的SOTA模型進(jìn)行基準(zhǔn)測試，并顯示出比低維對應(yīng)物更好的性能。這項工作提供了有關(guān)如何為給定任務(wù)選擇和設(shè)計模型的重要見解。

這項工作不僅提供了基準(zhǔn)數(shù)據(jù)集，還提供了基線模型和開源工具來利用這些數(shù)據(jù)集和模型，大大降低了機器學(xué)習(xí)人員進(jìn)入計算生物學(xué)和分子設(shè)計的門檻。

原文地址：

—完—

量子位QbitAI·頭條號簽約

關(guān)注我們，第一時間獲知前沿科技動態(tài)

以上就是自成學(xué)歷信息網(wǎng)為您收集的有關(guān)《NeurIPS2021杰出論文等獎項公布斯坦福大學(xué)3篇入選成最大贏家》的全部內(nèi)容，希望能給您帶來幫助，想要了解更多成考自考相關(guān)信息，可持續(xù)關(guān)注自成學(xué)歷信息網(wǎng)(123adv.com)。