顶会见闻系列ICML2018下能量GAN

顶会见闻系列：ICML 2018（下），能量、GAN、监督学习、神经络

AI 科技评论按：本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议，没去现场的自然可惜，在现场的也容易看花眼。那么事后看看别的研究员的见闻总结，也许会有新的收获呢。

曾在中科院自动化研究所模式识别国家重点实验室实习的 Gautier Marti现在是 NLP量化分析研究员

。机器学习+金融的研究人员对理论性较强的 ICML有何感悟呢？ AI 科技评论把他的个人博客文章全文编译如下。本篇为下篇，共两篇。上篇见这里。

ICML正会第二天 -能量，GANs，排序，课程学习，以及我们的论文ICML 2018 的正会第二天由阿姆斯特丹大学机器学习研究主席 Max Welling的以「每千瓦能量的智能」为标题的会议报告开头。他讨论了物理和 AI 之间的联系（比如能源，熵，信息，比特，最小可描述长度原理等），包括模型方面和能源成本方面。当前的模型（如深度神经络）需要大量的能量。从物理能量（建模）思想出发推导出深度学习的一个贝叶斯形式，能带来（现实中）更能源高效的模型。最终这些事情都能一一连接起来。这里有一个他关于该主题的另一个报告，与 ICML 的这个报告相比有较大不同。

我参加了会议的以下 session，其中一些论文让我印象很深刻：

生成模型（session 1）

Geometry Score: A Method For Comparing Generative Adversarial Networks（几何分数：一种比较生成对抗络的方法）

作者通过比较原始数据的流型和生成数据的流形的几何性质，构建了一种新的 GAN（生成对抗络）的性能评价方法，为评估提供了定性和定量的手段。具体的说，为了研究数据流形，作者使用了拓扑数据分析（Topological Data Analysis），如一组在离散点云上进行拓扑分析的方法形式（参见 Gunnar Carlsson 的这篇文章，深度介绍了 TDA；以及GUDHI（Geometry Understaning in Higher Dimensions)github code）

排名与偏好学习（session 2A）

加速光谱排名（Accelerated Spectral Ranking)

问题：给定 n 项之间的成对或多项比较，目标为要学习每项的分数。这些分数可以进一步用于这些项目的排名。例如，在推荐系统中，目标可能是通过观察用户在面对这些项目的不同子集时所做的选择，来学习这些项目全部放在一起时的排名。在多路比较的情况下，有一种称为 Luce 光谱排名的方法（LSR， Luce spectral ranking）， 它通过在 n 个项目的比较图上构建随机游走（random walk，等效于一个马尔科夫链）来解决问题。如果两项之间存在成对或者多向比较的话，则该两项之间有一条边。构造该随机游走的目的是使得其静止分布对应于 MNL、BTL 模型的权重。作者提出了一种更快的算法来做到这一点。

该 session 的其他论文似乎也很有意思，但是我目前对这个领域并不是很熟悉，就不多加评论了。我可能会在最近尝试一下这些方法。这里是SQL-Rank: A Listwise Approach to Collaborative Ranking的github地址。

监督学习（session 2B）

监督学习的 session 包含了很多机器学习的实践者们非常关心的问题讨论：在充满噪声的标签上学习；提高模型的实证收敛速度。后者可以通过课程设置学习（curriculum learning）来实现，即先使用简单的样本学习，然后逐渐增加样本的难度。本 session 的论文似乎都能够在很短的时间内对工业界产生影响，论文的作者中有 Uber的负责人 Raquel Urtasun 和Google AI 的负责人李飞飞。

Curriculun Learning 的论文：

MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels.（MentorNet：在受损的标签上为非常深的神经络学习数据驱动的课程学习）

Learning to Reweight Examples for Robust Deep Learning（学习重新为样本设置权重，用于鲁棒深度学习），非原作者 github

Dimensionality-Driven Learning with Noisy Labels（有噪声的标签上的维度驱动学习），github

深度学习（神经络架构）（session 3）

Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples（通过查询与反例从RNN中抽取自动机），对于那些经过理论计算机科学和深度学习训练的人来说，这篇论文应该是非常有趣的。

Autoregressive Convolutional Neural Networks for Asynchronous Time Series（用于异步时间序列的自回归卷积神经络），github。这是我们的论文，是一个自回归模型，其权重是非线性的，可以处理异步多变量时间序列。对于一个应用的例子，想象经销商在场外交易市场中提供报价：这些报价到达的时间随机（或多或少与经销商有些关系），报价可能存在一些偏差和方差（bias and variance)，同时在转给其他经销商时可能有一些滞后。该模型旨在捕捉这些关系，并且主络的权重允许对这些经销商之间的关系（超前-滞后）进行一些解释和可视化。我们可以将这项工作推广到其他计量经济模型。

正会会场之外，JPMorgan也在自己的展台上展示了自己的深度对冲方法。

ICML正会第三天 -时间序列分析，NLP，更多仿人的学习机器ICML正会第三天开场的是 Ronan Collobert与Jason Weston的ICML 2008论文《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》（一个自然语言处理的统一架构：多任务学习深度神经络）获得「时间检验奖」的演讲。在 这里可以看到 10年前作者们的一些讨论以及当时是否被接受。我没能现场听到他们的演讲，因为斯德哥尔摩的城际列车被停运了。

我参加了这几个session：

时间序列分析（session 1）

深度贝叶斯无参追踪

迁移学习与多任务学习（session 2）

自然语言与语音处理（session 3）

一共有四个演讲，三个是Facebook的研究员在讲，还有一个是谷歌的人在讲

（全文完。 AI 科技评论的ICML报道参见ICML 2018 斯德哥尔摩开幕，公平性研究戴上光环，金句频出，16位大神在ICML上展开了一场机器学习的Great Debates）

viaGautier Maris Wander，(公众号：) AI 科技评论编译

原创文章，未经授权禁止转载。详情见转载须知。