发新帖

使用进化 AutoML 发现神经网络架构

[复制链接]
681 4

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
本帖最后由 梓芳FionaFeng 于 2018-4-13 16:59 编辑

发布人:Google Brain 团队高级软件工程师 Esteban Real

从 5 亿年前非常简单的蠕虫大脑到今天的各种现代化结构,大脑经过了漫长时间的进化。人类大脑可以完成各种活动,其中许多活动都可以毫不费力地完成,例如说出视觉场景是否包含动物或建筑物对我们来说非常简单。要执行此类活动,人工神经网络则需要专家通过多年的艰苦研究进行精心设计,并且通常只能完成一种特定的任务,例如找出照片的内容、识别遗传突变,以及帮助诊断疾病。理想情况下,我们希望能用一种自动化方式为任何给定任务生成合适的架构。

567.png


生成这些架构的一种方式是使用进化算法。传统的拓扑神经进化研究(例如 Stanley 和 Miikkulainen 在 2002 年发表的这篇论文)奠定了基础,让我们今天可以大规模应用这些算法,许多团队都在研究这个课题,包括 OpenAI、Uber Labs、Sentient Labs 和 DeepMind。当然,Google Brain 团队也一直在思考 AutoML。除了基于学习的方法(例如强化学习)外,我们还想知道能否使用我们的计算资源通过编程方式以史无前例的规模进化图像分类器。我们可以在尽可能不需要专家参与的情况下实现解决方案吗?今天的人工进化神经网络能有多好的表现呢?我们通过两篇论文解决这些问题。

在 ICML 2017 上发表的 Large-Scale Evolution of Image Classifiers 中,我们使用简单的构建块和普通的初始条件设置了一个进化过程。想法是我们退到背后,让大规模进化执行构建架构的工作。从非常简单的网络开始,这个过程发现分类器与当时手动设计的模型相当。这是令人鼓舞的,因为许多应用可能需要很少的用户参与。例如,一些用户可能需要更好的模型,但可能没有时间深入学习相关知识,成为机器学习专家。接下来自然而然需要考虑的一个问题是,手动设计和进化的组合能否比单独使用任何一种方式效果更好。因此,在最近的论文 Regularized Evolution for Image Classifier Architecture Search (2018) 中,我们通过提供复杂的构建块和良好的初始条件(下文将讨论)参与了这个过程。而且,我们还使用 Google 的新 TPUv2 芯片扩大了计算范围。现代化硬件、专家知识和进化的这个组合共同在 CIFAR-10 和 ImageNet 上产生了最先进的模型,CIFAR-10 和 ImageNet 是两个热门的图像分类基准。

内容详见:谷歌开发者中文博客

本楼点评(0) 收起

精彩评论4

admin  管理员  发表于 2018-4-13 17:22:20 | 显示全部楼层
本楼点评(1) 收起
竹杖芒鞋轻胜,  TF荚荚  发表于 2018-4-16 09:40:13 | 显示全部楼层
自动化机器学习的框架何时开放?好像一探究竟
本楼点评(0) 收起
isly831130  TF荚荚  发表于 2018-4-16 14:12:24 | 显示全部楼层
這個不是正常人會做的 google自己用 450 1080ti跟 3-4天才 弄好耶
本楼点评(0) 收起
舟3332  TF芽芽  发表于 2018-4-17 21:06:17 | 显示全部楼层
可以去谷歌云上边用哈~
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

主题

帖子

5

积分
快速回复 返回顶部 返回列表