龙8娱乐
当前位置:龙8娱乐 > 龙8娱乐 >
龙8娱乐微软开源 repo 10 旨正在创制深度进修框架
点击数:
龙8娱乐_http://www.hcLix.com_龙8娱乐认证官网

  龙8娱乐原题目:微软开源 repo 1.0 ,旨正在创制深度进修框架通用言语 雷锋网 AI 研习社按,日前,微

  雷锋网 AI 研习社按,日前,微软提出深度进修框架的通用言语——repo1.0,号称但愿通过建立这一深度进修框架「Rosetta Stone(罗塞塔石碑)」,让研究者们可以或许正在分歧框架之间轻松使用专业学问。他们正在博客中讲解了基准深度进修框架的锻炼成果和响应的经验教训,雷锋网 AI 研习社编译拾掇如下。

  大师好,很欢快发布 repo 1.0 版本,目前我们曾经将其正在 GitHub 开源,地址如下:

  我们相信深度进修框架就像言语一样,就像良多人说英语,但每种言语都有各自的利用人群,都有其特定的用法。

  我们曾经为几个分歧的收集布局建立了通用代码,并将代码正在很多分歧的框架中施行。

  我们的设法是建立一个深度进修框架的「Rosetta Stone(罗塞塔石碑)」——只需要领会一个框架就能延长到任何框架,并帮帮其他人。之后,可能呈现这种环境:一篇论文中的代码是用其他框架,或者整个流程都能利用另一种言语。取其操纵你最喜好的框架中从头起头编写模子,还不如间接利用「其他」言语。

  一个深度进修框架的罗塞塔石牌,能让数据科学家轻松正在分歧框架间操纵其专业学问

  下面,我们将带来一类 CNN 模子(从预锻炼过的 ResNet50 中提取特征)和一类 RNN 模子的锻炼时间。

  该模子的输入是尺度 CIFAR-10 数据集,数据集中包含 5 万张锻炼图像和 1 万张测试图像,平均地分为 10 类。每张 32×32 的图像当作 (3, 32, 32) 的张量,像素值从 0-255 调整至 0-1。

  加载预锻炼的 ResNet50 模子,正在最初(7、7)的 avg_pooling 截断,输出 2048D 向量。能够将其插入 softmax 层或其他分类器如加强树来施行迁徙进修。考虑到 warm start,这种仅前向传布到 avg_pool 层是按时的。(留意:批次大小是常量,添加 GPU 内存可带来机能提拔(GPU 内存越大机能越好)。

  该模子的输入为尺度 IMDB 片子评论数据集,包含二万五千个锻炼评论和两万五千个测试评论,数据被平均分成两类 (正/负)。我们遵照 Keras()上的方式,将 start-character 设置为 1, out-of-vocab (利用三万大小的 vocab) 暗示为 2,单词索引从 3 起头。

  利用框架的原始生成器,如许能够通过多线程异步来进行加强和预处置(例如 shuffling),从而加快。

  要确保指定 flag 来避免计较的不需要的梯度,确保 batch-norm 和 drop-out 等层获得合理利用。

  当我们最后建立 repo 时,需要利用很多小技巧来确保框架之间利用的是不异的模子,而且是以最佳的体例运转。正在过去的几个月里,这些框架的改良速度快得令人难以相信。2017 岁暮的很多经验教训正在现正在曾经过时了,由于这些框架曾经更新。

  通过正在分歧的框架中完成端到端处理方案,能够以多种体例比力框架。因为每个框架中利用的都是不异的模子布局和数据,所以框架间的精确度很是类似。此外,我们开辟的目标是使框架之间的对比更简单,而不是为了加快。

  当然,我们是为了比力分歧框架之间的速度和推理,而不是为了展现框架的全体机能,由于这里忽略了一些主要的对比,例如帮帮和支撑、可用的预锻炼模子、自定义层和架构、数据加载器、调试、分歧的平台支撑、分布式锻炼等等。我们开源 repo 只是为了展现若何正在分歧的框架上建立不异的收集,并评估正在一些特定案例上的机能。

Copyright © 2002-2011 龙8娱乐职业健康有限公司 版权所有
联系电话:020-66889888 电子邮箱:329435598@qq.com 公司地址:浙江温州桥西区中山西路58号 琼ICP备65236598号 冀公网安备案112458521254 技术支持:龙8娱乐网络