漯河| 江永| 陆丰| 若尔盖| 济南| 东兴| 上甘岭| 清丰| 遂昌| 汉阳| 武胜| 西昌| 景东| 稷山| 旌德| 江阴| 湖州| 如东| 湘阴| 肥西| 黄山市| 九龙坡| 内江| 上犹| 淮安| 志丹| 永德| 雁山| 兴和| 吴江| 石棉| 大连| 永胜| 陵县| 淮阴| 岐山| 康乐| 汝城| 宣威| 澄海| 上思| 习水| 桦川| 鸡东| 明溪| 萧县| 五台| 乌鲁木齐| 丰都| 保亭| 济源| 东营| 治多| 台山| 孟连| 华蓥| 保亭| 托里| 元江| 曲阳| 通许| 施秉| 丰润| 田林| 灵璧| 镶黄旗| 蓬莱| 博爱| 密云| 扬中| 广西| 沂水| 茶陵| 福贡| 松江| 武当山| 峰峰矿| 美溪| 青冈| 弓长岭| 临桂| 新巴尔虎左旗| 凤翔| 长泰| 昂仁| 洪洞| 开平| 常熟| 微山| 连城| 凯里| 永城| 勐海| 察哈尔右翼后旗| 海宁| 代县| 株洲市| 南雄| 陈仓| 平乡| 阳江| 调兵山| 遂宁| 仪陇| 定州| 汉南| 临洮| 牡丹江| 永安| 张掖| 志丹| 张掖| 宜宾县| 高雄市| 华亭| 额尔古纳| 谷城| 安乡| 唐山| 泸县| 河津| 中阳| 蒲城| 大同区| 环江| 原阳| 龙游| 张北| 临朐| 长寿| 龙游| 芷江| 湖口| 潘集| 西充| 阿克陶| 夏津| 资阳| 海宁| 五河| 姚安| 巴中| 子洲| 上思| 新洲| 湘乡| 铁力| 普洱| 陆丰| 汉源| 巴彦| 通化县| 阳山| 南华| 垫江| 永年| 祁县| 陈巴尔虎旗| 凤凰| 射洪| 东莞| 乳源| 城口| 灵川| 霞浦| 长岭| 类乌齐| 赵县| 敦化| 晋宁| 庆元| 南京| 青浦| 临安| 溧阳| 晋城| 拉萨| 金沙| 浑源| 肥乡| 左权| 隆子| 井陉矿| 莱阳| 大同县| 大姚| 湾里| 景谷| 白朗| 清丰| 兴山| 乐陵| 定襄| 桑植| 峨眉山| 天津| 崇信| 罗定| 忻城| 澄江| 浑源| 上饶县| 八达岭| 建瓯| 沁县| 白山| 枞阳| 寿光| 唐河| 肃北| 日土| 南川| 牟平| 柳城| 灵璧| 固原| 云阳| 旬邑| 鹿邑| 昌邑| 泰和| 灌南| 邹城| 正定| 吕梁| 北戴河| 平遥| 扎鲁特旗| 双峰| 璧山| 浑源| 日土| 望城| 盂县| 凤凰| 精河| 南海| 申扎| 台南县| 越西| 大渡口| 浮山| 长顺| 永顺| 乌恰| 曲阜| 让胡路| 尚志| 黎平| 道县| 武穴| 滦南| 黄骅| 息县| 库伦旗| 东辽| 迁安| 滨州| 江津| 凭祥| 通渭| 新晃| 循化| 兴海|

天天购彩票:

2018-10-18 03:13 来源:放心医苑

  天天购彩票:

  导语《鹤舞凌霄》节目已经10期了,很多网友问:什么时候上飞机?别着急,从第11期开始,咱们就说说如何上飞机。一半缤纷,一半冷漠;一半质朴,一半奸诈;一半天使,一半魔鬼;这就是令人又爱又恨的摩洛哥。

本文转自五台山黛螺顶微信公众号宾客们可以在线购买这些寝具以及酒店专用的浴袍、毛巾、床单、枕头和芳香剂等其他用品。

  这五种观向。会众张和平提起,在湖北有很多种凉拌菜……话还没说完,志工赶紧相邀六十六岁的张和平,下次来教大家学做湖北凉拌菜。

  与人类相比,鸟儿面对的诱惑要简单的多。想领略中亚独特的文化和生活,不妨从这个曾经丝绸之路北支线上的明珠开始。

据说,三年来门票价格涨了50元人民币,惹得有贪图小利者,竟然冒被陷于虎山的危险而伺机翻墙。

  能够在南极执航的邮轮是非常有限的,目前全世界仅有29艘,都可以在IAATO的网站上查询到详细信息。

  他表示,在保护好的基础上,利用好文化遗产,才能发挥好文化遗产的弘扬和教育作用,才能让文化遗产真正活起来。酒店的创始人兼设计者维尔伯特·达斯(WilbertDas)与手工艺人以及Pataxó印第安部落结成合作关系,为可持续的设计理念带来了生机。

  就说我们为了成就,上求佛道,下化众生,为了完成这么一个伟大的事业,应受此供。

  从广州到长沙也很方便,周六早上出发,在车上休息两个小时就到长沙啦!2017年12月6日开通的西成高铁,将西安到成都的运行时间由普快11个小时缩短为4小时。大师指出,我此中所云中国佛教本位的新,是以中国二千年来传演流变的佛法为根据,在适应中国目前及将来的需要上,去吸收采择各时代各方域佛教的特长,以成为复兴中国民族中的中国新佛教,以适应中国目前及将来趋势上的需求。

  经译好了,波利就带着梵文原本,去参拜五台山。

  近几个月来,在广大善信踊跃参与支持下,佛教百寺基金共向西藏、新疆、贵州、甘肃、四川、云南、内蒙古、河北、江西、青海等省、自治区捐赠了价值1300余万元的羽绒服23500件,分别由佛教百寺基金派专人将大家的一份爱心送往上述地区的贫困家庭、老人、学生、僧人手中,让他们在寒冷的时节有一个温暖的冬天。

  过马路直行一百米就是华欣海滩……,再多说有广告之嫌了,呵呵!有什么好看好玩儿的去处?华欣和泰国很多地方一样,首先是海滩度假,作为皇室度假的地方,这里有一个目测大约有四五公里长的海滩,沙滩平缓,海沙细腻,最大的好处是人少空间大,完全没有芭提雅这边的拥挤状况。如果你觉得在哪里见过它,一定是电影里,或者你真的有时空穿越的本事。

  

  天天购彩票:

 
责编:
设为书签 Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。 您也可下载桌面快捷方式。点击下载 | 新浪首页 | 新浪导航

谷歌AI为达目的,把自己的身体改造成了这样……

2018-10-18 14:04:04    创事记 微博 作者: 量子位   
△ 今天的主角,可能是AI界的橡胶果实了△ 今天的主角,可能是AI界的橡胶果实了
文化和旅游部成立,将有利于丰富旅游的文化内涵,随着市场层面的产品跟进之后,将会为广大旅游者带来文化含量更高的旅游产品和旅游环节。

  欢迎关注“创事记”的微信订阅号:sinachuangshiji

  文/强化栗

  来源:量子位(QbitAI)

  强化学习AI打游戏,早就不稀奇了。

  智能体在虚拟世界里死去活来,慢慢了解怎样的策略能让自己活得更长,得到更多的奖励。

  但AI可能不知道,游戏打不好,也可能是智能体的身体结构有问题。

  如果可以一边学策略,一边改身材,或许能成就更伟大的强化学习AI。

  于是,来自谷歌大脑的David Ha,为自家AI制定了双管齐下的特殊训练计划:

  智能体不断调整自己的身材,比如腿的长度,找到最适合当前任务的结构;同时进行策略训练。

△身材修炼前 (左) vs 身材修炼后 (右):速度明显不一样△身材修炼前 (左) vs 身材修炼后 (右):速度明显不一样

  你看,智能体把腿跑细了,速度也快了许多。

  除此之外,还可以培养越野能力。

  在沟壑纵横的旅途中,原始身材的智能体时常翻车。

△ 改造前,翻车日常△ 改造前,翻车日常

  但炼成优雅身型之后,翻车事件几乎不存在了,策略训练时间也缩减到原来的30%。

  身材科学了,策略也就好学了。

  那么,是怎样的婀娜身段,能在降低时间成本的同时提升性能?再看一会儿你就知道了。

  秀外慧中,有何密方?

  从前的智能体,形状结构大都是固定的,只关注策略训练。可是,系统预先设定的身材,通常都不是 (针对特定任务) 最理想的结构。

  因此,如同上文所说,策略要学,身材优化也要一起学。

  这样一来,只用策略网络的权重参数 (Weight Parameters) 来训练就不够了,环境也要参数化。

  身体结构特征,比如大腿或小腿的长度、宽度、质量、朝向等等,都是这环境的组成部分。

  这里的权重参数w,把策略网络参数和环境参数向量结合起来,便可以同时培养身材和技巧。

  随着权重w的不断更新,智能体会越来越强。

  身材改造有没有用?只要和仅学策略、不改结构的智能体比一场,如果奖励分有提升,就表示AI找到了更适合这个环境的身型。

  注意,为了修炼AI的冒险精神,研究人员把高难度动作的奖励扩大,引导智能体挑战自我。

  身材改造,疗效甚好

  比赛场地分两大块,一是基于Bullet物理引擎的机器人模拟库Roboschool,二是基于Box2D物理引擎的OpenAI Gym。

  两类环境都经过了参数化,AI可以学着调整里面的参数。

  解锁高分姿势

  首先,来到足球场 (RoboschoolAnt-v1) ,这里的智能体Ant是只四脚怪,每条腿分三截,由两个关节控制。腿是留给AI调节的,球状身躯是不可调节的。

△ 三截腿,最内侧的一截比较不明显△ 三截腿,最内侧的一截比较不明显

  任务很简单,跑得越远越好。

  经过训练 (上图右) ,智能体最明显的变化是腿部更加细长了,且四条腿长短不一,打破了对称性。身材改变之后,步频也加快了许多,长腿怪更早穿过了棕色跑道。

  看一下奖励分:在100次测试里,原始结构的得分是3447 ± 251,而新结构的得分为5789 ± 479,疗效显著。

△ 左为原始,右为身材训练后 (红线代表激光雷达)△ 左为原始,右为身材训练后 (红线代表激光雷达)

  然后,进入绿地场景 (BipedalWalker-v2,基于Box2D,属于Gym) 。这里的智能体是两足的,在“激光雷达”的指引下往前走。

  任务是在规定时间内,穿越一片和平的地形 (这是简单版,充满障碍物的复杂版见下文) 。用分数来看,100次Rollout超过300分就算任务成功。

  原始身材获得了347分,优化后的身材则有359分。

  两边任务都成功了,但改造过结构的智能体除了瘦腿之外,两腿四截的长度都有变化,给了AI弹跳前进的新姿势。动作看上去更加轻松,分数也高过从前。

  好身材,能加速策略学习

  上文绿地的硬核版 (BipedalWalkerHardcore-v2) 在此:路途崎岖,千山万壑,一不小心就会堕入深渊。

  David Ha要在此证明,强健的身材能为智能体的策略学习带来加成,而不只是“两门功课同步学”那样粗暴的合体。

  与之前的全面瘦腿不同,这次智能体的后腿,进化出了厚实的小腿,且长度和沟壑的宽度相近。

△ 红线代表激光雷达△ 红线代表激光雷达

  这样一来,在跨越鸿沟的时候,后腿就能架起一座桥,保护智能体平稳通过,不翻车。

  与此同时,前腿承担了“危险探测器”的责任,侦查前方有怎样的障碍物,作为“激光雷达”的辅助,可以给后腿的下一步动作提供依据。

  重点是,在这副新身材诞生的过程中,AI已学会了通关策略,耗时仅12小时。对比一下,不做身材优化的原始训练方法,用时长达40小时 (前馈策略网络,96个GPU) 。

  这就是说,优雅的结构加速了智能体的学习过程。

△ 加入身材优化(橙色) ,训练效率明显提升,约1000代达成目标△ 加入身材优化(橙色) ,训练效率明显提升,约1000代达成目标

  脑洞,并非从天而降

  第一,David Ha如何能预感到,改善智能体的结构就可以提升训练效率?

  他说,是从大自然得到了启发。

△ 错误示范△ 错误示范

  有些动物在脑死亡之后,依然可以蹦跳,依然可以游泳。

  也就是说,生物体的许多行为,并不依赖大脑。

  有种叫做体验认知 (Embodied Cognition) 的理论认为,认知的许多特征,都不是大脑独自决定:生物体的方方面面,如运动系统、感知系统、生物体与环境的相互作用等等,都会对认知产生影响。

  比如,运动员在长期训练的过程中,除了身体得到锻炼,某些特定的心理素质也会随之生成。

  David Ha觉得,这样的现象在AI身上也有可能发生:对躯体进行训练,从而影响认知。

  第二,通过训练来改变智能体结构的想法,也是来源于自然。

△ 火烈鸟本不是红色,吃了小鱼小虾之类的食物,羽毛才变红△ 火烈鸟本不是红色,吃了小鱼小虾之类的食物,羽毛才变红

  中学生物告诉我们,表现型是基因型与环境共同作用的结果。

  那么,各式各样的虚拟场景,也会让更适应环境的智能体结构脱颖而出。这样,AI便可以借助环境的选择,炼成更加精湛的技能。

  缘,妙不可言。

  论文传送门:

  https://designrl.github.io/

文章关键词: 网络文化

分享到:
保存   |   打印   |   关闭
全顺里 黄寺西站 肃南 晴隆县 省立医院
中光甫 放城镇 马楼乡 湾王村 宝龙山镇