广告
广告
机器学习之深度学习的未来
您的位置 资讯中心 > 产业新闻 > 正文

机器学习之深度学习的未来

2019-11-08 17:05:55 来源:CDA数据分析师 点击:1295

【大比特导读】可以想象到一个未来,其中将使用不会利用梯度的有效搜索过程来训练(增长)全局不可微(但具有可区分部分)的模型,而可利用优势来更快地训练可区分部分。使用一些更有效的反向传播版本的梯度。

鉴于我们对深网的工作原理,局限性以及研究现状的了解,我们能否预测中期的发展方向?这是一些纯粹的个人想法。请注意,我没有水晶球,所以我预期的很多事情都可能无法实现。这是一个完全投机的职位。我之所以分享这些预测,并不是因为我希望它们将来能被证明是完全正确的,而是因为它们在当前很有趣并且可以付诸实践。

从高层次来看,我看到希望的主要方向是:

通用计算机程序更接近的模型,是建立在比我们当前的可区分层更丰富的基元之上的,这就是我们将如何推理和抽象的方法,这是当前模型的基本弱点。使上述一切成为可能的新型学习形式-允许模型脱离可区分的变换。不需要人工参与的模型-不断调整旋钮不是您的工作。更好地,系统地重用以前学习的功能和体系结构;基于可重用和模块化程序子例程的元学习系统。此外,请注意,这些注意事项并非到目前为止一直是深度学习的基础的那种监督学习,而是适用于任何形式的机器学习,包括无监督,自我监督和强化学习。标记的来源或训练循环的样子从根本上来说并不重要;机器学习的这些不同分支只是同一构造的不同方面。

模型作为序列模型

正如我们在前一篇文章中指出的那样,我们可以期望在机器学习领域进行必要的转型发展,是从执行纯模式识别并且只能实现局部概括的模型转向具有抽象和 推理能力的模型,实现极端概括。当前具有基本推理形式的AI程序都由人类程序员进行硬编码:例如,依赖于搜索算法,图操作,形式逻辑的软件。例如,在DeepMind的AlphaGo中,大多数“智能”都是由专业程序员设计和硬编码的(例如,蒙特卡洛树搜索);从数据中学习仅发生在专门的子模块(价值网络和政策网络)中。但是在将来,这样的AI系统可能会完全被了解,而无需人工参与。

实现这一目标的途径可能是什么?考虑一种著名的网络:RNN。重要的是,与前馈网络相比,RNN的限制略少。这是因为RNN不仅仅是几何变换:它们是在for 循环内重复应用的几何变换。暂时的for循环本身是由开发人员进行硬编码的:它是网络的内置假设。自然地,RNN的表示能力仍然受到极大限制,主要是因为它们执行的每个步骤仍然只是可微的几何变换,并且它们从一步到一步传递信息的方式是通过连续几何空间中的点(状态向量)进行的。

现在,想象一下以类似的方式通过编程原语(例如for循环)来“增强”神经网络,但不仅仅是for具有硬编码几何内存的单个硬编码循环,而是模型所包含的大量编程原语可以随意操作以扩展其处理功能,例如if分支,while语句,变量创建,用于长期内存的磁盘存储,排序运算符,高级数据结构(如列表,图形和哈希表)等等。这样的网络可以代表的程序空间将比当前深度学习模型所代表的程序要广阔得多,并且其中一些程序可以实现更高的泛化能力。

一言以蔽之,我们将摆脱一方面拥有“硬编码算法智能”(手工软件),另一方面不再具有“学习几何智能”(深度学习)的能力。我们将混合使用提供推理和抽象功能的形式化算法模块和提供非正式直觉和模式识别功能的几何模块。整个系统将在几乎没有人参与的情况下学习。

我认为AI的一个相关子领域可能会大有作为,它是程序综合领域,尤其是神经程序综合领域。程序合成包括通过使用搜索算法(可能是遗传搜索,如遗传编程)自动生成简单程序,以探索大量可能的程序。当找到符合所需规范的程序时,搜索将停止,该程序通常以一组输入输出对的形式提供。正如您所看到的,它是否使人联想到机器学习:给定输入和输出对提供的“训练数据”,我们找到了一个将输入与输出匹配并可以归纳为新输入的“程序”。不同之处在于,我们生成的不是在硬编码程序(神经网络)中学习参数值通过离散搜索过程获取源代码。

我绝对希望这个子领域在未来几年内会引起新的兴趣。特别是,我希望在深度学习和程序合成之间出现一个交叉子域,在该领域中,我们不会以通用语言生成程序,而会在其中生成神经网络(几何数据处理)。流)增加了一组丰富的算法的图元,如for循环等等。与直接生成源代码相比,这应该更容易处理和有用,并且它将大大扩展机器学习可以解决的问题的范围-在给定适当的训练数据的情况下,我们可以自动生成的程序空间。象征性AI和几何AI的融合。当代的RNN可以看作是这种混合算法-几何模型的史前祖先。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时更正、删除,谢谢。

分享到:
阅读延展
人工智能 算法 机器学习
  • ​物联网在不同工业和商业环境中的转换能力

    ​物联网在不同工业和商业环境中的转换能力

    第四版的IoT解决方案世界大会(IoTSWC)–有关工业物联网创新的国际参考活动–将于10月16日至18日在巴塞罗那Fira的Gran Via展览馆举行,共有341家参展商和316家来自世界各地的演讲者,旨在展示物联网在不同工业和商业环境中的转换能力,并展示其与人工智能和区块链的一致性。

  • 紫光展锐获承锐基金10亿元投资,高举5G、AI大旗深耕三大业务

    紫光展锐获承锐基金10亿元投资,高举5G、AI大旗深耕三大业务

    据了解,紫光展锐获承锐基金10亿元投资,增资资金用于 5G、物联网、人工智能等领域的核心芯片研发,将进一步夯实紫光展锐的基础技术竞争力,值得一提的是,作为未来数字世界的生态承载者,以生态为核心战略,高举 5G 和 AI 两面技术旗帜,深耕三大业务领域。

  • 鸿海1693万美元转投礼鼎半导体,抢攻高阶面板扇出型封装

    鸿海1693万美元转投礼鼎半导体,抢攻高阶面板扇出型封装

    据了解,鸿海规划砸下 1693 万美元,转投资礼鼎半导体科技,投资“电动汽车、数字健康、机器人”三大产业,以及“人工智能、半导体、下一代通信技术”这三项新技术领域,另外,以电动汽车为例,鸿海拥有全球市场供应链系统、关键零部件制造、机械机构设计研发、系统整合服务等优势。

  • 玖富数科集团 依托大数据、人工智能等技术做好风控

    玖富数科集团 依托大数据、人工智能等技术做好风控

    业内普遍认为,消费金融市场越下沉就越面临风控方面的挑战。尽管三四线城市及广大农村地区的下沉客群市场规模巨大,但征信记录普遍较缺乏,这部分人群很多都是“白户”,并且对征信不敏感。

  • 智能家居产品真香!欧普照明携手华为再推照明新产品

    智能家居产品真香!欧普照明携手华为再推照明新产品

    在智能家居领域,欧普照明还与百度开展跨界合作。另外,该公司与阿里巴巴人工智能实验室主要撰写了《SIG MESH 智能家居照明白皮书》,该白皮书为智能家居照明行业提供了事实性标准,已于去年发布。

  • 大数据如何赋能疫情防控?

    大数据如何赋能疫情防控?

    可以说,运用大数据、云计算、区块链、人工智能等前沿技术,推动城市管理手段、管理模式、管理理念创新,是助推城市治理体系和治理能力现代化的必由之路,更是释放城市应急管理效能的必由之路。

  • 意法半导体推出最新的飞行时间传感器,为下一代工业和个人电子设备带来多目标测距功能

    意法半导体推出最新的飞行时间传感器,为下一代工业和个人电子设备带来多目标测距功能

    中国,2020年5月26日——出货量逾10亿的飞行时间(ToF)解决方案全球领导者意法半导体,推出采用直方图算法专利的新产品VL53L3CX,进一步扩大其FlightSense™ ToF测距传感器的产品范围。新产品可以测量多个目标的距离,而且测距准确度更高。

  • Redmi智能电视X系列搭载MEMC技术   售价几何成悬念

    Redmi智能电视X系列搭载MEMC技术 售价几何成悬念

    据了解,Redmi智能电视X系列搭载MEMC运动补偿技术,支持60Hz智能补偿算法,可避免由于视频画面帧数不够而出现的重影、拖尾等问题。

  • 学大数据有哪些就业方向?薪资高吗?西安汇杰告诉你真相

    学大数据有哪些就业方向?薪资高吗?西安汇杰告诉你真相

    大数据作为一门基础科学,无论在数据开发及分析、物联网和人工智能算法训练领域,都有着核心技术和职位诉求,那么开发方向都有哪些对口的工作职位呢?

  • 大数据应用专项技术培训(BAST)将开班

    大数据应用专项技术培训(BAST)将开班

    培训对象主要为数据开发工程技术人员(Hadoop工程师、ETL工程师、算法工程师、数据分析师等)、数据产品经理、广告产品经理,数据产品运营、数据业务运营人员及其他有兴趣的中高级开发工程师。

  • 江苏大数据开发与应用大赛启动

    江苏大数据开发与应用大赛启动

    本次大赛共设置车联网、社会治理、医疗卫生3个算法赛道和数字+消费创新创意应用赛道,奖金总额高达100万元。大赛中涌现的优秀团队将有机会入驻无锡数据湖科技企业孵化器,加速产品、项目落地。

  • 大数据开发与应用大赛启动

    大数据开发与应用大赛启动

    据了解,本次大赛共设置车联网、社会治理、医疗卫生3个“算法赛道”和数字+消费创新“创意应用赛道”,决赛暨颁奖大会将于9月下旬举行,由专家评委对参赛项目进行现场打分。4个“赛道”奖金总额高达100万元。赛事面向全社会开放,企业、高校、科研院所人员均可自由组队报名参赛。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“大比特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得大比特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
Copyright Big-Bit © 2019-2029 All Right Reserved 大比特资讯公司 版权所有       未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任