MIT 6.S094· 深度学习|学霸的课程笔记,我们都替你整理好了

MIT 6.S094· 深度学习|学霸的课程笔记,我们都替你整理好了

首页模拟经营3D驾驶课2更新时间:2024-10-24

雷锋网按:雷锋字幕组获MIT课程团队授权翻译自动驾驶课程,视频链接:http://www.mooc.ai/course/483/info

我们为你整理了每一个 Lecture 的课程笔记,提炼出每一讲的要点精华,推荐结合课程笔记观看视频内容,学习效果更佳。

原标题 MIT 6.S094:Deep Learning for Self-Driving Cars 2018 Lecture 1 Notes

作者 | Sanyam Bhutani

翻译 | 李瀚 刘徽 整理 | 凡江

*以下所有图片均来截取自该课程幻灯片。

深度学习:为多项人工智能技术服务的成套技术,近年来伴随着研究的不断深入和GPU能力的不断拓展,它也变得更加强大,SDC就是能够利用这些技术的系统。

讲师致力于研发能够理解车内和车外环境的汽车。

主要竞赛项目:

为什么要自动驾驶?

目标:为自动驾驶汽车部署以数据驱动的学习方式。

这是多个个人机器人的最复杂最庞大整合。

自动驾驶汽车: 与其说是感知控制终端(Perception-Control)更不如说是个人机器人(Personal Robot)。面对各种路况,这些系统还需要通过交接控制权来获得人类的帮助。而真正意义上,能够像人类一样具备动态天然属性的感知系统,至少还要发展数十年时间。

认知负载: 完整连接的卷积神经网络(CNN)在处理RAW 3D输入源,分析驾驶员的认知负载,身体姿势和疲劳程度。

实参: 要实现完全自动驾驶,智力需要在某些领域接近人类。

以人类为中心的人工智能方法

建议:在每个算法设计过程中将人的因素考虑进来。

为何要深度学习?

深度学习平台能够非常出色地处理大数据。届时人类的性命直接交付到这些设备上,因此这项技术必然需要通过现实生活的数据进行学习。

什么是深度学习?

人工智能:能够实现多个复杂目标

理解/推理:能够将复杂信息转换成简单和实用的信息。

深度学习(表示学习或者特征学习)能够在没有任何解释的情况下提取源信息,并且构建分层表示允许生成各种洞察报告。

表征学习

神经网络

受到人类生物神经的松散网络的启发而来。

  1. 人类神经网络不需要堆栈,而人工神经网络需要;

  2. 人类神经网络没有顺序之分,而人工神经网络存在;

  3. 同步学习和异步学习;

  4. 未知学习和Backprop算法;

  5. 处理较慢 Vs 处理较快;

  6. 低功耗VS低效率;

相似性:两者都是大规模的分布式计算。

基础神经元是非常简单的,但是相互连接的多个单元能够应用在非常复杂的案例中。

神经元

  1. 神经元包含了一组具有权重邻域的输入源。

  2. 权重是相乘得来的。

  3. 再添加偏置( bias)。

  4. 非线性函数来确认神经网络是否被激活。

神经网络的组合:

  1. 前向神经网络(Feed-forward NN): 已经成功应用于计算机图形中。

  2. 递归神经网络(recursive NN): 能够自我回溯,且具备记忆。目前已经成功应用于关于数据的Time Series,这非常接近于人类(因此很难进行培训)。

普遍性:多元神经网络可以在给定足够优秀算法的前提下只通过1个隐层来逼近任意函数。

提供了非常好的算法。

缺陷: 这并不是神经网络的功劳,而是算法的功劳。

深度学习的种类

  1. 监督学习:全部使用人工标注的数据;

  2. 扩展监督学习:所需人工标注数据和未标注数据持平;

  3. 半监督学习:少量人工标注数据以及大量未标注数据;

  4. 强化学习:极少量人工标注数据以及大量未标注数据;

  5. 无监督学习:全部使用未标注数据;

现阶段经常使用的是1和2。

未来趋向的和更好的是3、4和5。

深度学习影响的领域:

  1. 定义和解决一个具体的问题。比如:预估波士顿的房价。

  2. 通用目的的人工智能(或者几乎全部):使用强化学习和无监督学习。

有监督的学习

训练阶段:1. 输入数据集; 2. 贴标签; 3. 在训练数据集上训练。

测试阶段:1. 使用新的数据集测试; 2. 输入学习模型; 3. 结果输出。

学习

我们可以用深度学习做什么?

术语解释:

神经网络的结构:

激活函数

梯度消失:输出或者梯度值很小并且学习速率很慢。

反向传播

关于神经网络的学习过程,其主要目的:为了更新权重和偏差值来降低损失函数。

基本任务:

  1. 通过前向传播,计算网络的输出值和残差。

  2. 反向传播计算梯度。

  3. 把一部分权重的梯度从权重中去除。

由于这个过程是模块化的,所以它是并行运行的。

训练

训练是一个最优化的过程。

目标是通过更新权重和残差使损失函数最小化。

需要使用技巧的地方:最小单元的梯度下降和随机梯度下降。

训练中存在的挑战

正则化

有一些通用性的技巧。

Dropout:随机丢弃其中一些节点(和输入和输出的节点一起)

目的:帮助网络更好地归纳。

正则化范数约束项

  1. 在偏差没有增加的情况下,一直保持较小的权重值。

  2. 避免样本的拟合错误。

  3. 更平滑的模型。

  4. 对于两个类似的输入,权重需要进行分配。

  1. 允许保持较大权重。

神经网络游乐场:运用技巧和试验来实践。

深度学习引起的突破

改变了什么?

  1. 计算能力的提升。

  2. 可实现大型有规律的数据集。

  3. 对于GPU的利用领域的算法和研究。

  4. 软件和基础设施。

  5. 经济支持。

深度学习是困难的

人体的复杂性:

  1. 人的视觉:形成了5,4000,0000年的历史数据。

  2. 直立行走: 2,3000,0000年的历史数据。

  3. 抽象思考:10,0000年的历史数据。

神经网络:

  1. 会增强对于像素级样本的失真,导致预测不准确。

  2. 图像本身的问题:光照、姿态、遮挡和内部类别的不同等情况。

物体识别或分类

目标:输入一幅图像并预测输出。

ImageNet: 1400万种以上的输入和2。18万种以上的输出。

ILSVRC比赛:

AlexNet(2012):在准确性上有了显著的提高。

Resnet(2015):在识别的准确率上击败了人类。

巧妙的例子:深度学习和"人类普适性的能力"还有差距许多相同的架构的应用:我们可以根据需求种类的数量改变输出层。

FCNN

每个像素点都被分为一类,然后它输入一幅图像,产生另外一幅图像作为输出。

目标:图像和图像间的对应。

使用场景:

使用场景:

主要的突破点

Pong to Pong (2012):更接近通用人工智能。

AlphaGo (2016):可以从人类的专家级别游戏中学习AlphaGo Zero (2017):打败了AlphaGo和Co,它不需要任何外部数据输入(它通过和自身对抗训练进行学习)。

DeepStack (2017):第一次击败了专业的扑克选手(在Heads up Poker中)。

现阶段的缺点

现阶段的挑战:

雷锋网雷锋网

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved