优达学城深度学习课程总结

优达学城深度学习课程总结

断断续续两三个月的时间，将优达学城上谷歌团队的深度学习课程视频和练习大致完成（现在还留下大作业和seq2seq模型没有完成，这两个遗留问题，未来慢慢研究，待出结果后在写一篇博文详解），现在简单总结下完成了哪些内容并从中学到了什么。

按照练习的顺序，首先简单的学习了机器学习中一些常见的内容，比如逻辑回归、softmax、常用的onehot、正则化、验证集（不是很理解）和梯度下降等优化算法（需要看论文进一步学习），完成了对notmnist数据集的数据预处理工作（主要是看别人写完的代码，对着重新敲了一遍，有一定的收获，代码见code），该课程的主要问题就是因为课程时间短，介绍的非常基本，仍需要以后不断地去补充学习。

接下来开始介绍深度神经网络，简单的介绍了双层神经网络、激活函数ReLU、反向传播、Dropout正则化（需要看论文进一步学习）等，完成了简单神经网络的搭建和优化和应用正则化降低过拟合的任务。（代码也是抄袭的，学到的知识有限）

之后就介绍了卷积神经网络，课程简单的介绍了什么是卷积网络以及如何实现卷机网络，对于不了解卷积网络的同学会有一定的帮助，另外介绍了Inception结构（不理解）；练习中完成了简单卷积网络的搭建，并从代码中学习到了learning_decay的trick。

最后就是文本和序列的深度模型，首先讲了经典的word2vec（断断续续的花了好长时间才弄明白），之后介绍了RNN和LSTM（需要进一步学习该模型），介绍的比较浅显，不是很明白；完成了word2vec的练习和lstm的大部分练习（最后一个seq2seq没有去接触，不久的将来，学习该模型的时候再来补充）

总的来说，还是学到了一些知识的。该课程最后的一个遗留问题就是实时摄像头应用的开发，这是对这么长时间学习的一个检验，这个还是必须要去做的，等做完后，我会写一个博客记录每一个过程，分享给大家，第一篇博客，写的有点任性，就这样吧。