资源 | 斯坦福最新NLP课程上线,选择PyTorch放弃TensorFlow

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/85963183

640?wx_fmt=png

整理 | Jane

出品 | AI科技大本营


今天在斯坦福大学 2019 年冬季  CS224n 最新课程已经正式更新到官网啦。新一年,大家可以开始跟着名校课程学起来啦~今年一个非常大的变化就是所有内容实现都使用 PyTorch,不再使用 TensorFlow。内容设计方面新增了 Transformers、Subword Models、Human Language 等内容。


下面,营长就先从课程简介、需要哪些知识储备、往年课程回顾等几个重要内容为大家介绍一下~


关于 CS224n


近年来,深度学习方法在不同的 NLP 任务中都有着很好的表现,NLP 技术的应用也越来越多。在本课程中,大家可以深入了解深度学习在 NLP 中的前沿研究与最新进展。通过学术讲座、定期作业和最终项目,大家可以学习到设计、部署神经网络所必备的技能,并且深入理解神经网络。与往年不同,今年的课程选择使用 PyTorch,不再使用 TensorFlow 了。


前期知识准备


1.Python:在课程中肯定离不开 Numpy 和 Pytorch,所以对 Python 和 Numpy 不熟悉的同学们,要赶紧学习一下了。当然,如果掌握其他的编程语言,如 C、C++、Java、JS 或 Matlab 等,也会有所帮助。


补习 Python 和 Numpy:

http://cs231n.github.io/python-numpy-tutorial/


2.数学基础:微积分和线性代数;掌握矩阵、向量符号运算等。


3.概率论与数理统计基础:了解概率论的基础知识,如高斯分布、均值、标准差等。


4.机器学习基础知识:有一定的机器学习或深度学习知识,在课程学习中肯定有所帮助。不过没有基础的同学也不用气馁,只要你想学,现在学习资源很多,只要想学还是可以掌握一定的基础内容的。


课程信息


1.讲座:每周二、周四 下午 4:30--5:50


2.授课讲师:

     

640?wx_fmt=png


3.每周课程内容


营长列出了官网给出的每周上课的主要内容,同时也给出了一些推荐阅读,营长每年看到这些课程和推荐阅读的时候,都真心感慨,“唉,这一年想好好学习,真心压力不小啊!”

                                                              

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

第 1 周(1 月 8 日、周二):词向量 1

第 2 周(1 月 10 日、周二):词向量 2

第 3 周(1 月 15 日、周二):反向传播

第 4 周(1 月 17 日周四):神经网络

第 5 周1 月 22 日周二):依存性解析

第 6 周1 月 24 日、周四):RNN 网络和语言模型

第 7 周1 月 29 日、周二):梯度消失与 RNNs 变式

第 8 周1 月 31 日、周四):机器翻译、 Seq2Seq 模型与注意力机制

第 9 周2 月 5 日、周二):终期项目实践技巧

第 10 周2 月 7 日、周四):确定终期项目

第 11 周2 月 12 日、周二):NLP 的 ConvNets

第 12 周2 月 14 日、周四):Subword 模型

第 13 周2 月 19 日、周二):语境表征和预训练

第 14 周2 月 21 日、周四):Transformer 模型

第 15 周2 月 26 日、周二):NLG

第 16 周2 月 28 日、周四):指代消解

第 17 周3 月 5 日、周二):树循环网络与选区解析

第 18 周3 月 7 日、周四):TBD

第 19 周3 月 12 日、周二):安全、偏见与公平等问题

第 20 周3 月 14 日、周四):NLP、深度学习的未来


4.福利


下面这些学习资料都可以在线免费阅读!这些书籍、PPT 都可以在大家学习过程中起到作用:


  • https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/syllabus.html

  • https://web.stanford.edu/~jurafsky/slp3/

  • https://github.com/jacobeisenstein/gt-nlp-class/blob/master/notes/eisenstein-nlp-notes.pdf

  • http://u.cs.biu.ac.il/~yogo/nnlp.pdf

  • http://www.deeplearningbook.org/


如果没有神经网络或者深度学习基础或者背景,可以先从下面这两本书入门:


  • http://neuralnetworksanddeeplearning.com/

  • https://mitpress.mit.edu/books/introduction-deep-learning



往年课程资源


斯坦福大学 2019 年冬季课程 CS 224n 最初开设于 2017 年,由 CS224n(Natural Language Processing) 和 CS 224d(Natural Language Processing with Deep Learning)两门课程合并。在课程官网上,还可以看到给出的往年课程资源,大家可以到课程主页上找到很多学习资料哦~


2018 年冬季课程、报告:

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/reports.html


2017 年冬季课程、报告:

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports.html


更早之前的课程:

http://cs224d.stanford.edu/reports_2016.html

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1162/

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/


(原文)2019 年最新课程全介绍:

http://web.stanford.edu/class/cs224n/


(*本文由AI科技大本营整理,转载请联系微信1092722531)


公开课预告

强化学习



本课程是一次理论+实战的结合,将重点介绍强化学习的模型原理以及A3C模型原理,最后通过实践落实强化学习在游戏中的应用。


640?wx_fmt=jpeg


推荐阅读:

猜你喜欢

转载自blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/85963183