理论+公式推导+实战+视频讲解等丰富资源，手把手带你入门
这篇书评可能有关键情节透露
作者俞勇团队结合多年编程教育、强化学习经验以及学生反馈，打造了这本强化学习入门佳作，从“基础”“进阶”“前沿”“展望”四个方面着手，让读者不仅能掌握强化学习的理论知识，更能掌握真正运用强化学习的能力。
这本书的主要特点有四点，而这四点又正好是我们自学强化学习最好的四大步骤。
俞勇教授真不愧是教学名师啊！对于书籍内容和结构的安排太赞了......
（1）注重理论基础，兼顾公式推导
首先，这本书不仅注重理论基础，还兼顾了公式推导。这本书主要包含 3 个部分内容：
●第一部分为强化学习基础，讲解强化学习的基础概念和表格型强化学习方法；
●第二部分为强化学习进阶，讨论深度强化学习的思维方式、深度价值函数和深度策略学习方法；
●第三部分为强化学习前沿，介绍学术界在深度强化学习领域的主要关注方向和前沿算法。
异步君墙裂推荐这本书的原因是什么呢？
要知道，现在市面上的强化学习教材是无法在把理论知识通俗易懂地讲解出来的同时，做到把公式也一步步推导出来的。许多教材是先出“入门版”，再配套出“公式推导版”。
可能，有刚刚入门的小伙伴会有疑惑：
“我这才刚入门，打好理论基础不应该才是最重要的事情吗？哪有那么多精力弄公式推导？”
怎么说呢，你刚刚入门时是应该重点关注理论基础，毕竟“基础不牢，地动山摇”，但是，当你学得越来越深入，公式推导的重要性越发重要。
一来，要想掌握理论背后的物理、数学含义，你需要进行公式推导；
二来，要想知道某种理论的适用范围，你需要通过公式推导；
三来，要想对比不同算法的优越性，对比不同模型的适配度，你需要对底层公式推导有着清晰的认识。
最后，但是特别重要的一点，要想熟练编写代码和理解算法，你需要深入公式推导，毕竟这是写代码的目的所在。
异步君记得有一个段子是这样说的：“理论再好，代码难搞。公式推导，明年博导！！！”虽然有些搞笑，但是说的还是在理的。
给你看个这本书的公式推导过程，这步骤清晰得让新手完全不同经历那种“公式不知道用在哪里，公式不知道怎么推导出来的“抓狂体验：
（2）注释清晰，再也不怕算法，代码实战落地性强
对于初学者而言，强化学习一难在理论，二难在代码实战。而这本书开始就为你解决了理论基础和公式推导的难题，接下来的代码难关也为你提供了解决之道。
在ACM 班的强化学习课程中，作者们尝试以在线 Python Notebook 的形式为学生提供课程辅助材料和代码小作业。对于一个强化学习主题单元，他们将原理讲解部分（包括配图和公式）与对应的代码实践部分耦合，使学生在学习完一个原理知识点后能立即以代码实践的形式学习其实现方式。
更重要的是，这样的代码块可以直接在线运行和修改，也就是说学生可以在一个 Notebook 里完成对一个强化学习主题单元的原理学习和代码实践。
从上海交通大学的学生的反馈来看，这样的学习方式能帮助他们更好地将理论知识点和实践能力点对应，也能帮助老师更高效地授课、布置和批改作业。
所以，这本书就沿用了这种方法。理论与实践并重，提供配套的线上代码实践平台，通过展示源码的编写和运行过程，让读者进一步掌握强化学习算法的运行机制，帮助读者通过实践加深对理论的理解。
书中提供的代码都是基于Python 3编写的，此外，考虑到目前 PyTorch 机器学习框架比较受欢迎，本书中的代码在涉及自动求导时皆使用PyTorch 框架实现。
每一章的内容都提供了Jupyter Notebook链接，可以在线直接运行。每一份示例代码中都包含可以由读者自行设置的变量，方便读者进行修改并观察相应的结果，从而加深对算法的理解。书中的一些关键代码都有相应注释，特别适合那些对编程很吃力的初学者。
（3）视频网课、配套丰富资源，让你做资源最多的强化学习者！
对于自学一种新技术，我们要么是通过购买一本入门教材，要么是到网上寻找大师视频课程进行学习。而这本书，就提供了一种兼顾教材和网课的学习方法，能让你系统地学习强化学习。这也是它的最大优势之一。
你可以在讨论区提问，作者团队会在线答疑，避免学习的迷茫期。
提供配套课件，教师可以采用其进行授课，特别方便。
一本追求卓越，满足初学者需求的强化学习百宝书，开始动手学强化学习吧！
