16届学长回馈贴-机器学习/深度学习入门

一楼吞贴，献祭拉姆塞吧

学生证镇楼，增加可信度（手动滑稽）…

写这个帖子的起因呢，是我想起我大学四年的时候，很多很聪明的童鞋，家境也没有很好，有的是因为对老师讲的不感兴趣，有的是真的沉迷lol等游戏无法自拔，成天无所事事，最后空耗了大学四年时光，埋没了天赋，到最后也没有很好的工作，可以说非常的令人难过了。因此想要写这么一个帖子，也算是给大家看一看一条不一样的路吧。功不唐捐，与君共勉。
学长之后也会写一个德国留学的帖子，科普一下留学德国的情况，当然你非要问美帝，英加澳什么的学长也能说个大概，这些坑学长自己也都填过，如果有意向留学德国或者想学人工智能的童鞋，对此有问题的童鞋，可以加学长 Wechat（“微信”关键词貌似会被吞掉 = 。= ）： 15364746410
以下这部分内容基本转自知乎，想看原文的童鞋，可以移步知乎，当然下文也加入了我自己的很多感受和一些实用的学习机器学习过程中的小技巧 https://zhuanlan.zhihu.com/p/29704017

背景
写这篇教程的初衷是很多朋友都想了解如何入门/转行机器学习/深度学习，搭上人工智能这列二十一世纪的快车（想站着挣钱的，手动滑稽）。文章的宗旨是：
1. 指出一些自学的误区
2. 不过多的推荐资料
3. 提供客观可行的学习表
4. 给出进阶学习的建议。
这篇文章的目标读者是计划零基础自学的朋友，对数学/统计/编程基础要求不高，比如：
· CS在读的学弟学妹
· 非计算机专业的但是想转机器学习/深度学习的学弟学妹
· 已经工作但想将机器学习/数据分析和自己的本职工作相结合的校友
因此，这篇文章对于已经身处机器学习领域可能帮助不大。同时再次声明这只是我的个人看法，请大家有选择的性阅读，探索适合自己的学习方法。

1. 自学机器学习的误区和陷阱
1.1. 不要试图掌握所有的相关数学知识再开始学习
在很多相关的回答中，微调都一再强调不要试图补足数学知识再开始学习机器学习。一般来说，大部分机器学习课程/书籍都要求：
· 线性代数：矩阵/张量乘法、求逆，奇异值分解/特征值分解，行列式，范数等
· 统计与概率：概率分布，独立性与贝叶斯，最大似然(MLE)和最大后验估计(MAP)等
· 优化：线性优化，非线性优化(凸优化/非凸优化)以及其衍生的求解方法如梯度下降、牛顿法、基因算法和模拟退火等
· 微积分：偏微分，链式法则，矩阵求导等
· 信息论、数值理论等
一般人如果想要把这些知识都补全再开始机器学习往往需要很长时间，容易半途而废。而且这些知识是工具不是目的，我们的目标不是成为优化大师。建议在机器学习的过程中哪里不会补哪里，这样更有目的性且耗时更低。
1.2. 不要把深度学习作为入门第一课
虽然很多人都是冲着深度学习来的，但把深度学习作为机器学习第一课不是个好主意。原因如下：
· 深度学习的黑箱性更加明显，很容易学得囫囵吞枣
· 深度学习的理论/模型架构/技巧还在一直变化当中，并未尘埃落定
· 深度学习实验对硬件要求高，不太适合自学或者使用个人电脑进行学习
更多讨论可以看微调的回答：深度学习的教学和课程，与传统 CS 的教学和课程有什么区别？
1.3. 不要收集过多的资料 & 分辨资料的时效性
机器学习的资料很多，动辄就有几个G的材料可以下载或者观看。而很多朋友都有“收集癖”，一下子购买十几本书的人我也常常能够看到。
机器学习的发展和变化速度很快。在入门期间，建议“小而精”的选择资料，选择近期出版的且口碑良好的书籍。我不止一次的提到这个例子：
在很多深度学习的教科书中，尤其是10年以前的教科书中都还依然把Sigmoid当作默认的激活函数。但事实上，整流函数(ReLu)以及其拓展变形函数，如Leaky ReLu早就成为了主流的深度学习激活函数。但因为知识的滞后性，很多课程/书籍甚至都没有介绍ReLu的章节。
一般来说，我比较推荐近5年内出版的书籍，或者10年以后出版的书籍。有些书籍虽然是经典，比如Tom Mitchell的《机器学习》，但因为其出版已经超过20年，还是不建议大家购买。
在这篇文章中我所推荐的书籍和课程都相对比较经典，同时属于紧跟时代潮流的。入门阶段我推荐了1门课程和2本书，进阶阶段推荐了1本书，深度学习推荐了1门课程一本书，高级阶段推荐了2本额外书籍。

2. 机器学习的一些前期准备
2.1. 硬件选择
另一个大家常问的问题是：是否可以用自己的笔记本电脑进行机器学习。答案是肯定的，大部分市面上的数据集都可以放到你的内存中运行。在入门阶段，我们很少会用到非常大的数据集，一般最大也就是MNIST，完全可以使用个人笔记本电脑进行运行。在Windows笔记本上也可以用GPU进行深度学习，参见我的教程：用GPU加速深度学习:Windows安装CUDA+TensorFlow教程。请不要打着学习的名义重新购买机器...，尤其是拿这个做借口买个Mac，手动狗头…
2.2. 软件选择
如果要做深度学习，Linux还是首选，因为其对很多学习模型支持比较好（主要是深度学习的Library）。
想自己动手安装Linux双系统的，可以参考这个视频https://www.youtube.com/watch?v=JvBZBfY5Pfc&t=953s
这个双系统安装，建议大家不要去看CSDN或者中文搜索到的双系统安装内容，非常的坑，学长本人亲自填过，血泪教训，按照这个视频是最简单最高效的。
但即使你使用的是Windows系统，也可以用虚拟机装Ubuntu来进行学习。（学长本人非常不建议虚拟机，卡顿明显，双系统才是你的好伙伴）小型的深度学习模型足够了，大型的深度学习我们很少在本地/个人计算机上运行。
至于编程语言，首推Python，因为其良好的拓展支持性，主流的工具包都有Python版本。在特定情况下，选择R作为编程语言也是可以的。其他可能的语言还包括C++、Java和Matlab，但我个人不大推荐。
此处也想额外提一句，因为编程属于机器学习基本要求之一，所以推荐大家可以自学一些基础编程的知识(如Python)，在文中不再赘述。想学习Python的童鞋，可以参考廖雪峰的Python3，非常之好内容，大力安利，如果想写一些简答的小项目的话，可以跟着牛客学python的0基础小白学Python：
https://www.nowcoder.com/discuss/66541
2.3. 语言能力
学好英语，至少打下阅读和听力的基础。虽然人工智能领域中国现在已经做得很不错，但主流的书籍、期刊和会议，资料都是英文的。我们可以接受翻译版，但最好的方法还是自己有能力直接阅读。即使你将来不做机器学习，英文阅读能力还是会有很大的帮助。

3.1.3. 周志华《机器学习》
周志华老师的《机器学习》也被大家亲切的叫做“西瓜书”。虽然只有几百页，但内容涵盖比较广泛。然而和其他人的看法不同，我建议把西瓜书作为参考书而不是主力阅读书。西瓜书因为篇幅的限制，涵盖了很多的内容但无法详细的展看来讲，对于初学者自学来说实际阅读难度很大。这本书更适合作为学校的教材或者中阶读者自学使用，入门时学习这本书籍难度稍微偏高了一些。
我个人建议的用法是在学习网课和阅读ISL遇到疑惑时可以参考西瓜书的相关章节，但入门阶段没有必要一章一章的阅读，建议在这个阶段只阅读前十章即可。

4. 实践经验
4.1. 研究经历
如果你还是学生，尝试尽早接触科研，进实验室。一般来说，大三的时候你应该已经有了基本的机器学习知识，尽管还比较浅。这个时候可以向老师/学长/学姐毛遂自荐进实验室，即使是无偿劳动和做基本的苦力活。进实验室有两个明显的好处：
· 对某个小方向会有比较深入的了解。一般实验室做纯理论的不大需要本科生，做机器视觉或者自然语言处理(NLP)等小方向的比较需要本科生，所以这是很好的深入了解一个方向的机会。
· 补充了研究经历也可以明白自己是否适合这个领域。如果运气好的话，你也有可能成为论文的作者之一，甚至可以去开会(公款旅游顺道见一下业内大佬)。这对于继续深造和去国外继续学习都很有帮助，有科研经历和论文是很大的筹码，对于找工作来说也绝对有利无害。
4.2. 企业实习
上文提到过，机器学习光说不练假把式，最好的方法还是要实践。因此，应该先试着做科研，再尝试工业界实习。对待科研机会，有则就上，没有也不是太大的遗憾。我建议大部分做机器学习的朋友尽早实习，主要出于以下几个考量：
· 打破幻想，了解工业界的主流模型。在其他很多答案中我都提到过，其实工业界用的大部分技术并不酷炫，你很少能看到深度强化学习那种AlphaGo一样酷炫的模型。不夸张的说，广义线性模型(generalized linearmodels)还是占据了大壁江山，这要归功于其良好的解释能力。从神经网络角度出发，一般也逃不过普通任务深度网络、视觉任务卷积网络CNN、语音和文字任务LSTM的套路。
· 补上学术界忽视的内容，比如可视化和数据清洗。工业界的最终目的是输出商业价值，而获得商业洞见的过程其实是非常痛苦的，比如第一步就是令人深恶痛绝的数据清洗。毫不夸张的说，工业界百分之六十的时间都在清理数据，这和学术界干净且规则化的现成数据完全不同。没有在工业界体验过的人，无法真的了解原来机器学习从头到尾有那么多陷阱，泛化能力只是终极目标，而往往我们连规整的数据都无法得到。
· 了解技术商业化中的取舍，培养大局观。做技术的人往往一头扎进技术里面，而忽视了从全局思考。举个例子，模型A的准确率95.5%，每次训练时间是3天，需要6台有GPU的服务器。而模型B的准确率是百分之95.2%，但只需要一台普通的macbook训练4个小时就可以了。从学术角度出发我们往往追求更好的模型结果选A，而工业界还要考虑到训练开销、模型可解释性、模型稳定度等。到工业界实习不仅可以培养大家的宏观掌控能力，对将来自己带学生控制开销或者选题也大有帮助
4.3. 在本职工作中使用机器学习
对于大部分已经工作的朋友来说，重新回到学校攻读学位并不现实，进研究室进行学习更是缺少机会。那么这个时候，你就可以试着把机器学习应用到你自己的工作当中。
已经有了工作/研究经验的朋友，要试着将自己的工作经历利用起来。举例，不要做机器学习里面最擅长投资的人，而要做金融领域中最擅长机器学习的专家，这才是你的价值主张(value proposition)。最重要的是，机器学习的基本功没有大家想的那么高不可攀，没有必要放弃自己的本专业全职转行，沉没成本太高。通过跨领域完全可以做到曲线救国，化劣势为优势，你们可能比只懂机器学习的人有更大的行业价值。
举几个我身边的例子，我的一个朋友是做传统软件工程研究的，前年他和我商量如何使用机器学习以GitHub上的commit历史来识别bug，这就是一个很好的结合领域的知识。如果你本身是做金融出身，在你补足上面基本功的同时，就可以把机器学习交叉运用于你自己擅长的领域，做策略研究，我已经听说了无数个“宣称”使用机器学习实现了交易策略案例。虽不可尽信，但对特定领域的深刻理解往往就是捅破窗户的那最后一层纸，只理解模型但不了解数据和数据背后的意义，导致很多机器学习模型只停留在好看而不实用的阶段。

6. 写在最后
虽然人们曾说二十一是生物的世纪，但现在还是人工智能的世纪。欢迎大家来试试机器学习，体验数据分析的魅力。
就像我曾在很多回答中提到，机器学习领域应该要敞开大门，让每个人都可以尝试将机器学习知识应用于他们原本的领域，摒弃人为制造的知识壁垒。唯有这样，机器学习技术才能在更多的不同领域落地，从而反哺机器学习研究本身。
科技日新月异，追逐热点是好的。但在这个浮躁的时代，不管选择什么方向最重要的就是独立思考的能力，和去伪存真的勇气。因此，看了这么多入门教程和经验分享后，我最希望的是你既不要急着全盘接受，也不要因为不对胃口全盘否定。慢下来，好好想想，制定适合自己的计划，这大概才是做科学工作的正确态度。
在思考之后，拒绝外界的噪音，无论是鼓励还是嘲笑。抱着“不撞南山不回头”的信念，继续朝机器学习的高峰攀登。好运！

@太科大召唤我
@辰憬rao
@鹿笙✨c
@白鶸👻
@抖抖酱💖
@玄牝之门s
@曾经的199
求加精，求置顶，谢谢。

**，15机电系的，现已转型JavaEE，目前正准备转大数据