网课推荐
· 吴恩达（Andrew Ng）
· 李宏毅（Hung-Yi Lee）
人工智能 vs. 机器学习
· 人工智能（Artificial Intelligence）与机器学习（Machine Learning）没有严格的定义。
· 人工智能包含了机器学习。
· 一般来说，人类让某个事物拥有智能，该事物就是AI，一般我们都指的是机器。
· 一般来说，只要一个机器能自我学习，那就是机器学习。
机器学习的本质
· 机器学习的本质是寻找一个函数（Looking for a function）。
· 如果要做股票预测，就需要找到一个函数，输入是历史股票数据，输出是预测未来的股票数据；如果要做图像识别，输入就是一张图，输出就是这张图对应的分类。
机器学习的框架
· 对于要完成某一个任务，要选择一类合适的函数，不同的任务要选择不同的函数。这是一个经验之谈，需要有一定的经验才能选择适合的函数。
· 在选择了函数之后，还需要在该种类的函数中，选择最好的那一个。如下图中，很明显f1的识别效果要比f2好得多，因此肯定不选f2。
· 在机器学习中，我们用模型（Model）代指函数。
· 机器学习中，数据是很重要的，用于给模型进行学习的数据被称为训练数据（Training Data），训练数据包含两部分，分别是输入部分（如下图中的图片）和输出部分（如下图中的标签，即正确答案）。
· 接下来，我们需要评估一个模型（函数）的好坏（Goodness of function F），我们会规定一个损失函数（Loss Function），使用这个函数，我们可以评估每一个函数（f1、f2...fn）的好坏，从而让我们能选出一个最好的函数。
· 最后，我们需要优化算法（Optimization），因为我们想加快搜索的速度（如减少搜索空间），但这不是必须的。
· 总结一下，机器学习的框架如下：先找到一些训练数据，然后选择一类合适的模型，然后对这类模型进行一个个的评估，找到最好（较好）的一个，最后测试。
· 上述经典框架其实在现在只适用于监督学习（Supervised Learning），现在还有很多变种，如零样本学习（Zero-shot Learning），就不需要准备数据集。
机器学习的分类
· 监督学习（Supervised Learning），如回归（Regression）与分类（Classification）。
· 无监督学习（Unsupervised Learning），如聚类（Clustering）与降维（Dimensionality reduction）。
· 集成学习（Ensemble Learning），即用多个模型来实现一个需求。
· 强化学习（Reinforcement Learning），即从环境中收集信息来进行学习。
还有一些其他的训练方法：
· 小样本学习（Few-shot Learning）
· 长尾学习（Long-tailed Learning，对于分类任务中某些类别的数据量特别少可使用该算法）
· 零样本学习（Zero-shot Learning）
· 终身学习（Life-long Learning，模型部署之后也一直根据新数据学习）
· 生成对抗学习（Generative Adversarial Learning，两个模型对抗着互相学习）
· 迁移学习（Transfer Learning，一种抽象概念，把某一个空间学习的内容迁移到另一个空间去）
· 元学习（Meta Learning，让模型学习如何学习，如自动选择函数、自动调参等）
· 联邦学习（Federated Learning，集合多台机器的力量把训练结果汇集在一起）
· 深度学习（Deep Learning，使用很多层神经网络进行学习）。