多分类
· 我们之前使用逻辑回归实现了二分类，接下来我们要进行多分类任务。
· 多分类任务指的是进行2种以上的类别划分，一些典型的运用场景是手写数字识别、邮件类型识别等。
引入
· 我们直接给出一个例子，这个例子有两个特征，三个类别，每个类别有4个样本：
· 可以看到，三个类别分别是0、1、2，但这样子打标签是错误的，为什么呢？因为这存在一个“暗示（Implication）”。
· 如果我们规定了0、1、2，那就暗示了，0到1的距离比0到2的距离要近，换句话说，0和1类别更像一点。如果我们默认了这么一个事情，在计算LOSS的时候就会出问题。举个简单的例子，如果y=0，而我们预测y hat=1和y hat=2的话其实都是错的，但是在计算LOSS的时候，y hat=1的LOSS是1，y hat=2的LOSS是2，也就是y hat=1错的更少一点，y hat=2错的更多一点，这不是我们所希望的，因为他们都是错的，而不存在谁更错！
独热向量（One-hot Vector）
· 为了解决这种暗示的问题，我们引入一个被称为独热向量的机制。
· 直接看图：
· 可以看到，其实就是有N类别就创建一个包含N个元素的向量，然后，在对应下标处的元素设为1，其他位置设为0。
· 这样只有一个地方为1的向量就被称为独热向量。变成这样的向量，每个类别之间的距离就是一样的了，画出一个三维的图形就可以理解为：
· 除此之外，独热向量还提供了一个信息。举个例子，y=1被转换为了[0, 1, 0]，可以理解为，y是第一类和第三类的概率为0，是第二类的概率为1，它表示了一个概率。
Softmax回归
· 在Softmax回归中，我们仍然使用线性模型，但不同的是，我们要使用N个线性模型叠加在一起，即有几个类别就用几个线性模型，以我们上面的例子为例：
· 最后得到的z包含了三个值，他们代表的意思就是属于第几类的概率。第一个模型算出的z1就是属于第一类的概率，第二个模型算出的z2就是属于第二类的概率，以此类推。值得注意的是，算出的z还不是概率，他是一个属于R的值，后面需要经过一个Softmax函数之后才是概率，但是问题不大，这里也把他理解为对应类别的概率也是没问题的。
· 学出来的模型大概是长这个样子的，其实就是对每一个类别都做一个二分类，比如红色那条线，红色线上面就是”红色类“，红色线下面就是”非红色类”。
· 然后，假设我们进来一个验证集的数据，它计算出的z的值的结果肯定是红色类的z>0，其他两类的z<0。
· 到这里其实模型已经可以完成分类任务了，但是还没结束，现在得到的只是z，还不是概率。
· 我们回到公式，我们发现参数w有两个下标，前面的下标指的就是第i个特征的参数，后面的下标就是代表第几类的参数，如wi1就代表第一类的第i个特征的参数。
· 接下来就要使用Softmax函数把z转换为概率了。我们需要实现的是，z越大转换出来的概率就越大对吧，因为z>0就是代表它属于那一类，z<0就是不属于。
· 先把函数展示出来：
· 首先概率肯定不能是负数，其次，我不希望在转换过程中大小发生变化，如转换前关系是z1>z2>z3，我希望转换后大小关系仍为y1>y2>y3。因此我们使用指数函数把z“抬起来”，就是用e为底即可解决这两个问题。
· 然后，我们要保证所有算出来的y hat值的和要为1，这很简单，让他们分别除以所有y hat的求和即可。
· 到这里Softmax讲完了，说白了其实这个Softmax函数就做了两件事：①让输出变为正。②把输出进行标准化（Normalization），即[0,1]之间，并且和为1。
· 最后把模型表达出来就是：
· 可以把Softmax函数看作激活函数，类似逻辑回归中的Sigmoid函数。
交叉熵损失函数
· 模型有了，接下来就要搞损失函数了。
· 之前做二分类的时候我们用的是二元交叉熵损失函数，到了多分类，我们就要使用它的完全体——交叉熵损失函数（Cross Entropy）。
· 它长这个样子：
· 其实我们套进去算一次就可以发现，实际要计算的只是-log(y hat)而已，这个y hat就是y为1对应的那个y hat的值。因为根据公式，其他yi都是0，只有目标的那个yi是1。
· 把所有损失加在一起就是代价函数了：
梯度下降计算
· 又到了痛苦的求梯度下降的环节了。
· 还是以我们刚刚的例子为例，把求导过程画出来：
· 接下来就开始求导了：
· 算完之后惊讶地发现结果很简单呢！
· 最后来个总结：
K邻近 K Nearest Neighbors
· K邻近（KNN）算法是另外一种多分类算法。
· KNN算法更多属于数据挖掘领域，它不需要模型即可进行训练。
· 参数K是决定测试点考虑K个邻居，最常用的是1-NN，即测试点考虑最近的一个邻居。
· 举个例子，使用1-NN来计算笑脸属于红蓝绿哪一类，那它就会和其他12个元素分别计算一个距离，然后对这个距离排个序，最后把自己归为离自己最近的那一个元素的那一类。
· 这个算法的缺点非常明显：如果数据很多的话，那计算时间就会非常大。
· 再举个例子，如果是3-NN，它也是会对其他12个元素算一个距离，然后排序，然后取前三个，最后把自己归属到这三个最近的元素中占比最高的类里去。