本节课内容：
1、解决机器学习问题的大致步骤
2、使用误差分析来确定优化学习算法的方向
3、介绍查准率、召回率和F值的概念、定义及其意义
4、机器学习问题在什么情况下可以通过大量数据来提升算法性能
以垃圾邮件分类为例描述解决问题的过程
为了应用监督学习，首先想到的是如何来表示邮件的特征向量x，通过特征向量x和分类标签y，我们就可以训练一个分类器，比如使用逻辑回归的方法，这里有一种选择邮件特征向量的方法
我们提出一个可能含有100个单词的列表，通过这些单词来区分垃圾邮件或非垃圾邮件，假如有一封邮件，我们可以将这封邮件的各个片段编码成如下图的一个特征向量，先将找出的100个单词按照字典序排序（也可以不排序），当邮件中包含某个单词时，该单词出现在特征向量中的位置上置1，否则置0，最后我们可以得到100维的特征向量
本节课内容：
1、介绍改进学习算法的几种方法，介绍训练集、验证集和测试集
2、高偏差与高方差问题的区分方法，及相应的解决方法
3、绘制学习曲线帮助判断高偏差与高方差问题
机器学习诊断法：通过执行一种测试，能够了解算法在哪里出了问题，这通常能告诉我们，想要改进一种算法的效果，什么样的尝试才是有意义的
对于下图的简单例子，我们可以画出假设函数h(x)然后观察，但对于一般情况，特征不止一个，还有包含很多特征的问题，想要通过画出假设函数来观察就变得很难甚至不可能了，因此需要另一种评价假设函数的方法
假设我们有一组训练样本，如下图所示，为了确保可以评价我们的假设函数，要将这些数据分为两部分。第一部分将成为训练集（training set），第二部分将成为测试集（test set），其中一种典型的分割方式是按照7:3的比例，70%的数据作为训练集，30%的数据作为测试集
一般来说，下标为test表示，这些样本来自测试集
另外一点，这里我们选择前70%的数据作为训练集，后30%的数据作为测试集，但如果这组数据有某种规律或顺序的话，最好是随机选择
本节课内容：
1、介绍非线性假设，逻辑回归方法的局限性
2、讲解神经网络的来源、理念、模型
3、简单介绍神经网络的多元分类
给定如图所示的数据集，我们可以构造包含许多非线性项的逻辑回归函数，当多项式数量足够多时，就可以分开正样本和负样本的假设。当只有两个特征时，可以将x1,x2的所有组合都包含进多项式中，但大多数机器学习问题的特征远不止两项（e.g. n=100），这时，如果要多项式中包含所有的项，即使只包含二次项，最终也会有很多项。
因此要包含所有的二次项，并不是一个好方法，由于包含的项数太多，最终可能导致过拟合问题，而且处理这么多项也存在运算量过大的问题。
当然也可以取二次项的子集，如只包含平方项，项的数量会明显减少，但最终不会得到理想的结果，因为忽略了太多相关项
本节课内容：
1、介绍什么是欠拟合和过拟合
2、介绍过拟合问题的解决方法——正则化
3、介绍线性回归和逻辑回归中，正则化的应用
以估计房屋价格的问题为例，给定一些数据（如下图所示），随着size的增大，房屋的价格是趋于稳定的
如果用直线来拟合数据（左图），和这样的趋势不相符，所以不能很好的拟合训练数据，这个问题称为欠拟合（underfit），或称算法具有高偏差（high bias）
如果用二次函数拟合数据（中间图），拟合效果很好
另一种极端情况（右图），拟合一个四阶多项式，这似乎很好的拟合了数据集，因为图像经过了所有的数据点，但这是一条扭曲的曲线，不停的上下波动，我们不认为这是一个预测房价的好模型，这个问题称为过拟合（overfit），或称算法具有高方差（high variance）
过拟合（Overfitting）：过拟合问题会在变量过多的时候出现，这时训练出的假设函数（hypothesis）能很好的拟合训练集（代价函数可能非常接近0），它千方百计的拟合训练数据集，导致无法泛化到新的样本中
泛化：指一个假设模型应用到新样本的能力
本节课内容：
1、介绍分类问题，并用逻辑回归解决分类问题
2、介绍逻辑回归的决策边界，假设函数（hypothesis），代价函数，以及用梯度下降法求解最优θ值
3、介绍高级优化方法，及其在octave中的实现
4、介绍多分类问题（一对多，一对余），以及解决多分类问题的基本思想
y的取值是离散的
二分类问题中，yϵ{0,1}，0表示“负类”，1表示“正类”，在两个类别中，哪个是正类哪个是负类并没有什么区别，但一般来说，负类表示没有某样东西
给定一个分类问题的训练集（如下图所示），如果用线性回归的方法对数据进行拟合，会得到一个分界点，其左侧预测为0，右侧预测为1，在这个数据集上，线性回归的结果似乎是可行的
