基本术语
- 学习(训练) —— 从数据中学得模型的过程
- 分类 —— 使用学习的模型
预测的结果为离散值，此类学习任务称为“分类(classification)” - 回归 —— 使用学习的模型
预测的结果为连续值，此类学习任务称为“回归(regression)” - 根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习(supervised learning)”和“无监督学习(unsupervised learning)”，分类和回归是前者的代表，而聚类是后者的代表
- 学得模型适用于新样本的能力，称为“泛化(generalization)”能力
将离散值转换为连续值
对于离散属性，如果某个属性的取值之间存在“序”的关系，可通过连续化将其转化为连续值，例如对于身高这个属性，它的取值可以为“高”和“矮”，那么可以转化为${1.0, 0.0}$；若取值是“高”，“中”，“低”，则可转化为${1.0,0.5,0.0}$。
若某个属性的取值之间不存在序关系，假定有这个属性有k个取值，则通常转化为k维向量，例如属性“瓜类”的取值“西瓜”，“南瓜”，“黄瓜”可转换为(1，0，0)，(0，1，0)，(1，0，0)
假设空间
归纳(induction)和演绎(deducation)是科学推理的两大基本手段，前者是从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律；后者则是从一般到“特殊”的特化过程，即从基本原理推演出具体状况。
模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间(hypothesis space)
与训练集一致的“假设集合”称之为“版本空间(version space)”
归纳偏好
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”
NFL(没有免费的午餐)定理 —— 脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义。