西瓜书-3.5，3.6，3.7，3.8推导过程

# -*- coding: utf-8 -*- # @FileName: LDA（线性判别分析） # @Software: PyCharm # @Author : changli Xu # @Time :2020//12//17 15：00 ''' 西瓜书课后题3.5 （线性判别分析） ''' import numpy as np import pandas as pd import matplotlib.pyplot as plt # 读取3.5例题中的数据集 data_list = pd.

《机器学习》西瓜书课后习题3.5——python实现线性判别分析 《机器学习》西瓜书P69 3.5 编程实现线性判别分析，并给出西瓜数据集3.0a上的结果 理论学习参见文章：线性判别分析LDA原理总结 注意：在该文章中针对w的求法出现了两种方式，一种是 w=S−1w(μ0−μ1) w=S^-1 w(μ_0−μ_1) w=S−1w(μ0​−μ1​) 该方法指的应该是针对二类LDA，所以我们在解决西瓜数据集问题是求w的方法采用此方法。 另一种方法是： 计算S−1wSb的最大的d个特征值和对应的d个特征向量(

2022.9.26西瓜书3.5线性判别分析编程

Task03 第四章 本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book 个人小结：一、决策树的基本原理就是分而治之，不断划分；二、决策树的关键是怎样选择最优划分属性，常见的划分方法有信息增益、增益率、基尼系数等；三、剪枝可以防止过拟合，包括预剪枝、后剪枝两种方法；四、对每个样本赋予权重可以处理缺失属性问题，这样不浪费属性不完整的样本；五、对每个属性赋予权重可以处理划分太复杂问

目录 一、线性回归概述： 二、数学知识储备： 三、证明损失函数是关于 w 和 b 的凸函数 ： 四、求解 b : 五、求解 w: 一、线性回归概述： 给定数据集 ， 其中，，线性回归试图学得：，使得 . 回归任务中常使用均方误差来衡量 f(x) 与 y 之间的差别。使均方误差最小化得到的 w, b 即我们所求。（基于均方误差来进行模型...

参考https://blog.csdn.net/CSDNLHCC/article/details/104772203 和南瓜书https://datawhalechina.github.io/pumpkin-book/#/chapter5/chapter5

在使用蒙特卡罗搜索树进行多次采样后，每次采样都会反馈后续的局面信息（利用局面函数进行评价），根据反馈回来的结果信息自动调整两个估值函数的参数，这便是强化学习的核心思想，最后基于改进后的策略函数选择出当前最优的落子动作。，即以填表格的形式自底向上，先求解每个状态的单步累积奖赏，再求解每个状态的两步累积奖赏，一直迭代逐步求解出每个状态的T步累积奖赏。：对采样轨迹中的每一对状态-动作，记录其后的奖赏值之和，作为该状态-动作的一次累积奖赏，通过多次采样后，使用累积奖赏的平均作为状态-动作值的估计，并。

吃瓜教程学习

花书/西瓜书/南瓜书 西瓜书：

文章目录数据集代码分析 数据集 代码 import matplotlib.pyplot as plt import numpy as np import pandas as pd import math data = pd.read_csv('data3_0.csv',encoding = "gbk") sample = data.iloc[:,0:2] label = data.iloc[:,-1] x_0 = np.mat([0.,0.]) x_1 = np.mat([0.,0.]) count

周志华西瓜书《机器学习》习题提示——第3章

《西瓜书》整体架构进行一个简单的介绍

我真傻，真的。代码链接： https://github.com/taijizuomantou/machine_learning_zhouzhihua 和3.3一样都可以用一个二维图形来表示。横轴表示一个属性，纵轴表示另一个属性。另求的的线性式子 = 0。这条线就是划分线。因为这个线性式子只有x，没有y。所以根本不用考虑三维，直接当做二维处理即可。 1.np.mean np.mean(ax0...

结合自己的理解，添加注释。

此公式推导注意求和符号范围以及平均数ā＝1/m∑a 具体如下:

机器学习期末复习

需注意的是，现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的"假设集合"，我们称之为"例如对我们已经很熟悉的西瓜问题来说，“假设1:好瓜= (色泽=*) ⋀ (根蒂=蜷缩)⋀(敲声=浊响)”和假设2: "好瓜=(色泽=*) ⋀ (根蒂=蜷缩)⋀(敲声=*)"这两个假设，哪一个更"简单"呢?大致可以理解为，给定一个正例，如（（色泽=浅白，根蒂=*，敲声=浊响），好瓜），以此为基础，去除所有色泽和敲声与好瓜不一致的假设。

参照西瓜书的课后习题3.5的要求，参考了一些资料，简单地实现了一下LDA。 数据还是西瓜数据3.0a 代码和数据，都挂在了我的git上：https://github.com/qdbszsj/LDA 首先第一部分还是画一个散点图，这个跟上一个习题是一样的，此处不详细表述了。 然后是先用sklearn偷懒实现一下LDA，这里要注意下模型参数的选择，对于小数据一般选择lsqr，这里给出了官方的r