一、机器学习中线性回归对自变量进行归一化处理后目标值变量需要处理吗
逻辑回归:y=sigmoid(w'x)
线性回归:y=w'x
也就是逻辑回归比线性回归多了一个sigmoid函数,sigmoid(x)=1/(1+exp(-x)),其实就是对x进行归一化操作,使得sigmoid(x)位于0~1
逻辑回归通常用于二分类模型,目标函数是二类交叉熵,y的值表示属于第1类的概率,用户可以自己设置一个分类阈值。
线性回归用来拟合数据,目标函数是平法和误差
二、线性回归的一般步骤有什么,要做哪些检验,什么含义?
做完线性回归之后,我们需要对模型进行检验。
常用的检验有d-w检验,用来检验模型拟合之后的残差是否依然具有相关性
R^2值,可以告诉我们模型拟合的是否够好。
还有就是模型的预测变量之间是否有强烈的相关性的问题。
三、线性回归模型和非线性回归模型的区别是什么
线性回归模型和非线性回归模型的区别是:
线性就是每个变量的指数都是1,而非线性就是至少有一个变量的指数不是1。
通过指数来进行判断即可。
线性回归模型,是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x+e,e为误差服从均值为0的正态分布。线性回归模型是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。
非线性回归,是在掌握大量观察数据的基础上,利用数理统计方法建立因变量与自变量之间的回归关系函数表达式(称回归方程式)。回归分析中,当研究的因果关系只涉及因变量和一个自变量时,叫做一元回归分析;当研究的因果关系涉及因变量和两个或两个以上自变量时,叫做多元回归分析。
四、怎么判断用线性回归还是非线性回归?
优先选择线性回归,因为线性回归容易处理。也可以选择非线性回归。非线性回归很复杂,而线性回归的方法基本上前人已经完善的差不多了。
处理可线性化处理的非线性回归的基本方法是,通过变量变换,将非线性回归化为线性回归,然后用线性回归方法处理。
假定根据理论或经验,已获得输出变量与输入变量之间的非线性表达式,但表达式的系数是未知的,要根据输入输出的n次观察结果来确定系数的值。
扩展资料:
多数非线性模型中,参数必须限制在有意义的区间内。指的是在迭代过程中对参数的限制。分为线性约束和非线性约束。线性约束中将参数乘以常数 但这个常数不能为其他参数或者自身。非线性约束中至少有一个参数和其他参数相乘或者相除或者进行幂运算。
线性回归模型经常用最小二乘逼近来拟合,但他们也可能用别的方法来拟合,比如用最小化“拟合缺陷”在一些其他规范里(比如最小绝对误差回归),或者在桥回归中最小化最小二乘损失函数的惩罚。
相反,最小二乘逼近可以用来拟合那些非线性的模型。因此,尽管“最小二乘法”和“线性模型”是紧密相连的,但他们是不能划等号的。
参考资料来源:百度百科--线性回归
参考资料来源:百度百科--非线性回归