逻辑回归算法?

一、逻辑回归算法?

逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值(像二进制值0/1,是/否,真/假)。简单来说,它就是通过拟合一个逻辑函数(logit fuction)来预测一个事件发生的概率。所以它预测的是一个概率值,自然,它的输出值应该在0到1之间。

  

假设你的一个朋友让你回答一道题。可能的结果只有两种:你答对了或没有答对。为了研究你最擅长的题目领域,你做了各种领域的题目。那么这个研究的结果可能是这样的:如果是一道十年级的三角函数题,你有70%的可能性能解出它。但如果是一道五年级的历史题,你会的概率可能只有30%。逻辑回归就是给你这样的概率结果。

逻辑回归的原理

Logistic Regression和Linear Regression的原理是相似的,可以简单的描述为这样的过程:

(1)找一个合适的预测函数(Andrew Ng的公开课中称为hypothesis),一般表示为h函数,该函数就是我们需要找的分类函数,它用来预测输入数据的判断结果。这个过程时非常关键的,需要对数据有一定的了解或分析,知道或者猜测预测函数的“大概”形式,比如是线性函数还是非线性函数。

(2)构造一个Cost函数(损失函数),该函数表示预测的输出(h)与训练数据类别(y)之间的偏差,可以是二者之间的差(h-y)或者是其他的形式。综合考虑所有训练数据的“损失”,将Cost求和或者求平均,记为J(θ)函数,表示所有训练数据预测值与实际类别的偏差。

(3)显然,J(θ)函数的值越小表示预测函数越准确(即h函数越准确),所以这一步需要做的是找到J(θ)函数的最小值。找函数的最小值有不同的方法,Logistic Regression实现时有的是梯度下降法(Gradient Descent)。

二、逻辑回归和判别分析区别?

(1)从含义上区分:

逻辑回归又称Logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘、疾病自动诊断、经济预测等领域。

判别分析又称“分辨法”,是在分类确定的条件下,根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。

(2)从特点上区分

1.判别分析可以用于多分类情况;

2.线性判别分析比逻辑回归更稳定;

3.利用贝叶斯定理计算后验概率,当条件概率分布是正态分布,和逻辑回归很相似。

三、简述回归处理的数据类型是?

回归处理的数据类型主要包括定量数据和定性数据。定量数据:这是指可以测量和量化的数据,通常具有数值形式。在回归分析中,定量数据用于预测一个或多个因变量的值。例如,收入、年龄、体重等都是定量数据。这些数据可以是连续的(如身高、体重)或离散的(如教育程度、婚姻状况)。定性数据:与定量数据相对,定性数据是描述性的,通常不以数值形式存在。它用于描述事物的性质、类别或属性。例如,“性别”、“国籍”、“婚姻状况”等都是定性数据。在回归分析中,定性数据通常用于分类或识别不同组之间的差异。在回归分析中,数据类型对选择适当的回归模型至关重要。例如,对于预测连续目标变量的线性回归模型,需要使用定量数据;而对于预测类别变量的逻辑回归模型,则更适合使用定性数据。

四、logit回归用途?

logistic回归又称logistic回归分析,主要在流行病学中应用较多,比较常用的情形是探索某疾病的危险因素,根据危险因素预测某疾病发生的概率,等等。

例如,想探讨胃癌发生的危险因素,可以选择两组人群,一组是胃癌组,一组是非胃癌组,两组人群肯定有不同的体征和生活方式等。

这里的因变量就是是否胃癌,即“是”或“否”,为两分类变量,自变量就可以包括很多了,例如年龄、性别、饮食习惯、幽门螺杆菌感染等。

自变量既可以是连续的,也可以是分类的。通过logistic回归分析,就可以大致了解到底哪些因素是胃癌的危险因素。

五、如何看logistic的回归结果?

logistic回归与多重线性回归一样,在应用之前也是需要分析一下资料是否可以采用logistic回归模型。并不是说因变量是分类变量我就可以直接采用logistic回归,有些条件仍然是需要考虑的。

首要的条件应该是需要看一下自变量与因变量之间是什么样的一种关系。多重线性回归中,要求自变量与因变量符合线性关系。而logistic回归则不同,它要求的是自变量与logit(y)符合线性关系,所谓logit实际上就是ln(P/1-P)。也就是说,自变量应与ln(P/1-P)呈线性关系。当然,这种情形主要针对多分类变量和连续变量。对于二分类变量就无所谓了,因为两点永远是一条直线。

这里举一个例子。某因素y与自变量x之间关系分析,y为二分类变量,x为四分类变量。如果x的四分类直接表示为1,2,3,4。则分析结果为p=0.07,显示对y的影响在0.05水准时无统计学意义,而如果将x作为虚拟变量,以1为参照,产生x2,x3,x4三个变量,重新分析,则结果显示:x2,x3,x4的p值分别为0.08,0.05和0.03。也就是说,尽管2和1相比无统计学意义,但3和1相比,4和1相比,均有统计学意义。

为什么会产生如此结果?实际上如果仔细分析一下,就可以发现,因为x与logit(y)并不是呈线性关系。而是呈如下图的关系:

这就是导致上述差异的原因。从图中来看,x的4与1相差最大,其次是2,3与1相差最小。实际分析结果也是如此,上述分析中,x2,x3,x4产生的危险度分别为3.1,2.9,3.4。

因此,一开始x以1,2,3,4的形式直接与y进行分析,默认的是认为它们与logit(p)呈直线关系,而实际上并非如此,因此掩盖了部分信息,从而导致应有的差异没有被检验出来。而一旦转换为虚拟变量的形式,由于虚拟变量都是二分类的,我们不再需要考虑其与logit(p)的关系,因而显示出了更为精确的结果。

最后强调一下,如果你对自变量x与y的关系不清楚,在样本含量允许的条件下,最好转换为虚拟变量的形式,这样不至于出现太大的误差。

如果你不清楚应该如何探索他们的关系,也可以采用虚拟变量的形式,比如上述x,如果转换的虚拟变量x2,x3,x4他们的OR值呈直线关系,那x基本上可以直接以1,2,3,4的形式直接与y进行分析。而我们刚才也看到了,x2,x3,x4的危险度分别为3.1,2.9,3.4。并不呈直线关系,所以还是考虑以虚拟变量形式进行分析最好。

总之,虚拟变量在logistic回归分析中是非常有利的工具,善于利用可以帮助你探索出很多有用的信息。

统计的分析策略是一个探索的过程,只要留心,你就会发现在探索数据关系的过程中充满了乐趣,因为你能发现别人所发现不了的隐藏的信息。希望大家多学点统计分析策略,把统计作为一种艺术,在分析探索中找到乐趣。

样本量的估计可能是临床最头疼的一件事了,其实很多的临床研究事前是从来不考虑样本量的,至少我接触的临床研究大都如此。他们大都是想到就开始做,但是事后他们会寻求研究中样本量的依据,尤其是在投文章被审稿人提问之后。可能很少有人想到研究之前还要考虑一下样本够不够的问题。其实这也难怪,临床有临床的特点,很多情况下是很难符合统计学要求的,尤其一些动物试验,可能真的做不了很多。这种情况下确实是很为难的。

本篇文章仅是从统计学角度说明logistic回归所需的样本量的大致估计,不涉及临床特殊问题。

其实不仅logistic回归,所有的研究一般都需要对样本量事前有一个估计,这样做的目的是为了尽可能地得出阳性结果。比如,你事前没有估计,假设你做了20例,发现是阴性结果。如果事前估计的话,可能会提示你需要30例或25例可能会得出阳性结果,那这时候你会不会后悔没有事前估计?当然,你可以补实验,但是不管从哪方面角度来讲,补做的实验跟一开始做得实验可能各种条件已经变化,如果你在杂志中说你的实验是补做的,那估计发表的可能性就不大了。

一般来说,简单的研究,比如组间比较,包括两组和多组比较,都有比较成熟的公式计算一下你到底需要多少例数。这些在多数的统计学教材和流行病学教材中都有提及。而对于较为复杂的研究,比如多重线性回归、logistic回归之类的,涉及多个因素。这种方法理论上也是有计算公式的,但是目前来讲,似乎尚无大家公认有效的公式,而且这些公式大都计算繁琐,因此,现实中很少有人对logistic回归等这样的分析方法采用计算的方法来估计样本量。而更多地是采用经验法。

其实关于logistic回归的样本量在部分著作中也有提及,一般来讲,比较有把握的说法是:每个结局至少需要10例样品。这里说得是每个结局。例如,观察胃癌的危险因素,那就是说,胃癌是结局,不是你的总的例数,而是胃癌的例数就需要这么多,那总的例数当然更多。比如我有7个研究因素,那我就至少需要70例,如果你是1:1的研究,那总共就需要140例。如果1:2甚至更高的,那就需要的更多了。

而且,样本量的大小也不能光看这一个,如果你的研究因素中出现多重共线性等问题,那可能需要更多的样本,如果你的因变量不是二分类,而是多分类,可能也需要更大的样本来保证你的结果的可靠性。

理论上来讲,logistic回归采用的是最大似然估计,这种估计方法有很多优点,然而,一个主要的缺点就是,必须有足够的样本才能保证它的优点,或者说,它的优点都是建立在大样本的基础上的。一般来讲,logistic回归需要的样本量要多于多重线性回归。

最后仍然需要说一句,目前确实没有很好的、很权威的关于logistic回归样本量的估计方法,更多的都是根据自己的经验以及分析过程中的细节发现。如果你没有太大的把握,就去请教统计老师吧,至少他能给你提出一些建议。

六、二元逻辑是什么?

二元逻辑回归介绍

定义

Logistic回归主要用于因变量为分类变量(如是否等)的回归分析,自变量可以为分类变量,也可以为连续变量。它可以从多个自变量中选出对因变量有影响的自变量,并可以给出预测公式用于预测。而因变量为二分类的称为二项logistic回归,通常再解释变量为0和1二值品质变量的时候采用。

Logistic 回归模型的假设检验——常用的检验方法有似然比检验(likelihood ratio test) 和 Wald检验)

似然比检验的具体步骤如下:

1:先拟合不包含待检验因素的Logistic模型,求对数似然函数值INL0

2:再拟合包含待检验因素的Logistic模型,求新的对数似然函数值InL1

3:最后比较两个对数似然函数值的差异,若两个模型分别包含l个自变量和P个自变量, 似然比统计量G的计算公式为 G=2(InLP - InLl). 在零假设成立的条件下,当样本含量n较大时,G统计量近似服从自由度为 V = P-l 的 x平方分布,如果只是对一个回归系数(或一个自变量)进行检验,则 v=1.

wald 检验,用u检验或者X平方检验,推断各参数βj是否为0,其中u= bj / Sbj, X的平方=(bj / Sbj), Sbj 为回归系数的标准误。

小提示:

这里的“二元”主要针对“因变量”所以跟“曲线估计”里面的Logistic曲线模型不一样,二元logistic回归是指因变量为二分类变量是的回归分析,对于这种回归模型,目标概率的取值会在(0-1),但是回归方程的因变量取值却落在实数集当中,这个是不能够接受的,所以,可以先将目标概率做Logit变换,这样它的取值区间变成了整个实数集,再做回归分析就不会有问题了,采用这种处理方法的回归分析,就是Logistic回归。

二元逻辑回归模型 :Logit P=in(( p / 1-p ) )

设因变量为y, 其中“1” 代表事件发生, “0”代表事件未发生,影响y的 n个自变量分别为 x1, x2 ,x3 xn等等,记事件发生的条件概率为 P,那么P= 事件未发生的概理为 1-P,事件发生跟”未发生的概率比 为( p / 1-p ) 事件发生比,经过对数转换,即可得到Logistic回归模型的线性模型。

二元逻辑回归的适用条件

因变量为二分类的分类变量或者某事件的发生率(一个研究对象重复计数现象指标不适用)

自变量与logit(p)之间有线性关系

残差合计为0,且服从二项分布

各观测变量相互独立

二元逻辑回归操作

二元逻辑回归在SPSS里可以通过对话框直接操作,也可以通过句法编辑器实现。本节主要从对话框操作入手,介绍如何在spss里使用对话框进行二元逻辑回归分析

1.选择数据文件《少先队组织认同》(以此为例下不重复) 。

2.打开spss统计软件,依次点击[分析]——[回归]——[二元logistic],数据集少先队认同为因变量,社会评价、性别、年级、家庭支持、同伴关系等为自变量,将因变量和自变量依次放入指定的选项框中。

3点击[分类],将为分类变量的自变量放入右侧[分类协变量]框中,本案例的自变量性别、年级等为分类变量,将这些分类的自变量选入右侧框中。

4.[参考类别]选择[最后一个]或[第一个]均可,这里选择默认的[最后一个],点击[继续]。

5.点击[保存],勾选[概率]、[组成员],然后[继续]。

6.点击[选项],勾选[霍斯默-莱梅肖拟合优度]和[95%的置信区间],然后[继续]。

7.自变量进入模型方式选择输入,也就是全部进入。然后点击[确定],输出结果。