以下是多元二元逻辑回归的实用指南——即,利用多个特征预测二元结果 (0/1)。
二元逻辑回归(通常简称逻辑回归)是一种统计方法,用于建模一个或多个自变量与二元(两类)结果之间的关系。
二元:目标值 y∈{0,1}
多元:多个输入特征 x_1, x_2, ..., x_n
模型:
p(y=1∣x)=1/(1+e^{−z}),其中 z=w_0+w_1*x_1+⋯+w_n*x_n
w_0, w_1...w_n 是由 x_1, x_2, ..., x_n 和 y 与预测值之间的误差计算出的权重。
逻辑回归并非直接预测值,而是使用预测变量 z 的线性组合来预测对数比值。然后使用逻辑(sigmoid)函数转换对数比值,生成介于 0 和 1 之间的概率值。
二元逻辑回归是一种概率分类模型,它使用 sigmoid 函数预测两种结果之一的可能性,因此广泛应用于统计学、数据科学和机器学习领域,用于可解释的二元决策。
模型参数使用最大似然估计 (MLE) 进行估计。阈值(通常为 0.5)用于对结果进行分类(如果 P≥0.5 → 类别 1;如果 P<0.5 → 类别 0)。
多项逻辑回归是一种统计和机器学习方法,用于对一组自变量(预测变量)与具有两个以上可能结果的分类因变量之间的关系进行建模,其中类别之间没有自然顺序。
模型:对于类别 k:
P(y=k∣x)=e^w_k⋅x / ∑e^w_j⋅x,其中 j=1,2...K
其中:- x = 特征向量
w_k = 类别 k 的权重
K = 类别数
在应用程序中,每个对象 Object_k(object_1, object_2 ... object_m)由自变量(X_ki – 特征,i = 1...n)和一个因变量(Y_k – 目标值)描述。使用诸如普通最小二乘法 (OLS) 之类的方法来计算系数(beta_0, beta_1, beta_2, ..., beta_n)的最优值。目标值计算如下:
Y = beta_0 + beta_01* P_1 + beta_2 *P_2 + ... + beta_n* P_n
其中:P_1, P_2...P_n 是目标值的预测变量。
该应用程序将多个逻辑回归模型的数据保存到名为 AppMultiNomialLogisticRegression.db 的 SQLite 数据库 (DB) 中。回归模型通过名称进行区分。
应用程序(App Multinomial Linear Logistic Regression Solver)的启动界面会显示回归模型示例列表(以下拉列表形式呈现),以及用于创建(新建示例)、加载(加载)、保存(保存)、另存为(另存为)、计算(计算)和删除(删除)回归模型示例的按钮。在主界面,您还可以通过菜单访问其他功能,例如选择语言、保存和复制数据库、使用示例数据初始化数据库,以及辅助功能,例如应用程序帮助、设置和指向包含所有应用程序描述的网站链接。
创建新样本的功能包括一个对话框,用于输入矩阵大小,输入新样本的数据——行数(包括预测数据 P_1、P_2...P_n 的行,直至最后一行)和列数(包括因变量数据 Y_1、Y_2...Y_k 的列,直至最后一列)。然后生成一个表格,用于输入相关数据。填充后的表格必须先命名才能保存。“加载”功能用于清除表格。
可以通过从下拉列表中选择来显示之前保存的表格。显示的表格可以进行计算,计算结果将显示在“应用程序结果”对话框中。“打印”功能可以从此对话框执行,并将结果输出到 AppMultipleLogisticRegressionSolver.txt 文件。“打印”功能包含“保存数据库/保存文件”活动,用于选择保存文件的文件夹。选择文件夹后,会出现一个保存按钮。通过同一活动,还可以显示所选文件的内容,以及删除所选文件。