1. 逻辑回归

模型：

$$\begin{array}{rl}{h}_{\theta }(x)& =g({\theta }^{\mathrm{\top }}x),\\ g(z)& =\frac{1}{1+e^{-z}},\\ g^{\prime }(z)& =(1-g(z))g(z)\in (0,0.25].\end{array}$$

Binary Cross Entropy Loss（极大似然）：

$${\mathcal{l}}_{\theta }=-\frac{1}{m}\sum _{i=1}^m{y}_i\log h_{\theta }(x_i)+(1-y_i)\log (1-h_{\theta }(x_i))$$

虽然使用了 sigmoid 函数（也叫做 Logistic Function ），但该模型仍然是线性分类器，因为即使不经过 sigmoid 函数也可以得出分类结果（与 0 比较），sigmoid 将其转化为概率。

Logistic Regression 更准确的翻译是 对数几率（Log-Odds）回归 。对数几率定义为：

$$\begin{array}{rl}\mathrm{LogOdds}& =\log \frac{p(y=1|x)}{1-p(y=1|x)}\\ & =\log \frac{\mathrm{sigmoid}(z)}{1-\mathrm{sigmoid}(z)}\\ & ={\theta }^{\mathrm{\top }}x\\ & =w^{\mathrm{\top }}\tilde{x}+b[x\text{比}\tilde{x}\text{多填充了一维 1 用于 Bias}]\end{array}$$

对数几率也叫做 Logit ，它是 sigmoid 函数的反函数：

$$\mathrm{Logit}(p)=\log \frac{p}{1-p},p\in (0,1)$$

Tip

Tensorflow 对 BCE Loss 计算的优化 ：

$$\begin{array}{rl}& -y\ast \log (\mathrm{sigmoid}(z))-(1-y)\ast \log (1-\mathrm{sigmoid}(z))\\ =& z-z\ast y+\log (1+\exp (-z))\\ =& max(z,0)-z\ast y+\log (1+\exp (-\mathrm{abs}(z)))\end{array}$$

1.1. 基本假设

1. 数据服从 伯努利分布 $y\sim Bernoulli(\varphi )$

2. 样例为正例的概率为 $\varphi =h_{\theta }(x)$

1.2. 求解方法

梯度下降

• 批梯度下降：全局最优；每次参数更新需要遍历所有样本，计算量大，效率低。

• 随机梯度下降（SGD）：以高方差频繁更新，能跳到新的、更好的局部最优解；收敛到局部最优的过程更加复杂。

• 小批量梯度下降：减少了参数更新次数，达到更稳定的收敛结果。

1.3. 优缺点

优点

• 模型简单，可解释性好，效果不错

• 训练速度快，资源占用少

• 直接输出样本的分类概率，便于做阈值划分

缺点

• 准确性不高

• 很难处理数据不平衡问题

• 只能处理线性问题

• 逻辑回归本身无法筛选特征

1.4. 解析

1. 为什么使用极大似然函数作为损失函数？

• BCE Loss 是关于参数 $\theta$ 的凸函数 ，使用梯度下降算法可以找到全局最优解。

• 极大似然：希望最大化每个样本的分类正确概率，样本服从伯努利分布。

• 将极大似然取对数后就等同于对数损失函数，在 LR 模型中，这个损失函数使参数更新速度较快：

  $${\theta }^{(j)}\leftarrow {\theta }^{(j)}+\alpha \times \frac{1}{m}\sum _{i=1}^m(y_i-h_{\theta }(x_i))x_i^{(j)}$$

  可见梯度只与 $y_i,x_i$ 有关，与 $h_{\theta }$ 的导数无关。其中上标 $(j)$ 表示向量的第 $j$ 维分量。

2. 为什么不用平方损失函数（多用于线性回归）？

   • MSE Loss 是关于参数 $\theta$ 的非凸函数，容易陷入局部最优解。

   • 在线性回归中，前提假设是 $y$ 服从正态分布，即 $y\sim \mathcal{N}(\mu ,{\sigma }^2)$ 。

   • 如果使用平方损失函数， $\theta$ 更新与 $h_{\theta }$ 的梯度有关，而 sigmoid 函数的梯度在定义域内小于0.25，导致参数更新慢。

3. 训练中如何有很多特征高度相关或将某个特征重复 100 遍，影响如何？

如果损失函数收敛，不影响分类结果（每个特征对应的权重 ${\theta }_j$ 变为原来的百分之一）。将相关特征去除，使模型具有更好的解释性，也能加快训练速度。

Note

凸函数（Convex Function） ：

• 一元：二阶导数非负

• 多元：Hessian Matrix 半正定

1.5. 参考资料

1. 逻辑回归的常见面试点总结

http://www.cnblogs.com/ModifyRong/p/7739955.html

2. LR逻辑斯回归分析（优缺点）

https://blog.csdn.net/touch_dream/article/details/79371462

3. logistic 回归（内附推导）

https://www.jianshu.com/p/894bda167422

4. 周志华《机器学习》Page 57 – 60。

5. Logistic regression - Prove That the Cost Function Is Convex

https://math.stackexchange.com/questions/1582452/logistic-regression-prove-that-the-cost-function-is-convex