logistic 回归

属于一种广义 感知机

构成

  • 线性部分: $y=\boldsymbol{w}^{T}\boldsymbol{\chi}$
  • 激活函数: sigmoid 函数

损失函数

采用 交叉熵 作为损失函数

$$ L=\mathrm{Entropy(y,\hat{y})} $$

二分类

$$L=-y\log_{2} \hat{y}-(1-y)\log_{2}(1-\hat{y})$$