Staff MLE · VO ML Fundamentals

LinkedIn Linear 与 Logistic Regression:同一线性预测器、不同概率模型

区分 z=wᵀx+b 的共同部分、identity/sigmoid 链接和平方损失/Bernoulli 交叉熵。

题目重点:区分 z=wᵀx+b 的共同部分、identity/sigmoid 链接和平方损失/Bernoulli 交叉熵。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 按广义线性模型/共享线性预测器解释:两者都形成 z=wᵀx+b,但输出分布、链接函数和损失不同。
  • 不把‘数学上同一个模型’照字面等同到同一参数估计或同一概率输出;若面试官指线性决策边界,需要追问。

解题路线

  1. Linear Regression 以 identity 链接预测 y≈z,常假设高斯噪声,最大似然等价最小平方残差;预测值可任意实数。
  2. Logistic Regression 以 sigmoid(z) 给 P(y=1|x),伯努利似然导出 binary cross-entropy。虽然 p 对 x 非线性,但决策阈值 p=0.5 等价 z=0,是输入空间中的超平面。
  3. 若对同一数据分别训练,最优 w 一般不同,因为平方损失与交叉熵目标不同;不能因为都含 wᵀx+b 就说训练结果一致。
  4. 多分类可用 one-vs-rest 多个 sigmoid 或 softmax regression;类别互斥与多标签时概率解释不同。与 q28 梯度调试关联:BCE 对 z 的导数是 sigmoid(z)-y。

手动走一遍

x=2、w=1、b=0:线性回归输出 2;逻辑回归输出 sigmoid(2)≈0.881。两者同用 z=2,但一个是连续数,一个是二分类概率。

规模与取舍

单样本计算线性预测 O(d);训练成本依优化器、样本数 N 与迭代轮数 T,线性/逻辑梯度法每轮通常 O(Nd)。这里问的是模型关系,不能以相同计算量推断目标等价。

易错点与追问

容易失分的边界

  • 说两者完全相同,只是名字不同。
  • 把 logistic 输出 z 当概率,可能超出 [0,1]。
  • 说 logistic 有非线性决策边界(原始线性特征情形)。
  • 把平方损失与交叉熵混为一谈。
  • 默认 one-vs-rest 是唯一多分类方法。

继续深挖

  • 为什么 logistic 决策边界仍是线性的?
  • 高斯噪声与 Bernoulli 似然如何导出不同损失?
  • 线性回归硬阈值可否直接做分类?
  • 加非线性特征后边界怎样变化?
✓已复制微信号!