感知机是线性模型，如果我使用 x^2、x^3 的方式引入非线性，可以达到神经网络那样的效果么？

[buaacss]

神经网络的非线性来自于激活函数，但是神经网络几乎无法从物理层面说明原理。既然目标都是做拟合，那么多项式拟合任意函数从物理上也更直观一些吧？比如泰勒级数也可以做任意函数的拟合，不知道前人有没有试过引入变量的平方、三次方、四次方来做呢？

[Inn0Vat10n]

统计学里一般叫多项式回归。不过有没有拟合能力是一个问题，好不好优化、泛化能力如何是更关键的一个问题。高阶多项式回归很容易过拟合

[doudouwang]

任何函数写成神经网络那个样子都是神经网络吧？感知机就不算简单的神经网络了？

[buaacss]

@doudouwang 对，感知机也是神经网络，我说的感知机应该是去掉非线性激活函数，应该是多元线性回归。所以我理解

多层的（多元线性回归 + 非线性激活函数） = 神经网络拟合
多元线性回归 + 变量的 2 次方 + 变量的三次方 = 多项式拟合

那么之前有没有人走过多项式拟合这条路。应该就是一楼说得多项式回归。

[doudouwang]

我觉得不管有没有激活函数，都是神经网络，而且正是由这个基础上发展来的，而激活函数只是为了解决特定问题才加入的。

[shm7]

都 2024 了，用感知机这套 50 年以前的东西就有点...