似曾相识，怎么用人工神经网络表达？

[sillydaddy]

有时候回忆一些事，感觉就快想起来了，距离它非常近，就好像话就要到嘴边了，就差捅破一层窗户纸它就能从记忆里唤醒，进入到意识中。

这种现象对应到人工神经网络里的概念，是什么呢？

我的标题可能有误，「似曾相识」这个成语，应该改为「呼之欲出」，就是表达那种想法就在嘴边时，卡壳了，但是却知道自己已经非常接近想说的答案，很强烈的那种感觉。

[Worldispow]

丢包

[ipfox]

"似曾相识"可以用人工神经网络中的"模式识别"来表达。人工神经网络是一种模仿人脑神经系统的计算模型，其目的是通过学习数据中的模式和规律来进行预测和分类。在模式识别任务中，神经网络会学习数据中的模式，并将其存储在网络的权重和偏差中，以便在未来对新数据进行分类或预测时使用。

当人工神经网络经过训练后，它可以通过检测数据中的模式来判断输入数据是否与已经学习过的数据相似。当输入数据与已经学习过的数据相似时，神经网络会输出一个相应的标签或类别，就像人类感觉到“似曾相识”的感觉一样。因此，可以说“似曾相识”是人工神经网络在模式识别任务中的一种表现。

这种现象在人工神经网络中可以被描述为“激活阈值”或“触发阈值”的概念。在神经网络中，每个神经元都有一个激活阈值，当输入信号的加权和超过该阈值时，神经元会被激活并产生输出信号。类比于人类的记忆和回忆，当我们试图回忆某件事情时，我们大脑中的神经元会被激活并开始传递信号。如果这些信号的加权和超过了神经元的激活阈值，我们就能够回忆起这个记忆。

在上述情况下，当我们回忆某件事情时，我们已经接近了记忆的“激活阈值”，这就是为什么我们感觉非常接近，就像话就要到嘴边了，而且只需要轻微的刺激就能成功地唤醒这个记忆并将其带入我们的意识中。类比于神经网络，这种情况可以理解为输入信号已经接近了某些神经元的激活阈值，只需要稍微增加一些输入信号，这些神经元就会被激活并将信号沿着网络传递，最终使我们成功地回忆起这个记忆。
--------------------
来自 gpt-3.5-turbo🐶

[DTCPSS]

Loss 下不去

[yolee599]

失真

[DigitalG]

欠拟合，置信度低？

[ql562482472]

@ipfox #2 这个 3.5 感觉有点不太行 看看 4 的：


你所描述的现象，从人工神经网络的角度来看，可能与“激活”或者“推理”有关。在神经网络中，激活是指在特定的输入刺激下，神经元对特定的特征或模式进行响应。在你的情况下，这个“似曾相识”的感觉可能是由于你的大脑正在尝试激活与这个记忆相关的神经元。

另一个相关的概念是“推理”。在人工神经网络中，推理是指在给定输入（例如，一个问题或一个观察）的情况下，神经网络如何利用其训练过的知识进行预测或决策。在你的情况下，你的大脑可能正在尝试从你的记忆中推理出这个“似曾相识”的情境。

此外，这种现象也可以与“遗忘门”相关，它是在长短期记忆（ LSTM ）网络中的一个概念。遗忘门的工作原理是，它决定了哪些信息需要被保留，哪些信息需要被遗忘。当你试图回忆起一个记忆时，遗忘门可能会控制哪些相关的信息被激活，哪些被抑制。

然而，这些都只是从一个抽象的角度来理解你所描述的现象。人脑的工作机制与人工神经网络在许多方面都不同，而且人脑的工作机制在很大程度上还未被完全理解。因此，这个解释只能作为一种概念性的理解，而不能作为一个准确的模型来解释你的体验。

[sentinelK]

有多种可能，除了楼上的欠拟合，loss 跑飞了这种模型角度的叙述。

还有一种就是过拟合，导致最终落到了错误的局部最优，而不是全局最优区间。

[Morriaty]

可以看下我曾经的帖子，https://v2ex.com/t/485933 ，有不少有意思的讨论

[HankAviator]

@ipfox
@ql562482472
v2ex 上不让用 AI 回复了，要当心哦😈

[sillydaddy]

@Morriaty #8
我的标题可能有误，「似曾相识」应该改为「呼之欲出」，表达那种想法就在嘴边时，卡壳了，但是却知道自己非常接近正确答案，很强烈的那种感觉。

@ipfox #2
「当我们回忆某件事情时，我们已经接近了记忆的“激活阈值”，这就是为什么我们感觉非常接近，就像话就要到嘴边了」，这个还是有点问题，虽然是接近“激活阈值”，但毕竟没有触发，那么这种神经元未触发的情况下，大脑怎么知道它非常接近触发了？

[vToExer]

op 说的感觉更像是“顿悟”前的一刻，“顿悟”Grokking 指神经网络如 llm 在经过特定次数的训练后，准确率突然大幅上升的现象。目前关于 Grokking 没有特别好的诠释

[ipfox]

@HankAviator 才知道，请问如何删除自己的回复？

[kiroter]

神经网络没这玩意

[jtsai]

电力不足

[elmon]

坏道

[InvincibleDream]

“请用一句话回答大型语言模型可能有感情或者感觉吗？”
“大型语言模型本身没有真正的感情或感觉，它是基于算法和数据训练而成的工具，无法体验情绪或具备主观意识。”
语言模型只是依据其评价指标给出答案，并不会有所谓的“似曾相识”或者“呼之欲出”的感觉，所以答案是 NULL 吧。

[AOK123]

uncertainty aware {detection, estimation, ...}

[HankAviator]

@ipfox 删不掉的，删掉的都是很糟糕的回复而且只有管理员可以删。不像刚开始 gpt 出来时其他人用 AI 刷屏就好，被处罚的通常也都是被举报的回复

[kkhaike]

我觉的 AI 回复这个事情可以斟酌一下
1. 比如主动标注是 ai 回复
2. 不要太长
3. 不用重复

还是可以接受的，作为一种参考

[kukat]

Déjà vu (/ˌdeɪʒɑː ˈv(j)uː/
既视感[注 1]，或似曾相识、幻觉记忆
https://zh.wikipedia.org/wiki/%E6%97%A2%E8%A6%96%E6%84%9F

[geelaw]

“呼之欲出”是用来形容画像逼真的，你要说的是“暂时性失忆”。

[leaflxh]

发散，不可收敛（不是

[pathetique]

@leaflxh 我觉得是“多线接近收敛”但无一通路

[shawndev]

梯度消失

[blurh11E27]

memory error