脑记忆及其恢复的数学模型（3）

 

 

 

人的记忆是一个整体。人脑的记忆系统中，信息之间互相联系形成金字塔形的网络结构。记忆的恢复就是将我们所需的信息从金字塔的不同层级中寻找出来。

 

 

到现在我们就把Hopfield提出的模型已经叙述完了，那么它的记忆的特点是什么呢？我认为它跟人脑更接近。因为人脑记忆的信息是互相有联系，而不是一堆信息堆在那儿。底下我就想进一步来说明，人脑的记忆，为什么是有联系的？这个联络到底是怎么样的。

 

我们先讲一个有关记忆的基本的常识。有人记性好，有人记性不好；有人学了一个东西以后，他能够很快记住；但有人就学了半天以后不久，他就全都混了或都忘了。那这个原因在哪呢？

 

其实这个原因就在于，有的人学习的时候，他把脑改造成一个，能够产生信息之间有明显关联的一个系统；而不动脑筋，就是只管背的那种人，他的记忆系统就是一个很平行的，互相没有关系的系统。那你想吧，大家都记10个东西，人家那10个东西是有主有次，有一个网络关系的。而只管背的那种，只是往脑袋里装的这种人，他的记忆就是基本上没有建立良好的联系。

 

当需要恢复的时候，人家就能很快恢复出来，你就恢复不出来。如果是10个记忆，你还可以一个一个去搜，做一个全面搜索。人家不用全面搜索，很快的从部分信息就抵达他要的全部信息。因为他有网络关系，这个网络关系我在下面，还会再更详细一点描述。

 

这个网络关系是怎么形成的？

 

首先这个网络关系是什么样的？那么我们知道，人脑里头的网络关系是一个金字塔形的结构。它的底层是很多最基本的吸引子，然后这个底层上面，就是某些吸引子自己作为一个记忆。它们互相又可以有个联系，就形成了第二层的吸引子。同样，第二层这些记忆之间，它又有一个联系，就形成了第三层的联系。这么越往上的话，最后当然你所有的记忆，都是一个整体。

 

这个性质实际上是，当我们用时齐马氏链来描述这个记忆的时候发现的规律。也就是说一个马氏链，譬如我们的Hopfield的随机网络，它的动力学就可以形成一个马氏链，就是说它的不同时刻的状态。那这个马氏链，它就形成一个金字塔形的吸引子的结构。

 

我们就来看看，怎么用时齐马氏链来描述记忆的搜索过程。那么我们都知道，在决定性系统里，你搜到一个吸引子，你就“死”那儿了，不会动了，你就永远待在那个吸引子里头。但是它如果是随机系统呢？它以大概率往下搜索。但也有小概率，它可以从这个吸引子的陷阱里头逃出去。这就跟模拟退火一样：一般的搜索，去搜索一个局部的最优。当你到达了某一个局部最优以后，如果你的算法有一个方法，能够逃出这个陷阱，那你就有可能搜到一个更好的吸引子，找到所要的整体最优。道理是一样的。

 

所以，由于你的系统是这么一个金字塔形的结构。当我觉得这个信息，只是不够完全，我们需要进一步把这个信息的全部信息给找出来，那就要往它的下层吸引子，得到更完全的信息。换句话说，一个高层吸引子是，包含了一大堆、一嘟噜的吸引子，往下层去走，以得到细节――更完全的信息。

 

而当我发现，我先输入的结果已经很不对头了，那我就需要跳出这个吸引子。OK，你有了随机，才有可能让你跳出去。这就是，用时齐马氏链可以描述的一个效率不很高的搜索过程。

 

假定没有随机性，就是决定性的Hopfield网络，不能够保证你搜到要的结果，而且多数可能，搜不到这个结果。但是，对于一个马氏链，有随机性的话，因为它可以跳出去，从理论上讲，这个马氏链是遍历的马氏链，或者叫Ergodic的马氏链，用物理的话来讲。所以你总能搜到你要的那个，就是时间长短的问题。

 

但是，当我们知道它有一个金字塔形的结构。其实这个金字塔形的结构，就决定了这个动力体系的吸引子间的一个拓扑结构，或者说是吸引子的网络的拓扑结构。网络的拓扑就是指的网络，加上它各个吸引子间的联络，这是最本质的。就是一般来说，人家研究网络拓扑，就是状态跟状态之间的联系。而我们现在说，你去看系统的运动，最主要的是吸引子之间的运动。

 

因为在每一个吸引盆里头，它的主要运动都是从吸引盆走到吸引子。然后这个吸引子如果包含你要的信息，好了，我就找到答案了。如果不是我要的信息，就有两种情况：一种，我需要了解更完全的信息；还有一种，这个吸引盆不靠谱，我得逃出这个吸引子，逃出这个吸引盆，换一个吸引盆来搜索。就是反复做这两件事情，可以最后使得你得到那个完全的信息。

 

这个金字塔形的结构，其实就是比较特征的描写了。这个网络的搜索行动是网络拓扑的最核心的部分。这个网络拓扑的最核心部分其实是由你的w_ij完全决定的，这个是数学上可以严格证明。

 

我们下面再说一个问题，就是为了要使得我们的搜索更加的有效，还可以用非时齐的马氏链。也就是说，在我们的Hopfield网络里头，有一个温度参数β，我让这个温度参数可调。当我觉得，你现在得到的这个吸引子的结果不对的时候，我就让它溜出去。当我觉得这个不对，有更大的可能溜出去，当我觉得挺靠谱，再搜仔细点，那你就把噪声减小，更向决定性的往下走。其实说白了，刚才说的两个选择就是：更向决定性方向的往下走，还是加大噪声让它逃出去。因此，非时齐的模型，就可以加快这个过程。

 

所以，恢复记忆的过程，大致上就是这么个意思。为什么我说，你搜索一个网络，你搜索的时候，会得到不对的结果，现在来回答这个问题。就是，因为你搜索的起点，是一个简单的提问。它只包含了这个信息的部分信息。那么这个部分信息，可能只是牵涉到，你整个网络的一个很小的子空间。譬如你吃饭，吃了和没吃，这个很简单，对吧，只牵涉到很简单的信息。

 

那么我们去回想的时候，我就去选一个简单的子空间，（只管）这个子空间上的整个信息有关的部分，其他地方我都不管。比如说我都把它统统变成抑制，就是这个子空间上它是活跃的。比如说某一个声音，或者某一句话。我用这个去搜索的时候，由于它是部分的，可以有很多完全信息都包括，这个子空间的这一部分信息。它们在子空间的投影一样，所以，完全有可能那个完全信息，它把你引导到这些多个不同的结果去。那你搜索的时候就会错。

 

因此，我们下面再说一点。其实你的信息，你的恢复过程，并不是简单一个，从部分信息出发，然后经过系统的运转就到了这个吸引子。不是这么简单，其实你还需要进行比较。我来举一个例子，比如人家说你小学，经常在你背后跟你恶作剧、玩你的头发的那个男孩叫什么？

 

然后你就想了。第一你想，有一个男孩老在你背后恶作剧，学着你动作。但再仔细一对比，那个男孩坐在我前面，他没有机会玩我的头发，玩我头发的孩子应该坐在我后头。然后你就又搜索，坐在我后头的是谁？然后你想出来，坐在我后头的有谁谁谁。其中只有两个人是男的，一个A一个B。那我就想了，A呢？那个孩子很文静，从来不恶作剧。对，B是一个非常淘气的孩子，对对对，他还经常玩我头发。于是你就准确的讲出来这个B的名字。

 

其实每一步，你第一步先想到淘气的孩子。然后你就去提问比较，就发现，这个答案不对。所以你就需要换吸引盆，加大噪声。然后你就想到，玩你头发必须坐在你后面，就等于换了一个主题来搜索。那这个主题搜索的时候，你就搜索到了那两个男孩。

 

这里其实不仅是比较和恢复吸引盆的状态往吸引子走的过程，还有运用你的判断，来加速这个过程。譬如说，如果你发现，那个孩子虽然很淘气，但是不可能玩你头发。那这就是你的经验的一个结论，于是你决定要换吸引子。所以这里头就有很多的比较、判断，然后来决定，我是更深入的搜索，还是改换搜索的吸引盆。有这么一个复杂的过程。

 

这个过程如果变得复杂化了以后，其实什么大脑中的已有信息你最后都可以搜到，而且效率比较高。所以，我们就提出可以用非时齐的马氏链。非时齐就是每一步的时候的噪声水平不一样。它的吸引子的网络没变，不改变吸引子的网络，而只改变搜索的噪声水平。那么到此为止，我就把怎么实现“按内容寻址”或者说“联想记忆”的存储和恢复，它的一个简单的框架做了描述。

 

那么关于心理学对记忆的描述里头有两点值得我们注意的。第一就是说，当我们通常回忆出来的信息状态，有的时候，它不只是提问的答案，而是包含了提问的答案。这也是证明了，至少我们的脑的记忆恢复，更像我们刚才提出的模型，而不是简单的、笔记本式的，给出地址我找，这样的情况。

 

还有一点，在《心理学》书里头非常非常强调的，就是记忆是变化的。记忆在脑子里会加强或者淡忘。所以我这里再讲一下，关于记忆的淡忘的概念。记忆肯定是会淡忘的，记忆淡忘的机制在我们的动力学里头，应该怎么来引入，这个记忆淡忘的机制呢？其实也比较简单。就是我每一次修改的时候，不仅按照我需要的吸引子来修改，而且我的所有的记忆上，绝对值都从原来的连结强度中减去一个δ。

 

这样的话，你的记忆自然就淡忘了。所以，你假定有一个内容，这个内容你第一次见到以后，你再不去见到它，它一次减一个δ，减好多次以后，那个记忆就没了。但是，有很多记忆，你其实常常会碰到和它相关的记忆，或者是和它矛盾的记忆。那么这个时候，你就会经过脑子的思考，来重新组织这些信息。

 

相关的记忆，或者不矛盾的记忆，在我说的这个记忆系统里，就会作为那个网络系统，它们就是互相跑来跑去的，这个概率就会变大。而矛盾的记忆呢，就会适当的修改系统原有的记忆，或者新进来的记忆，使新旧记忆变成一个统一的整体。这说明什么呢？事实上，我们脑的记忆是在不断的变化。

 

这个变化就包括，经常不接触的信息，这样的记忆就会淡忘，经常接触的类似信息，就会组合起来互相加强，因为你学了好多次嘛，每次都在这些地方、类似的地方加强。所以，就把这个类似的信息，该加强的联结就越来越强。并且由于这些东西共同的部分，就是共同涉及的联结，修改的次数更多，而且方向都是一致的，所以那些联结就变得很强。

 

而涉及记忆比较少的“结点对”之间的联结，就会变得比较弱。而如果进来的新信息和原有记忆有矛盾的时候，这种弱的联结不断变弱，它们相关的记忆，有可能就被忘掉了。由于新信息加进来，那些和新信息没有关系的联结就会被减弱。但是，如果新旧信息和某些联结都有强相关，但有矛盾，那我们的脑子常常会进一步的做判断。其实进一步的做判断就是你脑子又在运转，于是得出来哪些是对的，哪些是不对的，分析出进一步的结果来，这就是一个更复杂的过程。事实上，在我们现在的模型里，还没有包含进这个内容。这是一个尚待进一步研究的问题。

 

总结出来，这样的一个模型给我们对记忆的提示是什么？其实说白了就是一句话，不要把学习知识当成简单的把知识装进脑子里，或者说让脑子把这个知识所有的信息记录下来。而是要把这些知识和你脑子里已有的知识进行比较、联系，使这些知识，形成一个具有机的分层结构，反应信息之间的客观联系的网络。这样的网络，记忆下来的东西就很巩固了。