# 特征与编码

在我们已经知道了神经活动的电波本质，以及神经链路和神经编码之后，我们不禁好奇，当电波载着信息在天量节点构成的稀疏网络中无尽奔流之时，信息是如何得以处理的？

### **赫布理论**

人脑中的神经簇是如何得以成形的？这里就需要讲到赫布理论了。

神经网络之父，加拿大心理学家 [赫布](https://zh.wikipedia.org/wiki/%E5%94%90%E7%BA%B3%E5%BE%B7%C2%B7%E8%B5%AB%E5%B8%83) 解释了在学习过程中人脑的神经元所发生的变化，它简述如下：

> 当神经元 A 的轴突足够接近以刺激神经元 B，并反复或持续地激发 B 时，它们之间的突触就会生长，使得 A 激发 B 的效率提高。

这就是赫布法则，它通常被解释为，**一起放电的神经元会连接在一起**。

赫布法则开启了使用人工神经网络来模拟大脑神经活动的大门，尽管后来人们发现突触传递信息的方式是神经递质的释放，但人工神经网络仍然基于赫布理论最初所设定的电信号模型。

在两岁以后儿童的大脑中，一些神经元紧密连在一起形成簇，而那些不会一起被激活的神经元之间的突触会逐渐被裁剪而消失，留下神经簇——也就是神经链路——之间的稀疏地带。稀疏网络就这样随着年龄的增长逐渐成形了。

如果这些突触不被裁剪，则会给儿童的心理健康带来隐患。一些多动症或者注意力缺乏症患者的起因都是突触没有被合理地裁剪掉，导致注意力涣散与短暂。其病因大部分来自遗传，但是现代社会的信息爆炸和手机普及也是部分原因。

赫布法则表明，突触间连接之增强需要一定时间内的反复刺激，这样的学习方法被称为 **赫布学习**，我们常说的，学习就是有间隔的多次重复练习，拳不离手，曲不离口。伦敦出租车司机的大脑中，海马体这个与地图相关的脑区特别发达，这样因为伦敦以地形与交规复杂而闻名。出租车时机每天都要多次选择最佳路线，这个脑区不断被刺激，通过赫布法则，其神经元自然生长得非常繁盛紧密。

籍由神经簇或者说神经链路构造而成的大脑，必定是 [**模块化**](https://en.wikipedia.org/wiki/Modular_design) 的。因为神经链路由于其神经元一起激活的特性，它只能完成单一功能，而复杂功能必然有多个模块协作完成。多个小模块的叠加构成一个中模块，多个中模块的叠加构成一个更大的模块，数百亿神经元就这样被层层叠叠地组织起来。

### **特征提取**

好了，在前面讲到神经元时，我们谈到了：

> 在数学意义上，一个神经元的计算能力可以简化描述为，对于输入的一个n维向量，神经元可以判断它是位于向量空间的某个基准平面的左侧还是右侧。也就是说，单个神经元对于任何输入都可以判断出，该输入是不是符合某种内定的筛选标准。因此，神经元的功能是做出选择。

这段话可以更简单地表述为，即使信号非常复杂，多达 n 个属性，一个神经元也只关注该信号的某些属性及其量度，这些属性及其量度被称为 [**特征**](https://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%B5) 。如果信号包含该特征，则该神经元被激活。这样，我们可以认为，一个神经链路中的多个神经元，它们是关注着传入信号的同一类特征的。否则它们就不会大部分在时间里一起激活，也就不会构成一个神经链路了。

比如，假设小明走在小区的小径上，视野中突然出现了一个移动的图像。它作为视觉信号，首先传递给了大脑视觉皮质来处理，此时神经簇 A 参与了处理过程。假设 A 中有很多个神经元 \\(a_i\\) ，它们紧密连接一起，构成了神经簇。

信号流经 \\(a_1\\) 的时候，它对该移动图像进行最大致的判断，根据该图像的大小与边界，以及与环境明暗的不同，它判断这大约是一个 “物体”，而不是地面、树木或者建筑物等等背景。

与 \\(a_1\\) 相连的神经元大约有十几个，它们都收到了 \\(a_1\\) 传来的信号，其中 \\(a_6\\) 和 \\(a_{60}\\) 神经元都被激活了。

我们先说 \\(a_6\\) ，它被激活的原因是因为这个物体具有某个速度，而速度是 \\(a_6\\) 关心的特征， \\(a_6\\) 进而认为这个一个“移动的物体”，具有中等的速度，它把这个信息传递出去之后， \\(a_{18}\\) 神经元被激活了，因为“一个中等速度的移动物体”正是它的激活条件，它根据这些特征，判断这是一只 “动物”，然后将这个信号传递了出去。

与之相连的 \\(a_{32}\\) 神经元被激活了，它是专门负责判断动物的类型的， \\(a_{32}\\) 试图找到该运动图像中的头部、身体、腿和尾巴等等特征，如果能找到，就可以据此核实该动物的种类。 \\(a_{32}\\) 发现，该动物体型不大，头小而尾长，然后 \\(a_{32}\\) 将它处理好的信号又传递了出去之后， \\(a_{50}\\) 被激活了，它负责的是动物的运动姿态判断。 \\(a_{50}\\) 发现，该动物移动时，身体起伏不大，脚步轻柔，尾巴平顺，大小适中。据此， \\(a_{50}\\) 认为这是一只“猫”。

此时，我们回头来说一说与 \\(a_6\\) 一道被激活的 \\(a_{60}\\) ，它负责判断物体的外观特征，人类所感知的外观包括颜色、图案、材质等等特性。在 \\(a_6\\)在进行自己的处理的时候， \\(a_{60}\\) **同时** 在工作。假设与 \\(a_{60}\\) 协作的其他神经元，经由从 \\(a_{60}\\) 到 \\(a_{68}\\) 一系列的处理，完成了外观判断，得出的结论是，该物体的外观是黄白参杂的皮毛状材质。最后外观信号由 \\(a_{68}\\)$a\_{68}$ 传递了出去。

这时候，从 \\(a_{50}\\) 和 \\(a_{68}\\) 传递来的两个信号一起，共同激活了 \\(a_{72}\\) 神经元，它的工作是判断某个动物是不是自己已经熟知的，但是查询记忆这样的重操作它可不会自己亲自来做，它将这个动物的信号打包后传递给负责查询记忆的神经簇 B，B 经过了将这些特征，主要是小区里面的黄白参杂的猫，转交给大脑海马体之后，海马体进行编码，并将之与记忆中的已有编码进行的对比之后，确认这些特征与隔壁老王家的母猫由由很类似，这个返回的信号将 \\(a_{80}\\) 神经元激活了。于是， \\(a_{80}\\)将神经簇 A 的最终判断结果输出了出去，告诉大脑的其他模块：我在小区里看到了邻居家的母猫由由在闲逛。

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748484920848/39125b01-00da-4433-a630-98695c217af2.png align="center")

为了容易理解，我用宏观视角的完整判断过程举了此例。实际上，由于神经簇的专业性，它判断的过程远远比这个例子更细微。比如，对于身体外形就有可能由几十上百个模块来分别过滤，对于颜色的判断过程也是如此，对于目标运动姿态的判断更加复杂。一个神经簇甚至多个神经簇的工作也许仅仅是得到了物体的轮廓或者速度的某项单一特征。

经由神经簇获得信息的特征的过程，这在信息领域中是一个专精课题。比如，以下图为例：

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748485125113/6f9dadf1-573c-40de-b800-37e9bb3510b1.png align="center")

图片来自维基百科。

从上图的灰色点阵的分布中，我们通过两种方式分别获得了两种特征。第一种是蓝色的直线，第二种是红色小方块连接而成的S型曲线。很明显，第二种特征更加符合事实。

在 [我的世界观](https://dq.hashnode.dev/series/universe) 中，我认为客观事物是无限复杂且不可知的，事物的信号具有几乎无限的维度。人的认知是有局限的，**人只能从自身的需要出发，关注事物的某些方面，忽视其他方面**。从本质上来讲，认知过程就是从信号中获取特征的过程，这是基于自己的目的对客观世界的简化处理，是信息的采样与压缩过程。这是符合前述三个支点中的时间性原则的。

从信号中获取特征的过程，从数学意义上来讲，是**将高维数据投射到低维平面上**，其目的是忽略数据的其余维度，在特定低维空间中观察到数据的规律，并获得映射函数的过程。我们前面说过，某个神经元所做的事情，就是将输入信号视作一个 n 维的点，然后判断它位于基准平面的那一边，这是一个试图尝试给信号降维的基本尝试。如果该神经元被激活，则说明这个尝试成功了，它发现了信号的某个特征。这个特征可能非常微小，甚至我们无法用词语来表达。

神经簇由于有多个神经元的共同参与，它能做的事情要远比单个神经元复杂。但是，在概念的层面上，神经簇的功能，也可以视作从信号中提取特征的过程。比如下图：

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748485337138/66262978-ed2d-4f60-876a-e234c96271a4.png align="center")

图片来自维基百科。

左侧一共有221个不同的图形。但是，我们可以从这些图形中提取了三个特征：形状、大小、旋转。之后，我们可以知道这些图形的形状是大写字母 A，从小到大可以有 13 阶，旋转可以有 17 个角度。这样，只需要三个特征量就可以解释左侧的任意一个图形了。我们可以说，3级大小的字母A旋转三档，就得到了（3，3）处的图形。如果将这个过程安排在大脑中，理论上大约三个神经簇就足胜任。

所以，**神经元网络是提取特征的**。

具有无穷维度的客观事物，经由特征提取，在大脑中获得了**简化表达**。

从一大堆信息中提取特征，这是大脑最本质的能力，是大脑在有时间压力的情况下，对于外界信息的简化处理，这种认知方式塑造了我们的思维和语言，是人类智能的底层。我们可以在看到，大脑在这方面的能力是极其杰出的。

有了简化表征事物的能力之后，人脑的其他智能才能发展。

下面我们要进入一个大脑中最为微妙的环节。

### **神经编码**

我们知道，神经元像是一个八爪鱼一样遍布大脑皮质中。

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748485635421/fdc89504-cf62-44e0-8f26-9beb4d636851.png align="center")

一个绿色荧光蛋白染色后的老鼠锥体神经元，图片来自维基百科。

可以看到，神经元上不同的树突的长度是不一样的，它们离细胞体的距离不一样，每个树突上都有突触。因为神经电位的传递速度并不快，大约只有**几米/秒**。如果这些突触同时受到刺激，产生电位，那么不同的突触的电位传递到细胞体的时候，会产生时差。

所以，即使所有的突触都同时受到刺激，当这些突触所产生的电位汇总到细胞体之后，因为它们各自的时差，汇总后的电位将是一个有多个间隔的波峰的序列。这个序列是由激活的突触以及它离细胞体的距离而决定了。

如果各个突触的活跃时间本来就有差异，也不会影响这个结论，只不过是在输入信号的已有的波峰序列上，再叠加上突触的时间差。所以，这个波峰序列，可以理解为基于某神经元空间结构的编码，再叠加在它收到了的输入信号本身的编码上。

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748485780840/842851fb-95f1-4348-98e1-cf240b9cdc0e.png align="center")

一个神经元上树突的不同远近导致的电位波形差异，图片来自 [论文](https://www.nsfc.gov.cn/csc/20345/22468/pdf/2003/%E6%A0%91%E7%AA%81%E7%9A%84%E4%BF%A1%E5%8F%B7%E6%95%B4%E5%90%88.pdf)。

我将基于神经元自身空间结构所决定的电位编码，称为 **空间编码**。每一个神经元可以有多达一万个突触，它们离细胞体的距离都不一样。每一个神经元的空间结构几乎是唯一的，该神经元所能够形成的空间编码也是独特的。

前面提到过，神经元接受到电波的编码有两种，一种是频率编码，用于一些原始的刺激，比如肌肉收缩等等。另外一种是 **时间编码**，它类似于摩尔斯电码，多用于高级的神经活动。

如果这个神经元被激活了，那么这个波峰序列就沿着轴突传递了出去。所以，理论上可以认为，**一个神经元它将自己的空间编码叠加在输入信号的时间编码上作为输出**，传递给了下级神经元。

同理，这个结论也可以推广到神经簇或者说神经链路这个级别上。因为神经链路也是由很多紧密连接的神经元构成，它们之间也存在空间结构，神经链路的输入也是其他神经链路的输出。由于神经网络是无尺度网络的特点，这个编码机制可以在大脑神经网络中任意尺度范围里类似地产生。

在上一节中，小明在小区里看到了邻居家的母猫由由。小明当时的视觉感知信号激发了大脑，产生了一系列神经电信号，多个神经链路被激活点亮了，它们各自在感知信号中提取了它们关心的特征。这些所有激活的信号在一起，成为一个电位序列的编码。由于参与的神经元、神经链路都有各自的独特编码，而且编码还与当时的具体时间、特定位置等等特征有关，所以**最终的编码也是唯一的**。

由于某次事件所激发的神经元只是大脑所有神经元中很小的一部分，而且这些神经元往往局限在大脑中某几个不大的区域，这就像在夜空中从飞机上俯瞰地面城市的灯火一样，只有少数几个街区是最亮的。所以，我们所说的神经编码，也只包括了这些少数明亮的区域，这种在海量神经元中只有少数相关神经元参与的编码方式，被称为 [稀疏编码](https://zh.wikipedia.org/wiki/%E7%A8%80%E7%96%8F%E5%AD%97%E5%85%B8%E5%AD%B8%E7%BF%92)，这与 **认知就是信息采样与压缩** 的规律是一致的。

稀疏编码既能保证大脑有足够的编码空间来表征世间的万事万物，又足够高效节能。而且，它还有个关键的好处，它是具有 **类聚性** 的。也就是说，相似编码的事物，在特征上也是类似的，它们所涉及的神经元在大脑中的位置也是近邻的。

此时，当这个电位序列传递到了大脑中的 [**海马体**](https://zh.wikipedia.org/zh-cn/%E6%B5%B7%E9%A9%AC%E4%BD%93) 之后，它会将这个电位序列进行编码并记录下来。我们称之为 **记忆**，特别是长期记忆。

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748486128445/18ef82a6-9993-4acf-bd04-5d3058cd88ec.png align="center")

海马体，图片来自维基百科。

海马体是被最为详尽研究过的一个脑区。海马体负责长期记忆的编码，比如 “昨天晚饭吃了馄饨” 或者 “三天前我看到了由由” 这样的流水事件，它不负责语义记忆的编码。所谓语义记忆，是比如我们中学物理中学习的牛顿三大定律，这些知识不在海马体里，而是广泛分布在大脑新皮层中。

海马体只负责编码和检索，记忆的存储则广泛分布在大脑的各个皮层中。比如，像行走、游泳和骑自行车这样的运动技能直接储存在小脑或脊髓中，我们学过的数学定理存储在大脑新皮层中，不同的脑区承担了不同类型的记忆功能。

科学家发现，海马体中有一类独特的神经元—— [**位置神经元**](https://zh.wikipedia.org/zh-cn/%E4%BD%8D%E7%BD%AE%E7%BB%86%E8%83%9E)，它在我们处于某个熟知的具体位置地点时，会被激活。这就像是一幅地图被划分为很多小格子，每一个小格子都有一个位置神经元与之对应。当大脑的相关神经簇根据运动方位和速度自行计算的，或者借助环境标志物识别之后，知道自己位于某个位置时，相应的位置神经元就会被激活，此处发生的事情，都被带上这个激活的位置神经元的编码，因此，这些事件都可以被这个编码所检索到。

伦敦的出租车司机必须要记住很多地点，他们通过严格的考试才能拿到黑色驾照。研究显示，相较于一般人，伦敦出租车司机的海马体体积较大，与其驾龄成正比，这说明其位置神经元的发达。

除了位置神经元，2014年的一项 [研究](https://www.nature.com/articles/nrn3827) 还表明，海马体中还有 **时间神经元**，它像钟表一样按照固定的节奏不断激发，表达时间的流逝。因此，在海马体为存储事件的而进行编码时，也会将时间编码叠加上去。这样，有了时间和地点这两个特征，每次事件都有了唯一的编码，都可以被检索了。

附着在海马体末端的 [**杏仁核**](https://zh.wikipedia.org/zh-cn/%E6%9D%8F%E4%BB%81%E6%A0%B8) 是另一个重要结构，它在情绪的形成中具有重要作用。因此，除了时间与位置，海马体还会将当时的情绪作为事件的特征之一编码进去。这解释了为什么伴随着强烈情绪的经历往往令我们难以忘怀。

我将在**神经网络中传递的，包含位置、时间和情绪信息的，基于特征的编码，称为神经编码**。它与我们在前面谈到的同名词汇的含义一致，但是内涵更有科学性。

除了空间、时间和情绪标识，神经编码还隐藏了人脑可以进行 [**联想**](https://zh.wikipedia.org/wiki/%E8%81%AF%E6%83%B3) 的奥秘。

在回忆过去的事件时，人们会同时想起与该事件有联系的其他过往经历。大卫·休谟提出联想的三种形式，相似联想、时空相关联想及因果联想。因果的推理属于人脑的理性思维能力，我们以后再谈，这里先说一说相似联想和时空相关联想。

时空联想很容易被解释，因为海马体在给事件编码时，会打上位置戳和时间戳，所以根据位置和时间查询，就很容易找到这些同时或者同地发生的事情。

当海马体根据神经编码找到了对应的神经元与神经簇之后，由于神经簇中的神经元是紧邻的，它们在大脑中的空间位置是接近的。所以，只要找到其中一个神经元，也就很容易找到相邻的其他神经元。因为神经元的本质是特征的筛选。所以，我们可以认为，**相邻的神经元代表了类似的信息特征**。

我们继续用前面小明的例子来说明。小明在识别母猫由由的过程中，他头脑中的判断顺序是这样的:

> 物体 -> 移动物体 -> 动物 -> 猫 -> 母猫由由

这些事物特质之间是互相联系的递进关系。我们举例用的是很宏观的特征，实际上发生在神经簇中的判断，可以细到非常细微的特征上，比如是物体的移动速度快可以是慢、比较慢、比较快、快、很快、非常快、快到看不清了，等等。这些特征的判定神经元在大脑中的空间位置也非常接近。

当以“速度快”为特征来在记忆中间检索时，我们除了得到了具备“速度快”这个特征的事物之外，还可以容易地检索到“比较快”、“很快”或者“非常快”等等特征的事物，因为它们的判定神经元在神经网络中都相距不远，当我们检索“速度快”这个特征时，它们也许都连带地激活了。

这可以简单地总结为，**相同特征的神经编码也是相同的，类似特征的神经编码也是类似的**。

为了容易理解，我们用信息科学中的例子来类比。以相似性来存储与检索信息的方式，被称为 [**矢量数据库**](https://www.ibm.com/cn-zh/topics/vector-database)。

传统搜索通常只能使用关键字来精确匹配结果，搜索 “猫” 就只会返回包含单字 “猫” 的结果。与此相反，矢量数据库将事物的信息数据表示为矢量，也就是空间中的一个点。在空间中，点与点之间的距离有远近，可以计算得到，比如有这么两个点：

* 猫：（0.2，-0.4，0.7）
    
* 狗：（0.6，0.1，0.5）
    

在空间中，这两点的距离实际上不远，它们之间靠的很近，这反应了猫狗都是哺乳动物，都是人类宠物的类似性。这样，当检索猫的时候，如果放大检索的宽容度，我们除了得到猫的信息之外，也会得到狗的信息。

至于猫这个点与狗这个点为什么这么接近，这是通过计算机通过**大数据进行训练**的结果。这就是现在火热的生成式人工智能，ChatGPT 运用了这一类技术。

现代人工智能的核心概念，包括采样信息、发现特征以及感知特征之间的相关性，都借鉴自人脑。模仿大自然演化的杰作，是人类进步的捷径。

### **稀疏编码**

稀疏编码是我们理解大脑的记忆与联想等能力的入口，也是后面讨论人脑智能的基础。

大脑是一个存储和处理信息的机器，需要用内部的神经编码代表外部事物，稀疏编码是大脑处理此事的关键途径。

如何以神经元编码事物，有数学上有三种可行的方案：局部编码，密集编码和稀疏编码。

局部编码是，每个神经元仅编码一个事物，任何两个事物的编码没有重叠。

假说整个大脑有100个神经元，局部编码是，它们各自代表一个事物，这样大脑可以认知100个事物。密集编码是，所有的事物都同时由这100个神经元一起来编码表达，这样它们一共可以代表 \\(100!\\) 个事物，但是由于状态空间过大，存储和检索的成本很高。

稀疏编码的含义是：在任何给定时刻，参与某事物的神经编码的神经元，**以相关性为度量**，仅占总神经元数量的很小部分。“稀疏” 本身是一个相对的概念，没有明确的界限。与局部编码和密集编码比较，稀疏编码处于以上两种情形之间，它在编码能力、能量效率和解码难度之间达到了很好的权衡。

稀疏编码也是分布式编码，困难在于读取。但是，由于赫布机制的作用，功能类似的神经元在空间上也紧邻在一起聚集成簇，因而稀疏编码反而能够提升检索效率。

另外，稀疏编码还提供了抽象能力。

在局部编码中，每个编码都是特定的，互相之间并无相似性，所以不能从一个编码找到另一个编码。密集编码和稀疏编码允许不同编码之间，以其相似性为量度，部分码值可以重叠。因此，类似事物的编码也类似，具有相似编码的事物之间可以进行泛化，这就是我们能进行联想和抽象思考的根源。

这是一种符合大自然 **秩序** 的安排。什么是秩序，我们在后面章节详谈。

在研究视觉的过程中，人们发现，稀疏编码可以成功地捕捉到了图像的边缘线，而且由于其稀疏性，大大降低了特征的数量，从而简化了整个图像的有效信息量。

中科院赵松年等研究员的 [研究](https://www.nsfc.gov.cn/publish/portal0/tab440/info58071.htm) 指出，当一幅高分辨率人脸图像和对应的只有面部轮廓的线条图摆在你眼前时，你肯定能够马上识别出它们的差异。但是，你可能不会想到，我们的大脑在处理这两幅图像时使用的神经元数量实际上是差不多的。赵松年指出，这就是稀疏化策略的体现，也就是说，只激活最必要的神经元来表达一幅视觉图像。

稀疏编码依赖于大脑中稀疏网络的物理特性，稀疏网络则造就了大脑的模块化。

其实，人脑的能力不决定于体积，而是源自神经元的连接密度。

裂脑手术用于治疗癫痫，它将连接患者大脑左右半球的胼胝体切断，防止电脉冲扩散。然而，手术后孤立的左脑仍然和完整的大脑同样聪明。一些小脑症患者的大脑体积连某些大猩猩都比不过，可他们仍然能够说话，这意味着人脑的大脑体积不要紧，要紧的是其组织与结构。

人脑平均拥有860亿个神经元，但有690亿都位于小脑。体现人类理性的整个皮层区域只有170亿个神经元。额叶皮层——涉及记忆、抽象思维、抑制冲动、计划和规则的大脑部位——所拥有的神经元数量，比感官皮层和运动皮层要少得多。

但是，额叶皮层的不同之处在于，比大脑其他部位，这里的神经元的树状分支大大增加，这表明神经元之间连接也大大增加。

新皮质中上颗粒层在比例上占灵长类动物皮层厚度的46%，占食肉动物的36%，啮齿目动物的19%。这一层更厚，是因为它有着密集的连接通向大脑其他各部位。这一层大量参与了较高层次的认知功能。不同物种中该层的不同厚度，暗示了连接性的程度影响了物种的认知能力。

因此，甚至不是神经元数量，而是**神经元的连接程度决定着智力**。

可以将神经元网络想象成一张联通全国所有城镇的电网。如果电网具备良好的导线、较低的变压器损耗，其效率越高。神经元网络也是这样一张电网，它传播的是神经电信号，它的导线是神经元轴突，它的变压器是神经元突触。有人认为智力是不同认知能力之间互相促进所体现出的举一反三、触类旁通的能力，这也可以表达为神经元网络的联通性。

但是，大脑有了更多的神经元，如果保持全连接，在物理上是不可能的。有人算出，如果人脑的所有神经元全连接，并呈圆球形，那么，它的直径将达到20公里！所以，扩大了神经元数量，则又必须相应地降低其连接性。神经元的数量与连接性之间存在着矛盾。

那么，如何使得这么多的神经元之间发生密集连接呢？

以去中心化的、本地密集、远程稀疏的方式连接起来的网络，这就是[稀疏网络](https://en.wikipedia.org/wiki/Sparse_network)。

**稀疏网络使稀疏编码成为可能。**

稀疏网络藏着两个好处。

其一，用最短距离维持局部接通。故此，轴突来回穿梭占用的空间较少，维持线路需要的能源较少，信号传递的速度更快。

其二，一些用于输入输出的跨神经簇的长程连接保持了下来。高密度的局部连接，加上少量远程连接，实现了高效的局部计算，也带来了整体网络的迅速沟通。这是大自然中许多无尺度网络的共有特点。

进而，稀疏网络为大脑的模块化奠定了基础。

因为远程连接少，大脑不得不进行专业分工，神经簇各自本地完成特定的功能。最终，人脑中有了数以千计的神经簇，每个神经簇都有自己的事情要做。

这些专门完成特定功能的神经簇被称为 **模块** 。

大脑的分布式并行计算是 [**大自然的算法**](https://dq.hashnode.dev/algorithms) 中分散计算的典型案例。

多个模块可以对不同刺激各自同时进行处理。比如，我们开车时，边看风景边驾驶，还可以听音乐聊天，同时嘴里嚼着零食。我们可以一边敲键盘一边思考代码逻辑。

从一些临床案例中，我们可以体会大脑的模块化分工。

> 1861年，巴黎医生 [保罗·布罗卡](https://zh.wikipedia.org/wiki/%E4%BF%9D%E7%BD%97%C2%B7%E5%B8%83%E7%BD%97%E5%8D%A1) 公布了昵称为“谭”的患者的尸检报告。谭患有失语症，之所以叫做“谭”，因为他只能吐出这一个词来。布罗卡发现，谭的左大脑半球的额下回有梅毒性病变。布罗卡进而研究了另外几名失语症患者，发现所有人的病变都出现在同一区域。这一区域后来称为言语中枢，也叫做 [**布罗卡区**](https://zh.wikipedia.org/zh-cn/%E5%B8%83%E8%8B%A5%E5%8D%A1%E6%B0%8F%E5%8C%BA)。

位于左耳朵上方颅内的布罗卡区的结构与大脑其他区域明显不同。布罗卡区的神经元密度很高，突触非常密集，微管（神经元内部的微小结构）密度高，方向性更强，胶质细胞在布罗卡区也更为活跃。最终，布罗卡区的血流量更大，能耗更高，这说明其作为语言中枢的独特地位。

对裂脑人的研究表明，人脑里的多个模块，一些分布在左半脑，一些分布在右半脑。**左半球专攻语言和智力**，懂得概念与抽象。左半球过的则是一板一眼的平实生活，**左半球专攻空间视觉感知**。

右半球控制的左手可以绘制三维图像，但能轻松写信的右手，却连个立方体都画不出来。但是，右半球不擅长做推论，无法在多个词汇之间建立关系，不能举一反三。总体而言，右半球只有非常有限的自我意识，但不足以像左半球那样形成人格，这是因为右半球没有语言能力，而语言是意识的基底。

当大脑中这些数以千计的模块各自做出自己的决定时，就像一群上蹿下跳的猴子一样各自行动，不听控制。所以，我们说 “心猿意马”，脑中无时无刻都有着很多不请自来的念头此起彼伏，让我们分心走神。失眠的人们肯定知道，不管你怎样对着大脑喊 “该睡觉了”，它却从来不听你的。

而且，进入意识的仅仅是大脑中所有信息中的一小部分。在知觉的水平面之下，是极为繁忙的无意识在辛苦工作，大脑要保持对身体的日常管理，维持心跳、呼吸、体温、血糖、免疫、应急反应等等机能的正常运行，这些就像不会出现在报纸头条上的城市日常一样。

但是，那个在头脑中说话的声音，那个在发号施令、做出一切评判的我，又从那里来的呢？这个话题留给后面意识的章节来谈。

### **概念与抽象**

物理世界中的事物，都具有多项特征。某事物的出现后，这些特征往往一并出现。所以，我们的大脑也将这多个特征绑定在一起，用一个标识来代表这个特征组合，这就是 [**概念**](https://zh.wikipedia.org/wiki/%E6%A6%82%E5%BF%B5)。这以后，大脑只需要记忆这个概念而非事物的完整特征组合。

而且，在大脑判定识别其他事物的特征时，还可以使用这个概念作为可用的特征之一。这样，就可以进一步简化大脑的特征判定处理过程与存储空间。

像特征一样，许多概念可以叠加为新的概念，成为更高级，更复杂，更宏观的概念，此过程没有止境，这是我们生成 [知识图谱](https://zh.wikipedia.org/zh-cn/%E7%9F%A5%E8%AD%98%E5%9C%96%E8%AD%9C) 的一种方法。而且，和特征一样，概念之间也同样可以形成关联。

由于这么多的相似性，我认为，**概念就是经常一起出现的特征组合**。

概念是特征的打包，每一项特征都在神经网络中有对应的判定神经元。所以，概念也是许多判定神经元的组合。由于无尺度网络的特性，概念可以想象为与这许多神经元都有联系的少数几个神经元，或者是通向这许多神经元的关键路径上的少数神经元，它的功能是通过判定某个概念，点亮这一片相关联的神经链路。

下面我们从神经元网络的角度，来具体看一看概念如何产生。

我们将神经元网络想象为感官信号输入，中间进行多路分叉处理，分别提取信号特征，然后进行汇总并输出结果的三个步骤。在中间进行多路分叉处理的时候，这些神经元或者神经簇的结构，可以视作一个从树干到树枝不断分叉的 [**树**](https://zh.wikipedia.org/wiki/%E6%A0%91_\(%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84\)) 的结构，如下图：

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748487356281/2381666e-d74c-4315-8611-9c481ddb5042.png align="center")

如上图所示，信号从A点处输入，不断被解析出各项特征，这些特征用字母A到P来表示。

我们还是沿用前面 母猫由由 的例子，假设 A 点处的特征为物体。可以看到，在继续进行信号解析时，在 A 下方的 B 与 C 处进行了分叉，假设 B 点及其下方的所有节点都关注物体的形状一类特征。而 C 点及其下方的所有节点都关注物体的颜色材质一类的特征。

![[A yellow and white striped cat running through a neighborhood forest from a distance.png|400]](https://cdn.hashnode.com/res/hashnode/image/upload/v1748484920848/39125b01-00da-4433-a630-98695c217af2.png align="left")

由于神经元网络的特点，信号是分别传递到 B 和 C 的，它们各自同时进行处理。B 点解析到的特征是，物体有圆滑的外形，是某种动物。D 点则试图解析动物的头部，E 点试图解析其躯干，F 点试图解析其尾部。在下一级，I 点试图解析头部中的眼睛位置，K 点试图解析其眼睛的外形，而 E 下方的 J 点解析足部，如此等等。

可以看到，在这颗树上的这些特征从大的、粗略的、总体的，逐渐过渡到细小的、精确的、局部的。如果D、E、F三个特征经常一起出现在B特征之下，那么，由于赫布法则，B和DEF之间的突触连接会不断增强。我们的大脑于是发现，B与DEF所对应的判断神经元常常一起被激活，而它们的入口在B处。于是，B就可以指代DEF这些特征。此时，B作为一个概念——也就是特征的固定组合——就逐渐浮现了出来。B这个概念是指动物，更具体的是指包含头、躯干、尾部的四足哺乳动物。

概念的寓意在于，**概念是事物的许多特征中那些常常一起出现的特征的组合**。

从此，不论是猫还是狗，或者母猫由由，它们都属于一个共同的概念——动物。

此时，不要忘了我们前面提到的，神经编码是稀疏编码，具有 **类聚性**。也就是那些类似的特征的判定神经元，往往也在大脑中位于相邻的位置，它们聚集成为无尺度网络中的神经簇。神经元是单向传递信号的，所以信息是一级级来判定的，先进行粗略的大致的特征判定，如果判定成功，则信号激活该神经元，这之后信号才能继续前进，向下传递给次级神经元，再进行递进的稍微精确一点的特征判定，如此不断推进，直到最后的一级。

因此，我们可以认为，在相关特征判定的神经元树结构中，在树干和主枝处，进行的是粗略的大致的特征判定。然后随着树枝的不断分叉，这些位置的节点上进行的是更为细致的特征判定，直至树梢处，完成最为细致的特征判定。

概念的形成方式是，沿着神经元构成的树结构，从树梢到树根进行回溯，获得事物的某项基本特征，用它指代某项事物。比如，我们说一个物体、一个形状、一个字、一个东西等等，这里面的物体、形状、字、东西等等概念，就是这样的形式。我称这种概念形成方式为 **提炼**。

概念还有另外一种的形成方式，就是，**将常常出现在神经簇主干处的事物的基本特征组合为一个概念**。

比如，我们平时看到了许多的树，低矮的，高耸的，有斑驳间隙的，还有像松树那样尖耸的。然后，大脑在这些不同树种的特征中发现了一些共有特种，比如，它们都有树干和树枝，都有叶子。树枝位于树干的上方，许多树枝与树叶构成了椭圆球形的树冠形态。于是，大脑将这几个特征组合在一起，构成了 “树” 这个概念，它是极度简化的。

![](https://cdn.hashnode.com/res/hashnode/image/upload/v1748487603640/96ef9c1b-2021-43e9-82a1-fc3f4197bb39.png align="center")

图片来自维基百科。

大脑的这种概括是基于前面的特征回溯，但是添加了新技能，那就是在不同的特征树之间进行横向比较，获得不同特征树的共性与差异性，也就是 [**类比**](https://zh.wikipedia.org/zh-cn/%E9%A1%9E%E6%AF%94) 。类比是人脑的基本能力，它也被称为 **模式匹配**。模式匹配以稀疏编码之间的相似性比较为基础。在讲到理性的机制时，我们会详述模式匹配。

概念常常是同时采用提炼和模式匹配而获得的。初级概念大多使用提炼获得，而高级概念则在那些提炼的概念之上，再用模式匹配来进行组合，混用二者，做到浑然一体。比如物体、形状、东西这些初级概念大致为提炼所得，而人、动物、社会这些概念则是二者混用而得到的。

我们意识中出现的事物信息是鲜活生动的，充满了细节，这些信息是无数个细微特征的集合，它激活了我们大脑中的一片广泛区域中的几千上万个神经元，大脑因而感到愉悦。好吧，我说的就是母猫由由，它的甜蜜叫声，柔顺的黄白毛发，乖巧的眼神，无声的步态，以及灵活卷曲的尾巴末梢。

此刻，你看到了邻居王大妈。不知为何，她的神情有些慌张。

她说：“她不见了！”  
你问：“什么不见了？”  
“一只黄白色的猫。”她回答说。  
“黄白色的猫？”你追问道。  
“我家的由由不见了！”

你看，王大妈不会一下子说出由由的全部具体特征，而是以它全部特征组合中的极少几个关键特征指代它。

为什么？

因为王大妈需要用一句话，在不到两秒钟时间里，讲出她要表达的意思，她必须做出极大精简。为此，王大妈在她脑中的关于母猫由由的特征判定树中，选择了她认为最重要的几个关键节点所代表的特征来表达整棵树，这几个关键节点就 是 “猫” 和 “黄白颜色”。但是，即便这样也还不够明确。所以，王大妈最后直接说出了由由的名称，这是唯一指代。

概念之所以必要，是因为人们之间进行的语言交流。事物本身的信息量是巨大的，而语言交流要在短时间内完成，必须浓缩信息，这就需要用概念来指代事物。这样，使用概念进行语言表达和思维的能力就自然发生了，我们称之为 [**抽象思维**](https://en.wikipedia.org/wiki/Abstraction)。

抽象思维是现代人类的关键特征。抽象思维是在5万至10万年前，随同人类语言而发展起来的，无论是口头还是书面语言都促进了抽象思维的发展。

从事物中抽取特征并形成概念，这是一项深刻的神经活动。我们能够进行分类，语言表达，抽象思维，都以此为出发点。特征与概念，最终构成了人类语言中的基本词汇。

小节一下，我关于神经编码的观点是：

* 大脑中传递的信号是包含位置、时间与情绪索引的，基于事物特征的电位序列，称为神经编码。
    
* 神经编码是对客观事物的切片、采样、过滤和简化表达。
    
* 神经编码是相关神经元空间结构的体现，具备唯一性。
    
* 相同的特征表示为相同的编码。相似的特征，神经编码也是相似的。
    
* 神经网络的稀疏结构使得神经编码是从简单特征开始不断累加，从而使抽象与概括成为可能。
    
* 许多常常一起出现的特征，被它们的上级特征所指代，打包成为概念。
    
* 我认为，**神经编码是一种可逆计算**。我们在记忆与重构章节详细讨论之。