Lecture 1

  • 基于AI的神经网络已经接管了大多AI任务
  • 神经网络最先从大脑的计算机模型开始
  • 最早的认知模型是联系——association
  • 最近的大脑模型是连接主义：神经元与神经元连接，大脑由这些连接编码
  • 当前神经网络是连接机器（connectionist machines）
  • 人大脑中的神经元约800亿个，和100万亿个连接，保护神经元的脂肪胶质细胞越多，人就会越聪明（爱因斯坦的大脑里面）。
功能健全、与神经元精准适配的胶质细胞系统，是支撑高水平认知能力的重要基础。
爱因斯坦大脑的独特性，更多体现在特定高级功能脑区中，胶质细胞与神经元形成了更适配、更高效的协同模式，而非单纯的 “胶质细胞数量更多”。

感知机（Perceptron）是基础的人工神经元模型：对各个输入特征，根据其重要性分配对应的权重 \(w_i\)，将输入与权重相乘后求和，再加上全局偏置项 b；再将结果送入激活函数（感知机中为阶跃阈值函数），输出分类结果。

单个感知机只能完成简单的线性分类；将多个感知机神经元按一定结构组合，设置不同的权重、偏置（对应不同决策阈值），就可以构建多层感知机，利用输入特征完成更复杂的类别判断。

公式形式：

\[ y = f\left(\sum_{i=1}^n w_i x_i + b\right) \]

为什么要多层感知机MLP呢？因为深度的提高可以帮我们节省感知机数量的使用，从指数级增长降至线性增长。

  • 深度Depth：从源头到终点sink的最长路径，当深度 > 2时，称为deep network。
  • 源头 source：只有出去的edges（源）。
  • sink：只有进来的edges。
  • layer：神经元的集合，是处于相对于输入处于相同最长depth的神经元集合。

image-20260904162214073

Important

1、MLP是是连接主义计算模型。

  • 单个感知机计算等效神经元
  • MLP是P的多层组成

2、MLPs能模拟任何布尔函数

  • 单个P作为布尔门
  • P的网络即为布尔函数
  • MLPs是通用布尔函数

3、MLPs能模拟任何决策边界

  • 单个P捕获线性边界
  • 复杂边界可通过线性边界组成
  • MLPs可表示任一决策边界
  • 可用于数据分类，且是通用的

题1：在一个MLP中，要几个P才能在二维输入空间中对六边形决策区域（以六边形为边界的决策区域）建模？

答1：7

解1：6个P用于定义六条边，判断输入点是否在该多边形内，第七个P用于“与”操作，只有六个P全输出正值，input才在六边形内部。

题2：要用正弦激活函数 \(y=Sin\left(z\right)\) 精确模拟 \(y=Cos\left(2x\right)\) ，其中 x 为标量。要几个神经元？

答2：一个

解：\(Cos 2x = Sin\left(\frac{\pi}{2}-2x\right)\) ，因此直接设置神经元输入为\(z = \frac{\pi}{2}-2x\) 即可

\[ y = Sinz = Sin\left(\frac{\pi}{2}-2x\right)=Cos2x \]

MLP可以模拟任何复杂实数函数的图解。

image-20260904170721342