神经网络是连接主义学派的核心技术，从MP模型到感知机、BP网络、CNN再到GAN，构成了深度学习的技术基石。本笔记梳理神经元模型、感知机训练、BP算法、卷积神经网络和生成对抗网络的原理。

神经元与神经网络

生物神经元与数学模型

MP模型（1943年麦卡洛克与皮茨提出）是人类历史上第一个人工神经元模型，也是人工神经网络的最初起源。

神经元数学模型：

u = Σ(wi × xi)          # 加权求和
y = f(u - θ)            # 通过阈值θ，经激活函数输出

可增加维度统一表达：令 x₀ = -1, w₀ = θ，则 a = Σ(wi × xi)，y = f(a)。

感知机模型

单层感知机

只有单层计算单元的前馈神经网络，输入层与输出层神经元建立连接，同一层不连接。

训练过程（核心是找合适的权值 w）：

1. 设置权值初值为较小的随机非零值
2. 给定输入/输出样本 {aq, tq}
3. 求感知机输出
4. 调整权值：wj(k+1) = wj(k) + α[tq - yq(k)] × xjq（α为学习率，α∈(0,1)）
5. 若 yq(k) = tq，学习结束；否则重复步骤4

多层感知机

单层感知机不能表达的问题称为线性不可分问题。在输入层和输出层之间加入一层或多层处理单元，构成多层感知机：

a(2) = g(w(1) × a(1) + b(1))
y = g(w(2) × a(2) + b(2))

BP算法（反向传播）

核心思想

BP算法的通用学习规则本质是梯度下降——找到一个函数的局部极小值。

损失函数：

P = ½ Σ [d₀(k) - y₀(k)]²

误差反向传播：某一层一个神经元的误差项 = 后面所有与该神经元相连的神经元误差项×权值求和，再乘以该神经元的梯度：

δh(k) = Σ δ₀(k) × w₀h × f'[hᵢh(k)]

要点

• 选择激活函数要求连续可导
• BP算法是如今人工神经网络和深度学习的基础学习训练算法

卷积神经网络（CNN）

核心思想

通过深层网络对图像的低级特征进行提取，随网络层数加深将低级特征不断向高级特征映射，在最后的高级映射特征中完成分类识别。

两大重要思想

1. 稀疏连接（局部连接）：每个神经元只连接图像的一个小区域（感受野），不需要看整张图
2. 权值共享（参数共享）：同一个卷积核在整个图像上滑动使用同一组参数

网络结构

• 卷积层：将特征图叠在一起得到输出，用于图像预处理、特征提取、边缘检测
• 池化层：降低卷积层输出的特征向量维数，有最大池化、平均池化、随机池化
• 经典模型：1998年杨立昆提出 LeNet-5；2012年AlexNet（8层）夺冠ImageNet；2015年ResNet（152层）

生成对抗网络（GAN）

基本结构

由生成网络和判别网络组成的深度神经网络，两者相互对抗：

• 生成网络：从随机噪声向量（潜在空间）生成数据，尝试生成与真实图像相似且同分布的假图像；目标是最小化 ln(1-D(G(z)))
• 判别网络：区分生成的假图像和真实图像，是二分类问题；生成器输入噪声输出图像，判别器输入图像输出概率

训练策略（分阶段优化）

循环执行：

• 第一阶段：训练判别模型（随机梯度上升更新，训练k次）
• 第二阶段：训练生成模型（随机梯度下降更新）

每一轮迭代时，生成模型训练一次，判别模型训练多次。

迁移学习

利用数据、任务或模型之间的相似性，将在旧领域学过的模型应用于新领域。分类：

• 基于样本的迁移
• 基于特征的迁移
• 基于模型的迁移
• 基于关系的迁移

一句话总结

神经网络主线：MP 模型→感知机（解决不了线性不可分才加层）→BP（本质是梯度下降）→CNN（两大思想：稀疏连接、权值共享）→GAN（生成器与判别器相互对抗）。

相关概念

• 人工智能导论-机器学习
• 人工智能导论-绪论与发展史
• 人工智能导论-专家系统与强化学习