深度学习的昨日世界：从 CNN 的局部视野到 RNN 的记忆长河

TL;DR

• 演进序章：在 Transformer 一统天下之前，CNN 与 RNN 分别统治着空间（图像）与时间（序列）两个维度的建模。
• 空间捕手 (CNN)：通过卷积核提取局部特征，利用池化实现平移不变性，是计算机视觉 (CV) 的基石。
• 时间行者 (RNN)：引入隐藏状态记忆上文，但受限于梯度消失，只能保有短暂记忆。
• 记忆大师 (LSTM)：通过精妙的门控机制 (遗忘门/输入门/输出门)，解决了长距离依赖问题，让机器学会了“选择性遗忘”。

概念与痛点

它们是什么

• CNN (卷积神经网络)：模拟人类视觉皮层，通过滑动窗口提取局部特征（边缘、纹理），层层抽象。
• RNN (循环神经网络)：模拟人类阅读习惯，按顺序逐个处理输入，并维护一个“记忆”状态传递给下一步。
• LSTM (长短期记忆网络)：RNN 的进化版，专门设计用于解决长序列训练中的梯度消失问题。

解决什么问题

• 全连接层 (DNN) 之痛：参数量随输入维度爆炸增长（如处理图片），且无法利用像素间的空间关系或词语间的时序关系。
• CNN 破局：局部连接与权值共享大幅减少了参数，让深层网络成为可能。
• RNN 破局：处理变长序列（如句子），让网络具备了“上下文”概念。

发展历史与演进

1. 感知机与 DNN (1950s-1980s)：AI 的寒冬，受限于算力与数据，多层网络难以训练。
2. CNN 崛起 (1998-2012)：
   • LeCun 提出 LeNet-5 (1998) 识别手写数字。
   • AlexNet (2012) 引入 ReLU 与 Dropout，横扫 ImageNet，开启深度学习爆发时代。
3. RNN 复兴与 LSTM (1997-2014)：
   • Schmidhuber 提出 LSTM (1997)，解决 RNN 只能记 10 步以内的问题。
   • Seq2Seq (2014) 提出 Encoder-Decoder 架构，让机器翻译达到可用水平。
   • GRU (2014) 简化了 LSTM 结构。
4. Attention 引入 (2015)：为 RNN 装上“探照灯”，解决信息瓶颈，最终催生了 Transformer。

核心模块与运行机制

1. CNN：空间的抽象艺术

核心机制：

• 卷积 (Convolution)：过滤器 (Filter/Kernel) 在图像上滑动，提取特征（如横线、竖线）。
• 激活 (Activation)：ReLU 引入非线性，模拟神经元“点火”。
• 池化 (Pooling)：降采样，保留最显著特征，允许物体稍微偏移而不影响识别（平移不变性）。

类比：
就像你透过一个小管子看世界，你只能看到局部。你把管子在画上扫一遍，记下哪里有红花，哪里有绿叶。然后退后一步，再扫一遍，发现“红花+绿叶=玫瑰”。这就是 CNN 的层级抽象。

2. RNN：时间的接力跑

核心机制：

• 隐藏状态 (Hidden State)：$ht = f(W \cdot x_t + U \cdot h{t-1})$。
• 当前时刻的输出，取决于当前输入 $xt$ 和上一时刻的记忆 $h{t-1}$。

痛点 (梯度消失)：
RNN 像是一个患有阿尔茨海默症的传话者。句子太长，传到第 10 个人时，第 1 个人的话早就不记得了。反向传播时，梯度连乘导致数值指数级衰减，无法更新前面的参数。

3. LSTM：精密的记忆阀门

核心机制：
LSTM 引入了细胞状态 (Cell State) $C_t$ 作为高速公路，并在其上设置了三个“门” (Gate) 来控制信息流：

1. 遗忘门 (Forget Gate)：决定丢弃多少旧记忆。（比如看到新主语“她”，就该遗忘旧主语“他”的性别信息）
2. 输入门 (Input Gate)：决定存入多少新信息。
3. 输出门 (Output Gate)：决定基于当前记忆输出什么。

数学魔法：
通过加法运算更新细胞状态 ($Ct = f_t \cdot C{t-1} + i_t \cdot \tilde{C}_t$)，避免了连乘带来的梯度消失，让梯度能流得更远。

设计哲学与权衡

1. 归纳偏置 (Inductive Bias)

• CNN 的偏见：局部性 (相邻像素相关) 和 平移等变性 (猫在左上角和右下角都是猫)。这让它在图像任务上极高效，但在捕捉全局关系（如相隔甚远的两个物体）时吃力。
• RNN 的偏见：时序性 (当前时刻强依赖于上一时刻)。这符合语言习惯，但也导致了无法并行计算的致命伤。

2. 记忆与计算

• RNN/LSTM：计算与记忆耦合。必须算完 $t-1$ 才能算 $t$，时间就是它的枷锁。
• Transformer (后继者)：通过 Attention 抛弃了时序偏见，用空间（显存）换时间（并行），最终取代了 RNN。

横向对比

特性	DNN (全连接)	CNN (卷积)	RNN (循环)	LSTM
擅长领域	表格数据	图像、网格数据	短序列	长序列
参数共享	无	卷积核共享	时间步共享	时间步共享
并行能力	高	高 (层内并行)	低 (串行)	低 (串行)
长距离依赖	弱	弱 (需多层堆叠)	极弱	强

学习者启发：思维的模型

• CNN 思维：自底向上。先关注细节（把手头的小事做好），再组合成模块（掌握一项技能），最后形成全局视野（构建知识体系）。
• LSTM 思维：取舍有道。人生充满了信息噪声，关键不在于你记住了多少，而在于你遗忘了多少无关紧要的琐事 (Forget Gate)，专注于输入真正有价值的信息 (Input Gate)，并在关键时刻输出你的洞见 (Output Gate)。

附录：覆盖要点

• [x] CNN 原理 (卷积、池化、平移不变性)
• [x] RNN 原理与梯度消失痛点
• [x] LSTM 架构 (三大门控机制、细胞状态)
• [x] 发展历史 (LeNet -> AlexNet, RNN -> LSTM -> Seq2Seq)
• [x] 设计哲学 (归纳偏置、时序依赖)
• [x] 横向对比 (DNN vs CNN vs RNN)