问题——深度网络为何离不开“激活”此环 神经网络的核心任务，是从数据中学习复杂的映射关系。如果只做线性变换并层层叠加，整体仍等价于一次线性变换，表达能力不足以应对图像识别、语音理解、自然语言处理等任务中大量非线性特征的需求。激活函数的作用，就是为网络引入非线性，让模型在可训练的前提下具备逼近复杂函数的能力。换句话说，激活函数决定了信息在层与层之间如何“通过、抑制或重塑”，也直接影响梯度能否稳定回传。
从“能训练”到“训得快、训得稳、用得省”，激活函数的演进反映了深度模型工程化的核心需求；ReLU 之所以长期占据主流，并非在某一项指标上压倒性胜出，而是更好地平衡了效率、稳定性与可扩展性。随着算法与硬件的协同优化加速推进，围绕激活函数的创新还会持续——但真正能被广泛采用的方案——仍需在复杂的现实约束中经受长期检验。