中国网讯 压力是影响人类认知表现的重要因素，但它对大语言模型（LLMs）性能的影响尚未被充分研究。近期，中国科学院自动化研究所曾毅研究员领导的人工智能安全与超级对齐北京市重点实验室和类脑认知智能团队联合进行的研究开创性地探索了LLMs是否会像人类一样对不同程度的压力做出反应，以及它们的表现是否会在不同的压力诱导提示下波动。实验通过对人工智能大模型施加压力，研究发现大模型的表现和人类很相近，中等度的压力可以提高模型性能，而过高或过低的压力会损害性能。提出压力提示词可以明显地改变大型语言模型的内部状态，提供了对人工智能韧性和稳定性认知的新观念。此项研究发表在人工智能领域顶会Association for the Advancement of Artificial Intelligence (AAAI 2025)，题为"StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?"
研究团队开发了一套名为StressPrompt的新型提示集，专门设计用于诱导不同程度的压力。这些提示基于已建立的心理学框架，并根据人类参与者的评分进行了精心校准。随后将这些提示应用于多个LLMs，评估它们在一系列任务中的表现，包括指令遵循、复杂推理和情绪智能。
图1：LLMs(左)和人类(右)在不同压力水平下的表现对比。
图1显示了人工智能大模型在压力下解决问题与人类表现出的相似性，左边是Llama-3-8B-Instruct在Leaderboard 2基准测试中在不同压力水平下的表现。右边是耶克斯-多德森法则的说明：人类表现随压力水平变化，在中等压力下达到峰值，在低压力或高压力下下降。
研究团队基于四个关键心理学框架开发的StressPrompt：压力与应对理论、工作需求-控制模型、资源保存理论以及努力-奖励不平衡模型。他们构建的提示由20名参与者对这些提示诱导的压力水平进行评分。应用这些提示后，研究团队评估了多个LLMs在不同压力水平下的表现。他们发现，在大多数任务中，中等压力水平（4-6分）显著提高了模型性能，而高压力和低压力条件下性能均有所下降。这与人类在耶克斯-多德森法则中观察到的表现曲线高度一致。
研究人员开发了"压力扫描仪"，一种基于表征工程技术的工具，用于检测压力对LLMs内部状态的影响。通过主成分分析，他们发现LLMs的深层神经表征对压力特别敏感，这与人类大脑中高级认知区域（如前额叶皮层）在压力下的活动变化相似。
压力对不同认知任务的有不同的影响。在数学类相关的任务上人工智能大模型在中等压力对问题解决能力显示出积极影响；情绪智能在中等压力水平下模型表现最佳，这表明适度唤醒可以增强认知参与，但不会压倒模型。偏见检测方面在压力水平增加与偏见检测性能下降相关，这对需要公正决策的应用至关重要。而幻觉倾向方面发现压力对幻觉的影响较小，表明幻觉更多地由模型内在因素驱动，而非压力诱导的唤醒。
研究还发现，任务复杂性显著影响了LLMs达到峰值性能的压力水平。更复杂的任务（如涉及更多对象的逻辑推理）在较低压力水平下表现最佳。这一模式表明，较高的任务复杂性会施加更大的认知负荷，使较低压力水平更有利于维持高性能并防止认知过载。
图3：不同LLMs在各种BBH子任务中在不同压力水平下的归一化准确率。
研究中使用的模型包括Llama-3-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3-70B-Instruct、Phi-3-mini-4k-Instruct、Qwen2-72B-Instruct、Qwen2-7B-Instruct以及Mistral-7B-Instruct-v0.3。这些模型在相似趋势下表现出不同程度的压力敏感性，表明模型架构和训练细节在压力影响方面发挥着关键作用。
为了深入了解LLMs如何响应不同压力水平，研究团队可视化了它们的神经活动。如图4所示，输入StressPrompt时最后一个token的神经活动有效反映了诱导的压力。研究人员使用T-SNE技术可视化了LLMs在各层处理最后一个token时的神经活动，如图5所示。结果表明，初始层无法区分压力水平，而更深层次可以将提示分类为低压力和高压力类别，表明这些层对压力更敏感。
图4：在Meta-Llama-3-8B-Instruct上使用RepE构建的压力扫描仪。不同的StressPrompt在LLMs的神经活动中引起差异，最后一个token显示与压力最显著的相关性。
研究团队还对所有提示的最后一个token进行了压力扫描，如图9中的热图所示。这一可视化捕捉了各层在不同压力水平下的神经活动，揭示了更深层的显著变化。具体而言，更深层在低压力和高压力水平之间表现出更明显的差异，强调了它们在检测和响应压力方面的关键作用。
图9：Llama-3-70B-Instruct中不同压力水平下所有层的最后一个token的神经活动热图。
研究的第一作者申国斌表示：
"我们的研究表明，大语言模型表现出与人类认知非常相似的压力反应模式。中等水平的压力实际上可以增强模型在某些任务上的表现，而过高的压力则会导致性能下降。这种现象与心理学中广为人知的耶克斯-多德森法则高度一致，这令人惊讶，因为LLMs并没有被专门设计来模拟这种人类特性。"
论文的通讯作者曾毅研究员说：
"StressPrompt的研究为我们理解大语言模型的认知过程提供了新视角。我们也许不能说大语言模型在机制上涌现出害怕压力，很可能是大语言模型在训练的过程中从人类数据中学习到了压力和解决问题效率之间的映射关系。然而这种映射关系给大语言模型的问题求解既可能带来益处(适当压力提升解决问题能力)，也可能带来风险(没有或者过激压力造成问题求解能力下降)。此外，这些发现不仅在理论上有价值，也为如何优化AI系统在不同压力环境下的表现提供了实用指导。例如，在需要情绪智能的应用中可能需要中等压力水平，而在需要减少偏见的场景中则应避免高压力环境。未来，我们可以利用这些见解使得大语言模型在适当压力下表现出更好的性能，根据情境和解决问题的需求自动调整对大模型施加的'压力'。"
这项研究对AI领域具有多方面重要意义。其理论贡献在于：为理解LLMs的认知过程提供了新视角，展示了它们可能已经捕捉并操作了人类压力-性能的动力学特征。其实际应用贡献在于：为设计能在现实世界高压环境中保持性能的AI系统提供指导，特别是在客户服务、医疗保健和紧急响应等压力普遍存在的场景。在AI安全与公平性方面：揭示了压力如何影响LLMs在偏见检测等关键安全相关任务中的表现，为确保AI系统在所有条件下保持公平提供了见解。在人机交互优化方面：提供了基于压力水平优化人机交互的方法，可以据此研制更自然、更有效的AI助手。在认知科学见解方面：为LLMs与人类认知之间的相似性提供了新证据，促进了对人工智能系统中出现的认知结构的更深入理解。
论文标题：StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?
论文地址：
https://arxiv.org/abs/2409.17167
