[论文学习]自主性如何重塑个性化对LLM智能体隐私关切与信任的影响

Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents (2026) 论文重点LLM智能体在为用户提供个性化服务时不可避免地需要访问大量个人数据但这会引发用户的隐私关切并削弱信任。本研究通过一项N450的3×3组间实验发现“风险条件性自主性”risk-contingent autonomy——即智能体在检测到潜在隐私泄露风险时将控制权交还给用户——能够通过提升用户的感知控制感有效缓解个性化带来的隐私担忧加剧和信任下降问题。 核心研究内容问题定义LLM智能体如OpenClaw、OpenAI Operator、Claude Code等的自主性远高于传统非智能体式AI系统。为了实现有效的个性化服务这些智能体需要连接Gmail、Notion等外部应用以获取用户的个人数据。然而与传统AI系统仅生成静态内容不同LLM智能体会实时规划并执行动作——例如通过真实世界工具生成并发送消息给特定收件人。这种与外部环境的交互带来了数据泄露的风险。这就形成了一个根本性的两难困境个性化需要数据数据共享引发隐私担忧隐私担忧又抑制数据共享——从而同时限制了智能体的自主性水平和个性化的有效性。研究者将这一矛盾称为“个性化-隐私困境”personalization-privacy dilemma。然而智能体自主性这一扩大的设计空间也可能为塑造上述效应提供新的机会——而这一点在此前的研究中尚属空白。创新方法本研究的核心创新在于首次系统性地将智能体自主性作为调节变量引入个性化-隐私困境的分析框架并提出了“风险条件性自主性”这一全新的交互设计范式。具体而言研究者基于Kasirzadeh和Gabriel2025提出的自主性框架构建了一个3×3的组间实验设计N450三个自主性水平无自主性No autonomy智能体每一步操作都需用户批准中等自主性Intermediate autonomy智能体可自主执行常规操作但在检测到风险时如涉及敏感数据会暂停并请求用户确认完全自主性Full autonomy智能体完全独立执行所有操作三个个性化类型无个性化No personalization智能体不访问任何用户数据隐私感知个性化Privacy-aware personalization智能体仅访问用户的非敏感信息完全个性化Full personalization智能体可访问连接应用中的所有用户信息研究通过测量用户的隐私关切privacy concern、信任trust和使用意愿willingness to use三个核心因变量并结合感知敏感性perceived sensitivity和感知控制perceived control等中介变量揭示了自主性影响个性化效应的心理机制。研究成果研究的核心发现可以归纳为以下几点1. 个性化的双刃剑效应研究发现不考虑用户隐私偏好的个性化会显著增加隐私关切并降低信任和使用意愿。个性化通过提升用户对数据“感知敏感性”的认知来发挥这一效应——即用户越觉得被访问的数据敏感隐私关切就越高信任和使用意愿就越低。2. 自主性的调节作用自主性显著调节了上述效应。具体而言中等自主性相较于无自主性和完全自主性能够“ flatten ” flatten 个性化的影响——即减弱个性化对隐私关切的加剧效应和对信任的削弱效应。中等自主性对隐私关切有显著的负向影响对信任有显著的正向影响。3. 风险条件性自主性的有效性研究最关键的发现是风险条件性自主性通过提升用户的感知控制感有效缓解了个性化的负面影响。当智能体在检测到潜在隐私泄露时将控制权交还给用户时用户感受到更强的掌控感从而降低了隐私担忧并维持了对智能体的信任。4. 中介机制的澄清研究还揭示了一个重要的机制细节个性化通过“感知敏感性”影响用户反应但中等自主性并不显著影响感知敏感性或其下游结果。这意味着自主性的调节作用并非通过改变用户对数据敏感程度的认知来实现而是通过增强感知控制这一独立路径发挥作用。实际落地应用的可能性这项研究的成果具有直接且迫切的应用价值智能体交互设计指南为LLM智能体的产品设计提供了基于实证的指导原则——即在个性化与隐私之间并非只能做零和博弈通过设计“风险条件性自主性”可以实现双赢。隐私UX设计范式提出了一个可操作的交互范式——智能体在运行时动态评估操作的风险等级在涉及敏感数据时主动“刹车”并请求用户确认而非一味追求自动化。信任校准工具帮助企业在不牺牲个性化效果的前提下通过赋予用户适度的控制感来建立和维护用户信任。合规性支持为满足GDPR、CCPA等隐私法规中关于用户控制权的要求提供了技术实现思路。 技术细节实验设计框架研究采用了标准的3×3组间因子设计每位参与者被随机分配到9种条件组合之一。实验场景设定为一个 hypothetical 的LLM智能体助手该助手连接用户的电子邮件、日历、通讯录和购物记录等应用。变量操作化自变量的操作个性化类型的操作通过向参与者展示智能体能够访问的信息范围来实现无个性化不访问任何用户数据隐私感知个性化仅访问非敏感信息如日历日程完全个性化访问全部信息包括邮件内容、聊天记录、购买历史等自主性水平的操作基于Kasirzadeh和Gabriel2025的框架无自主性每项操作需用户逐次批准中等自主性常规操作自主执行检测到风险时暂停并请求确认完全自主性所有操作完全自主执行因变量的测量隐私关切采用既有的隐私关切量表信任测量用户对智能体能力、可靠性和善意三个维度的感知使用意愿测量用户在未来继续使用该智能体的意向中介变量感知敏感性用户对被访问数据敏感程度的评估感知控制用户对智能体行为可控程度的感知数据分析方法研究者采用了方差分析ANOVA检验主效应和交互效应并使用中介分析mediation analysis检验感知敏感性和感知控制的中介路径。假设检验的详细结果可见论文中的Table 1和Table 4。 研究设定参与者样本量N 450实验设计3个性化类型× 3自主性水平组间设计数据收集方式在线实验平台如Prolific或类似平台实验流程参与者首先阅读关于LLM智能体的场景描述包括智能体的功能、可访问的数据类型以及自主性水平。随后参与者被要求想象自己在使用该智能体完成日常任务如安排会议、回复邮件、管理日程等并完成相关的问卷测量。软硬件要求从研究性质来看用户实验本研究主要依赖在线问卷平台如Qualtrics、Prolific标准的数据分析软件如SPSS、R或Python无需特殊的硬件配置 综合分析理论贡献这篇论文在多个层面上做出了重要理论贡献第一拓展了人机交互中“自主性”概念的理论内涵。以往关于自主性的研究多关注“多少自主性”的问题即自主性的程度而本研究引入了“何种自主性”的维度——特别是“条件性自主性”这一概念。研究发现并非自主性越高越好完全自主性反而可能加剧隐私担忧也不是越低越好无自主性让用户感到繁琐而是在合适的时候给予合适的自主性才是关键。第二揭示了感知控制在个性化-隐私困境中的核心作用。以往研究多关注“感知敏感性”作为个性化影响隐私关切的中介但本研究发现自主性的调节作用并不通过感知敏感性实现。相反感知控制才是自主性发挥调节效应的关键心理机制。这一发现为设计干预提供了更精准的靶点。第三将LLM智能体的特殊性纳入了理论框架。与非智能体式AI系统不同LLM智能体能够实时规划和执行动作其自主性不仅仅是“是否自动化”还涉及“在什么条件下自动化”。本研究敏锐地捕捉到了这一差异并进行了理论化。实践启示从实践角度看这项研究最重要的启示是设计智能体的自主性本质上是在设计如何支持“人的自主性”。这包括两个层面感知控制让用户感觉自己能够掌控智能体的行为监督有效性让用户能够有效地监督智能体的行为这两个维度共同构成了用户对智能体信任的基础。局限与未来方向需要指出的是本研究也存在一些局限性实验场景是假设性的hypothetical而非真实的智能体使用场景参与者与智能体的交互是模拟的缺乏长期使用的动态数据研究聚焦于个人使用场景未涉及多用户或组织场景未来研究可以在真实使用环境中验证这些发现并探索不同文化背景下用户对自主性和隐私的差异化反应。 实践应用对产品经理的建议不要将“自主性”等同于“全自动化”。完全自主的智能体可能反而降低用户信任。设计时应考虑在关键决策点尤其是涉及敏感数据的操作设置“安全阀”。“风险条件性自主性”是一个可行的设计模式。智能体应具备风险检测能力在检测到潜在隐私泄露风险时主动将控制权交还给用户。用户的“感知控制”比实际的“控制权”更重要。即使智能体在大多数情况下自主运行只要用户相信自己在必要时可以介入信任就能得到维持。对开发者的建议实现运行时风险检测机制智能体需要在执行敏感操作如访问私密邮件、代表用户发送消息等前进行风险评估。设计清晰的透明度界面让用户了解智能体正在访问什么数据、为什么访问这些数据、以及这些数据如何被使用。提供粒度化的控制选项允许用户在不同类型的数据和不同类型的操作上设置不同的自主性偏好。对研究者的建议将“感知控制”作为关键的中介变量纳入未来的人机交互和AI信任研究中。探索更多类型的“条件性自主性”——除了风险条件外是否还有不确定性条件、复杂性条件等其他维度的条件性自主在真实世界环境中进行纵向研究验证风险条件性自主性的长期效果。 参考资料来源原始论文Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents(2026)arXiv链接https://arxiv.org/abs/2510.04465PDF链接https://arxiv.org/pdf/2510.04465HTML链接https://arxiv.org/html/2510.04465v2论文所属学科Human-Computer Interaction (cs.HC); Artificial Intelligence (cs.AI); Cryptography and Security (cs.CR)