最近想做一个 agent security 方向的小论文 / 课程 project ,主题大概是 malicious butler agent (恶意管家模型)
设想是:user agent 想买东西或点单,中间有一个 butler agent 帮它调用 store agent / MCP tool 。如果这个 butler 被恶意控制,它可能会篡改商品排序、误导价格解释、弱化预算约束,最终让 user agent 做出不符合用户意图的选择。
想请教:
1. 有没有类似论文或 benchmark 可以参考?
2. 闭源模型好些不得行,有啥开源模型推荐?
设想是:user agent 想买东西或点单,中间有一个 butler agent 帮它调用 store agent / MCP tool 。如果这个 butler 被恶意控制,它可能会篡改商品排序、误导价格解释、弱化预算约束,最终让 user agent 做出不符合用户意图的选择。
想请教:
1. 有没有类似论文或 benchmark 可以参考?
2. 闭源模型好些不得行,有啥开源模型推荐?