团队介绍 / SEC4SI
README.md
团队业务与研究范围
我们是谁#
sec4.si,Security for SI。我们是一个关注 AI 及其基础设施安全的研究团队。
我们研究模型,也研究运行模型、连接模型和使用模型的系统。一个 AI 应用的安全边界,既存在于模型的输入与输出之间,也存在于推理服务、工具调用、权限配置和外部依赖之中。
当模型开始读取外部数据、调用工具、维护记忆,并对现实系统产生影响,安全问题也会沿着这些连接扩展。我们关心的是这些系统实际如何工作,以及它们在什么条件下会偏离预期。
我们做什么#
我们的工作围绕三个环节展开:发现问题、复现机制、解释边界。
- 安全研究与分析。 从真实系统和具体场景出发,分析模型、基础设施与 Agent 中的攻击面和信任关系。
- 实验与验证。 用可复现的过程检验问题成立的条件,区分模型行为、系统缺陷和配置因素,明确结论的适用范围。
- 技术写作与研究工具。 通过文章、实验代码和项目,把复杂机制讲清楚,让研究过程能够被理解、讨论和继续验证。
我们希望研究能回答具体的问题:系统接收了什么,如何解释这些输入,最终执行了什么;哪一道边界失效了,又该如何验证它是否被修复。
研究范围#
LLM:模型层#
研究模型行为、对抗性输入,以及指令与数据之间的边界。关注提示注入、越狱、模型对上下文的解释,以及安全约束在具体任务中的表现。
我们也关注可解释性:理解模型内部的特征与计算过程,为分析行为和安全问题提供更多依据。
Inference:基础设施层#
研究承载模型的推理引擎、服务框架和运行环境。关注请求处理、协议与格式解析、资源隔离、多租户场景,以及模型服务与其他基础设施之间的接口。
模型输出如何变成一个响应,数据经过哪些组件,组件之间依赖什么假设,都是这一层的问题。
Agent:行动层#
研究工具调用、记忆、状态、权限,以及 Agent 从意图走向实际执行时的信任边界。
外部网页、文件、检索结果或工具响应,可能被带入后续决策。我们关注这些信息如何影响 Agent,操作权限如何被约束,以及一次错误的解释如何沿着执行链传递。
Ecosystem:生态层#
研究 AI 系统连接的模型、数据、依赖、插件、连接器与供应链。关注集成方式和默认配置带来的风险,以及单个组件中的问题如何影响整个系统。
很多安全问题发生在组件交接的地方。我们会沿着数据、控制与行动的路径,研究这些接口及其背后的信任关系。
研究方式#
Observe. 先理解实际行为。阅读实现,观察输入与输出,梳理数据和控制流,确认系统真正依赖的假设。
Reproduce. 再让结论可检验。记录环境、条件、步骤与限制,用实验说明问题何时成立,以及哪些变化会影响结果。
Explain. 最后把机制讲清楚。文章应说明现象背后的原因;实验中的示意、假设与实测结果,应当有清楚的区别。
我们从具体问题出发,逐步建立对系统的理解。结论需要证据,也需要保留它的边界。
项目与入口#
sec4.si 是团队的主页,也是研究内容与项目的共同入口。
- Benchmark:Benchmark 项目站点,相关内容与代码通过 Benchmark 仓库更新。
- Lens:可解释性研究站点,通过交互式讲解与研究文章探索模型内部的工作方式。Lens 仓库。
- Infer:Infer 项目站点,相关内容与代码通过 Infer 仓库更新。
各项目的具体内容与进展,以对应站点和仓库的公开更新为准。
从这里开始#
这个 Articles 页面用于持续发布团队介绍、研究文章、实验记录和技术分析。README.md 是第一篇,先说明我们研究什么,以及如何开展这些工作。
你可以从文章列表继续阅读,也可以前往 GitHub 组织查看已公开的仓库与更新。
从模型到行动,探索智能系统的安全边界。