README.md

团队业务与研究范围

我们是谁#

sec4.si,Security for SI。我们是一个关注 AI 及其基础设施安全的研究团队。

我们研究模型,也研究运行模型、连接模型和使用模型的系统。一个 AI 应用的安全边界,既存在于模型的输入与输出之间,也存在于推理服务、工具调用、权限配置和外部依赖之中。

当模型开始读取外部数据、调用工具、维护记忆,并对现实系统产生影响,安全问题也会沿着这些连接扩展。我们关心的是这些系统实际如何工作,以及它们在什么条件下会偏离预期。

我们做什么#

我们的工作围绕三个环节展开:发现问题、复现机制、解释边界。

  • 安全研究与分析。 从真实系统和具体场景出发,分析模型、基础设施与 Agent 中的攻击面和信任关系。
  • 实验与验证。 用可复现的过程检验问题成立的条件,区分模型行为、系统缺陷和配置因素,明确结论的适用范围。
  • 技术写作与研究工具。 通过文章、实验代码和项目,把复杂机制讲清楚,让研究过程能够被理解、讨论和继续验证。

我们希望研究能回答具体的问题:系统接收了什么,如何解释这些输入,最终执行了什么;哪一道边界失效了,又该如何验证它是否被修复。

研究范围#

LLM:模型层#

研究模型行为、对抗性输入,以及指令与数据之间的边界。关注提示注入、越狱、模型对上下文的解释,以及安全约束在具体任务中的表现。

我们也关注可解释性:理解模型内部的特征与计算过程,为分析行为和安全问题提供更多依据。

Inference:基础设施层#

研究承载模型的推理引擎、服务框架和运行环境。关注请求处理、协议与格式解析、资源隔离、多租户场景,以及模型服务与其他基础设施之间的接口。

模型输出如何变成一个响应,数据经过哪些组件,组件之间依赖什么假设,都是这一层的问题。

Agent:行动层#

研究工具调用、记忆、状态、权限,以及 Agent 从意图走向实际执行时的信任边界。

外部网页、文件、检索结果或工具响应,可能被带入后续决策。我们关注这些信息如何影响 Agent,操作权限如何被约束,以及一次错误的解释如何沿着执行链传递。

Ecosystem:生态层#

研究 AI 系统连接的模型、数据、依赖、插件、连接器与供应链。关注集成方式和默认配置带来的风险,以及单个组件中的问题如何影响整个系统。

很多安全问题发生在组件交接的地方。我们会沿着数据、控制与行动的路径,研究这些接口及其背后的信任关系。

研究方式#

Observe. 先理解实际行为。阅读实现,观察输入与输出,梳理数据和控制流,确认系统真正依赖的假设。

Reproduce. 再让结论可检验。记录环境、条件、步骤与限制,用实验说明问题何时成立,以及哪些变化会影响结果。

Explain. 最后把机制讲清楚。文章应说明现象背后的原因;实验中的示意、假设与实测结果,应当有清楚的区别。

我们从具体问题出发,逐步建立对系统的理解。结论需要证据,也需要保留它的边界。

项目与入口#

sec4.si 是团队的主页,也是研究内容与项目的共同入口。

  • Benchmark:Benchmark 项目站点,相关内容与代码通过 Benchmark 仓库更新。
  • Lens:可解释性研究站点,通过交互式讲解与研究文章探索模型内部的工作方式。Lens 仓库。
  • Infer:Infer 项目站点,相关内容与代码通过 Infer 仓库更新。

各项目的具体内容与进展,以对应站点和仓库的公开更新为准。

从这里开始#

这个 Articles 页面用于持续发布团队介绍、研究文章、实验记录和技术分析。README.md 是第一篇,先说明我们研究什么,以及如何开展这些工作。

你可以从文章列表继续阅读,也可以前往 GitHub 组织查看已公开的仓库与更新。

从模型到行动,探索智能系统的安全边界。

[ / ]