Chunk(分块)
先用一句话说清楚
Chunk(分块)是把长文档切成适合检索、引用和模型处理的小片段。
实战知识卡
| 维度 | 要点 |
|---|---|
| 项目里看什么 | 看分块是否保留语义完整性、元数据和引用位置。 |
| 新手最该记住 | 分块(Chunk(分块))决定 RAG(检索增强生成)能不能检索到可用证据。 |
| 作品集证据 | 展示一段原文如何切分,以及每个片段带哪些元数据。 |
| 面试回答公式 | 先说按语义和问题模式切分,再说过大过小分别有什么问题。 |
| 常见扣分点 | 按固定字数粗暴切分,导致答案没有完整依据。 |
新手通俗解释
一本产品手册可能有几十页,不能每次用户提问都把整本手册塞给模型。Chunk(分块)就是把长文档拆成一张张“知识卡片”。用户提问时,系统先找相关卡片,再让模型基于这些卡片回答。
但分块不是随便按字数切。切得太碎,片段可能失去上下文;切得太大,又会带来噪声,占用 Token(文本计量单位),影响检索和生成。
为什么智能体工程师岗位会问它
RAG(检索增强生成)效果不好,很多时候不是模型问题,而是 Chunk(分块)问题。面试官问分块,是想看你是否理解资料结构、检索质量和引用准确度。
常见考察点:
| 考察点 | 应该怎么讲 |
|---|---|
| 分块依据 | 按标题、段落、表格、语义或业务对象分块 |
| 上下文保留 | 片段要有足够信息支持回答 |
| 重叠策略 | 必要时保留前后文,但不能无脑重叠 |
| 元数据 | 片段要带来源、页码、标题、版本和权限 |
| 评估 | 用真实问题看片段是否能支持答案 |
它在项目里到底怎么用
不同资料适合不同 Chunk(分块)策略:
| 资料类型 | 推荐分块思路 | 原因 |
|---|---|---|
| 制度文档 | 按标题、条款和段落分块 | 用户常问某条规则 |
| 产品手册 | 按功能模块、操作步骤和注意事项分块 | 保持操作上下文 |
| 常见问答 | 一问一答作为基础片段 | 问题和答案要绑定 |
| 表格资料 | 按行、字段或业务对象分块 | 防止表格结构丢失 |
| 长报告 | 按章节摘要加细节片段 | 兼顾概览和细节 |
分块后要给每个片段加 Metadata(元数据),否则后面很难做权限过滤、引用展示和问题复盘。
和切文本的区别
切文本只是把内容分段,Chunk(分块)是为了检索和回答服务。好的分块要考虑用户会怎么问、片段能不能独立支持回答、引用能不能准确指回原文、是否符合权限边界。
面试时可以说:我不会只按固定长度切,而会结合文档结构和业务问题调整。
常见误解
| 误解 | 为什么不对 | 正确理解 |
|---|---|---|
| 固定长度分块最简单可靠 | 可能切断标题、表格和语义 | 要结合文档结构 |
| 分块越小越精准 | 太小会缺少上下文 | 要在完整性和噪声之间平衡 |
| 分块只影响检索 | 它还影响引用、生成和拒答 | 分块是 RAG(检索增强生成)基础设计 |
| 重叠越多越好 | 重叠会增加成本和重复结果 | 只在需要上下文连续时使用 |
面试官可能怎么追问
1. 你会怎么设计分块策略?
考察点: 是否能按资料类型设计。
参考回答: 我会先看文档结构和用户问题类型。制度类按条款和标题分块,产品手册按功能和步骤分块,常见问答按问答对分块,表格按业务对象保留字段关系。分块后加来源、版本、页码、权限等 Metadata(元数据),再用问题集评估命中效果。
容易扣分: 直接说“每 500 字切一块”。
2. 分块太大或太小分别有什么问题?
考察点: 是否理解取舍。
参考回答: 太大容易带入噪声,占用 Token(文本计量单位),让模型引用不准;太小会丢上下文,片段不足以回答问题。合适大小要通过业务问题和评估样例验证。
容易扣分: 认为越小越好。
3. 表格怎么分块?
考察点: 是否考虑复杂资料。
参考回答: 表格不能简单按纯文本切开,要保留表头、行列含义和业务对象。可以按行、按产品、按规则类别或按指标分块,并把表头信息放进片段上下文。否则模型可能不知道某个数字属于哪个字段。
容易扣分: 把表格直接转成一整段文本。
作品集里怎么展示它
作品集里可以展示:
- 原始文档片段和切分后的 Chunk(分块)。
- 每个 Chunk(分块)的标题、来源、页码、权限和版本。
- 一个问题命中的片段是否足以支持答案。
- 分块调整前后检索质量变化。
- 表格、条款、问答三种资料的不同分块方案。
这会让面试官看到你不是只会调用工具,而是在理解知识库质量。