跳到主要内容

Chunk(分块)

先用一句话说清楚​

Chunk(分块)是把长文档切成适合检索、引用和模型处理的小片段。

实战知识卡​

维度要点
项目里看什么看分块是否保留语义完整性、元数据和引用位置。
新手最该记住分块(Chunk(分块))决定 RAG(检索增强生成)能不能检索到可用证据。
作品集证据展示一段原文如何切分,以及每个片段带哪些元数据。
面试回答公式先说按语义和问题模式切分,再说过大过小分别有什么问题。
常见扣分点按固定字数粗暴切分,导致答案没有完整依据。

新手通俗解释​

一本产品手册可能有几十页,不能每次用户提问都把整本手册塞给模型。Chunk(分块)就是把长文档拆成一张张“知识卡片”。用户提问时,系统先找相关卡片,再让模型基于这些卡片回答。

但分块不是随便按字数切。切得太碎,片段可能失去上下文;切得太大,又会带来噪声,占用 Token(文本计量单位),影响检索和生成。

为什么智能体工程师岗位会问它​

RAG(检索增强生成)效果不好,很多时候不是模型问题,而是 Chunk(分块)问题。面试官问分块,是想看你是否理解资料结构、检索质量和引用准确度。

常见考察点:

考察点应该怎么讲
分块依据按标题、段落、表格、语义或业务对象分块
上下文保留片段要有足够信息支持回答
重叠策略必要时保留前后文,但不能无脑重叠
元数据片段要带来源、页码、标题、版本和权限
评估用真实问题看片段是否能支持答案

它在项目里到底怎么用​

不同资料适合不同 Chunk(分块)策略:

资料类型推荐分块思路原因
制度文档按标题、条款和段落分块用户常问某条规则
产品手册按功能模块、操作步骤和注意事项分块保持操作上下文
常见问答一问一答作为基础片段问题和答案要绑定
表格资料按行、字段或业务对象分块防止表格结构丢失
长报告按章节摘要加细节片段兼顾概览和细节

分块后要给每个片段加 Metadata(元数据),否则后面很难做权限过滤、引用展示和问题复盘。

和切文本的区别​

切文本只是把内容分段,Chunk(分块)是为了检索和回答服务。好的分块要考虑用户会怎么问、片段能不能独立支持回答、引用能不能准确指回原文、是否符合权限边界。

面试时可以说:我不会只按固定长度切,而会结合文档结构和业务问题调整。

常见误解​

误解为什么不对正确理解
固定长度分块最简单可靠可能切断标题、表格和语义要结合文档结构
分块越小越精准太小会缺少上下文要在完整性和噪声之间平衡
分块只影响检索它还影响引用、生成和拒答分块是 RAG(检索增强生成)基础设计
重叠越多越好重叠会增加成本和重复结果只在需要上下文连续时使用

面试官可能怎么追问​

1. 你会怎么设计分块策略?​

考察点: 是否能按资料类型设计。

参考回答: 我会先看文档结构和用户问题类型。制度类按条款和标题分块,产品手册按功能和步骤分块,常见问答按问答对分块,表格按业务对象保留字段关系。分块后加来源、版本、页码、权限等 Metadata(元数据),再用问题集评估命中效果。

容易扣分: 直接说“每 500 字切一块”。

2. 分块太大或太小分别有什么问题?​

考察点: 是否理解取舍。

参考回答: 太大容易带入噪声,占用 Token(文本计量单位),让模型引用不准;太小会丢上下文,片段不足以回答问题。合适大小要通过业务问题和评估样例验证。

容易扣分: 认为越小越好。

3. 表格怎么分块?​

考察点: 是否考虑复杂资料。

参考回答: 表格不能简单按纯文本切开,要保留表头、行列含义和业务对象。可以按行、按产品、按规则类别或按指标分块,并把表头信息放进片段上下文。否则模型可能不知道某个数字属于哪个字段。

容易扣分: 把表格直接转成一整段文本。

作品集里怎么展示它​

作品集里可以展示:

  • 原始文档片段和切分后的 Chunk(分块)。
  • 每个 Chunk(分块)的标题、来源、页码、权限和版本。
  • 一个问题命中的片段是否足以支持答案。
  • 分块调整前后检索质量变化。
  • 表格、条款、问答三种资料的不同分块方案。

这会让面试官看到你不是只会调用工具,而是在理解知识库质量。

和哪些术语一起理解​

对应章节与项目​