PDF 和表格进入知识库前，怎样分块才不会丢掉条件

随机查看正文、关键金额、表格、脚注和跨页位置。扫描件可能有字符识别错误，电子 PDF 也可能出现阅读顺序混乱。发现“1”变成“7”、列错位或负号丢失，应该修正抽取或更换资料，而不是直接进入向量库。

记录文档版本、页码或段落位置。原始文件和抽取文本分别保留，方便核对。对价格、期限等关键内容采用更严格抽查，不能只看第一页排版正常就认为全部解析成功。

Microsoft 的分块指南介绍固定长度、按内容结构、语义分块以及组合方式，并说明适当重叠有助于保留上下文。它同时强调最优方式与文档和问题有关。本文不把某个 token 数或重叠比例当作所有中文资料的最佳值。

制度条款可以按标题和完整段落切分；商品规格可以按产品与版本组织；表格可以按行组保留列头和条件。无论用哪种方式，分块应包含回答问题所需的完整语义，并能追溯到来源。

可以把行转成带字段名的文本：商品、计费单位、价格、最低期限、排除项、有效日期、来源页码。字段名为教学示例，实际应由业务负责人确认。不要把空白合并单元格机械转成“未知”，也不要擅自向全表传播条件。

跨页表格应核对下一页是否延续同一表、列顺序是否变化以及表头是否重复。重复表头可以去重，必要条件不能去掉。页脚说明影响整表还是只影响某一行，需要按原文标记。

长表格可以按产品或行组分块，同时附上共同列头和适用条件。保留稳定的行标识或范围，查询需要相邻行时再取相关块。一次把整张大表塞入模型，可能既浪费上下文，又让关键条件难以定位。

数字计算最好读取经过校验的结构化字段，由规则完成。模型可帮助解释结果，但不能仅根据检索文本自由算出关键费用。抽取与计算分开，问题出现时更容易定位。

抽查时尤其注意数字格式。某表列出“1,200”，另一表用逗号作小数分隔，两者不能由解析器统一猜测。表内重量列为千克、脚注说明运输按吨计费，也需要保留单位关系并由明确规则转换。为关键列建立与原表对应的样例，核对合并单元格、空白和负值；不确定位置进入待核实清单，不把抽取结果直接当作权威数据。

抽查记录写出原表位置、抽取值、更正依据和负责人，后续更新同类资料时复用这些失败样本。

记录检索返回块和最终回答，区分没有找到正确行、找到了但条件缺失、条件齐全却解释错误。三种情况对应不同修复，不能全部靠增大 chunk 解决。

用同一批查询比较按固定长度切分与按表格结构切分，保持资料版本和检索配置尽量一致。检查正确证据命中、条件保留、引用位置和上下文开销。必要时再调整重叠或补充标题，不同时改变所有参数。

选方案时保留失败案例。有的结构分块适合商品问题，却不适合跨章节比较，需要增加父级摘要或相关块检索。不同资料类型可以采用不同策略，无需让全部文件使用同一个长度。

重新分块后检查旧块和缓存是否清理，避免两套版本同时参与回答。图像、扫描文字和解析文本都是原文派生资料，也应继承权限与撤回状态。

先选一份含表格和脚注的文件，核对抽取结果，写出几道真正会被问到的问题，验证回答能带单位、条件和出处。这个小实验比一次上传全部文件更容易发现数据问题。

本文适合制度、规格和费用等结构化资料。复杂工程图、手写资料或质量较差扫描件可能需要专门解析与人工确认；分块本身无法恢复原文件中不可辨认的信息。