跳到主要内容

JSONL(逐行结构化数据格式)

中文名​

JSON Lines(逐行结构化数据格式)

一句话定义​

JSONL(逐行结构化数据格式)是每行一个 JSON(结构化数据格式)对象的文本格式,适合存储清洗后的文档块或训练样例。

工程价值​

JSONL(逐行结构化数据格式)适合保存“很多条同构记录”:文档分块、评估样本、模型输出记录、工具调用样本和离线分析数据。每一行都应该能独立解析,并带上 id、source_id(来源编号)、schema_version(结构版本)、Metadata(元数据)和必要的预期结果。

它的工程价值在于方便批处理和增量处理:坏掉一行不会破坏整个文件,评测集可以逐条追加,日志可以按行流式写入,RAG(检索增强生成)入库也可以按分块逐条检查。

常见误解​

  • 把 JSONL(逐行结构化数据格式)写成一个 JSON(结构化数据格式)数组,导致流式读取和追加都不方便。
  • 一条记录跨多行,破坏“一行一条”的基本约定。
  • 不写 schema_version(结构版本)和来源字段,后续无法判断样本来自哪里。
  • 把未脱敏的原始客户数据直接放进评测集或训练样本。

相关章节​