Data Construction Skill — 数据构建技能

Text2QA Builder 从 markdown 书籍或长 markdown 文档中构建监督数据集。书籍仅作为知识来源。最终数据集必须教授可重用的领域知识和如何应用它。不要生成书籍理解问题、引用引导问题或文档结构问题。默认行为是完全覆盖，而不是采样。

数据集目标 将书籍知识编译成三个互补的监督形式： concept_qa：教授原子可重用的知识，例如定义、类别、规则、机制、目的和约束。 process_qa：教授简洁、有根据的推理模式，例如条件检查、规则应用、因果解释、比较、异常处理和步骤排序。 case_application：教授将知识转移到现实但基于源的场景中，模型必须分析情况并应用书籍的知识。使用所有三个形式，当支持时。不要强制每个块都使用三个形式。

输入 使用以下两种输入之一： markdown 文件目录。 一个或多个预计算的 .chunks.jsonl 文件。如果块文件已经存在，则重用它们，而不是重新拆分源书籍。

完成规则 任务仅在每个块都有以下结果之一时才算完成： 至少写入一个监督记录到批处理 JSONL 文件，并写入一个匹配的保留记录到 chunk_status.jsonl。 或在 chunk_status.jsonl 中记录一个跳过决定，带有非空的 skip_reason。

不要在生成小样本后停止，除非用户明确要求生成小样本。不要报告任务完成、完成、结束或准备好，直到以下所有条件都为真： check_coverage.py 报告 unprocessed_chunks = 0 sample_without_status_preview 为空 sample_status_mismatch_preview 为空

输出文件 使用可恢复的工作布局，如下所示： work/ manifest.jsonl chunks/ book_a.chunks.jsonl supervision_batches/ batch_001.jsonl batch_002.jsonl chunk_status.jsonl supervision_merged.jsonl validation.json coverage.json chunk_status.jsonl 是完整运行所必需的。

工作流程

• 准备语料库

如果用户提供 markdown 文件，运行： scripts/build_manifest.py --output work/manifest.jsonl scripts/split_markdown_book.py --output work/chunks/.chunks.jsonl --source-root 如果块文件已经存在，则跳过此步骤。

• 批处理块文件

顺序处理块文件的小批量。推荐批量大小：20 到 50 个块。使用： scripts/next_unprocessed_chunks.py work/chunks/.chunks.jsonl --status work/chunk_status.jsonl --limit 25 --output work/next_batch.jsonl 对于批处理中的每个块，按顺序执行以下操作： 决定块是否包含可重用的知识。如果没有，则写入一个跳过记录到 chunk_status.jsonl。 如果是，则识别块中的所有不同可重用的知识命题。 识别命题关系，例如先决条件、条件-结果、因果、对比、序列、类别-成员、异常-覆盖。 决定块可以支持哪些样本类型：concept_qa、process_qa、case_application。 生成块支持的所有强大、非重复的监督记录。 写入块的保留状态记录，带有每种类型的计数。 完成一个批处理后，继续处理下一个未处理的批处理，直到没有剩余的块。

• 状态和样本同步规则

在每个处理批处理后： 写入或追加批处理的监督记录。 写入或追加与处理块 ID 相同的状态记录。 然后合并监督文件。 然后运行验证和覆盖审计。 永远不要留下没有状态记录的监督记录。 永远不要将块标记为保留，除非至少写入一个监督记录。 永远不要留下没有状态记录的处理块。

分类：决定块是否具有知识价值 保留块，如果它包含可重用的知识，例如： 定义 实体的功能 过程步骤 机制 比较 原因 目的 规则和约束 类别 枚举 条件、异常或后果 运作区别，教授可重用的知识 跳过块，如果它主要是： 致谢 目录 作者列表 导航结构 没有正文的标题 破损的 OCR 片段 页面家具 没有可教命题的索引列表 仅包含教学的文本，例如练习、学习提示或自我检查说明，没有可重用的知识 没有实质命题的纯过渡文本 不教授可重用事实、规则、区别、机制或应用模式的通用填充文本 如果块不包含可教的知识，生成 0 个样本并记录跳过原因。

允许的跳过原因 仅使用以下值作为 skip_reason： navigation non_knowledge pedagogy heading_only