subochev/memo
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

core: чанкер markdown по заголовкам с перекрытием

Browse Source
This commit is contained in:
Субочев Антон
2026-10-02 01:14:00 +03:00
parent d62a26f5b1
commit de3cb24edc
4 changed files with 196 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/orders/02-chunker.md
+1 -1
View File
@@ -31,7 +31,7 @@ fun chunkMarkdown(text: String): List<Chunk>
## ChunkerTest.kt — ровно 5 тестов, имена ровно такие
1. `splitsByHeadingLevels` — вход с '# A', '## B', '### C' → 3 чанка, heading = ["A","B","C"], line = [1,3,5], ord = [0,1,2].
2. `textBeforeFirstHeadingBecomesChunkWithEmptyHeading` — ввод «преамбула\n# Заголовок\nтело» → 2 чанка, первый: heading "»", line 1; второй heading "Заголовок".
2. `textBeforeFirstHeadingBecomesChunkWithEmptyHeading` — ввод "преамбула\n# Заголовок\nтело" → 2 чанка, первый: heading = "" (пустая строка), line 1; второй heading "Заголовок".
3. `fourHashesIsNotAHeading` — строка '#### не заголовок' остаётся частью текста предыдущего раздела.
4. `emptySectionsAreDropped` — ввод с двумя заголовками подряд без текста между ними → 1 чанк.
5. `longSectionIsSplitWithOverlap` — раздел из 6000 символов 'а' → 2 чанка, длина первого 4000,