From 00c80b79f10255207afbca938b07b4354ff0e2d5 Mon Sep 17 00:00:00 2001
From: erjemin <erjemin@gmail.com>
Date: Tue, 3 Feb 2026 02:04:46 +0300
Subject: [PATCH] mod: Use node separators and placeholders for robust HTML
 processing
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

1. Защита тегов: Защищенные теги (<code>, <script> и т.д.) теперь физически заменяются на плейсхолдеры (\uFFFC) в DOM-дереве перед обработкой. Это предотвращает "протекание" контекста (например, склеивание слов через код) и защищает содержимое тегов от изменений.

2. Маркеры границ: При сборке "супер-строки" (для контекстной обработки) между всеми текстовыми узлами вставляются специальные разделители (\uFFFF). Это позволяет корректно восстанавливать текст по узлам, даже если длина текста изменилась (например, Unbreakables удалил лишние пробелы). Раньше мы полагались на карту длин (lengths_map), что приводило к смещению текста при любых изменениях длины.
---
 etpgrf/config.py        |  5 ++--
 etpgrf/quotes.py        | 23 ++++++++++--------
 etpgrf/typograph.py     | 54 +++++++++++++++++++++++++++++------------
 tests/test_typograph.py | 12 +++++----
 4 files changed, 61 insertions(+), 33 deletions(-)

diff --git a/etpgrf/config.py b/etpgrf/config.py
index 609f39b..202425a 100644
--- a/etpgrf/config.py
+++ b/etpgrf/config.py
@@ -72,7 +72,8 @@ CHAR_ARROW_LR_LONG_DOUBLE = '\u27fa' # Длинная двойная двуна
 CHAR_MIDDOT = '\u00b7'    # Средняя точка (· иногда используется как знак умножения) / &middot;
 CHAR_UNIT_SEPARATOR = '\u25F0' # Символ временный разделитель для составных единиц (◰), чтобы не уходить
                                # в "мертвый" цикл при замене на тонкий пробел. Можно взять любой редкий символом.
-CHAR_PLACEHOLDER = '\uFFFC'    # Символ-заполнитель (Object Replacement Character) для защищенных тегов.
+CHAR_PLACEHOLDER = '\uFFFC'    # Уникальная строка-заполнитель для защищенных тегов.
+CHAR_NODE_SEPARATOR = '\uFFFF' # Маркер границы текстовых узлов (Non-character).
 
 
 # === КОНСТАНТЫ ПСЕВДОГРАФИКИ ===
@@ -254,7 +255,7 @@ CUSTOM_ENCODE_MAP = {
     '\u201d': '&rdquo;',		# ” /  &rdquo; / &rdquor; / &CloseCurlyDoubleQuote;
     '\u2019': '&rsquo;',		# ’ / &rsquo; / &rsquor; / &CloseCurlyQuote;
     '\u2237': '&Colon;',		# ∷ / &Colon; / &Proportion;
-    '\u2201': '&comp;',		    #  / &comp; / &complement;
+    '\u2201': '&comp;',		    # ∁ / &comp; / &complement;
     '\u2218': '&compfn;',		# ∘ / &compfn; / &SmallCircle;
     '\u2102': '&Copf;',		    # ℂ / &Copf; / &complexes;
     '\u222f': '&Conint;',		# ∯ / &Conint; / &DoubleContourIntegral;
diff --git a/etpgrf/quotes.py b/etpgrf/quotes.py
index 1ff3b93..59f517e 100644
--- a/etpgrf/quotes.py
+++ b/etpgrf/quotes.py
@@ -5,7 +5,7 @@ import regex
 import logging
 from .config import (LANG_RU, LANG_EN, CHAR_RU_QUOT1_OPEN, CHAR_RU_QUOT1_CLOSE, CHAR_EN_QUOT1_OPEN,
                      CHAR_EN_QUOT1_CLOSE, CHAR_RU_QUOT2_OPEN, CHAR_RU_QUOT2_CLOSE, CHAR_EN_QUOT2_OPEN,
-                     CHAR_EN_QUOT2_CLOSE)
+                     CHAR_EN_QUOT2_CLOSE, CHAR_NODE_SEPARATOR)
 from .comutil import parse_and_validate_langs
 
 # --- Настройки логирования ---
@@ -40,18 +40,21 @@ class QuotesProcessor:
                     f"QuotesProcessor: выбран стиль кавычек для языка '{lang}': '{self.open_quote}...{self.close_quote}'")
                 break  # Используем стиль первого найденного языка
 
+        # Экранируем разделитель для использования в regex
+        sep = regex.escape(CHAR_NODE_SEPARATOR)
+
         # Паттерн для открывающей кавычки: " перед буквой/цифрой,
-        # которой предшествует пробел, начало строки или открывающая скобка.
-        # (?<=^|\s|[\(\[„\"‘\']) - "просмотр назад" на начало строки... ищет пробел \s или знак из набора ([„"‘'
-        # (?=\p{L})              - "просмотр вперед" на букву \p{L} (но не цифру).
-        self._opening_quote_pattern = regex.compile(r'(?<=^|\s|[\(\[„\"‘\'])\"(?=\p{L})')
+        # которой предшествует пробел, начало строки, открывающая скобка ИЛИ разделитель узлов.
+        # (?<=^|\s|[\(\[„\"‘\']|sep) - "просмотр назад" на начало строки... ищет пробел \s или знак из набора ([„"‘' или разделитель
+        # (?=\p{L}|sep)          - "просмотр вперед" на букву \p{L} (но не цифру) ИЛИ разделитель узлов.
+        self._opening_quote_pattern = regex.compile(rf'(?<=^|\s|[\(\[„\"‘\']|{sep})\"(?=\p{{L}}|{sep})')
         # self._opening_quote_pattern = regex.compile(r'(?<=^|\s|\p{Pi}|["\'\(\)])\"(?=\p{L})')
 
         # Паттерн для закрывающей кавычки: " после буквы/цифры,
-        # за которой следует пробел, пунктуация или конец строки.
-        # (?<=\p{L}|[?!…\.])        - "просмотр назад" на букву или ?!… и точку.
-        # (?=\s|[.,;:!?\)\"»”’]|\Z) - "просмотр вперед" на пробел, пунктуацию или конец строки (\Z).
-        self._closing_quote_pattern = regex.compile(r'(?<=\p{L}|[?!…\.])\"(?=\s|[\.,;:!?\)\]»”’\"\']|\Z)')
+        # за которой следует пробел, пунктуация, конец строки ИЛИ разделитель узлов.
+        # (?<=\p{L}|[?!…\.]|sep)    - "просмотр назад" на букву или ?!… и точку ИЛИ разделитель узлов.
+        # (?=\s|[.,;:!?\)\"»”’]|\Z|sep) - "просмотр вперед" на пробел, пунктуацию, конец строки (\Z) или разделитель.
+        self._closing_quote_pattern = regex.compile(rf'(?<=\p{{L}}|[?!…\.]|{sep})\"(?=\s|[\.,;:!?\)\]»”’\"\']|\Z|{sep})')
         # self._closing_quote_pattern = regex.compile(r'(?<=\p{L}|\p{N})\"(?=\s|[\.,;:!?\)\"»”’]|\Z)')
         # self._closing_quote_pattern = regex.compile(r'(?<=\p{L}|[?!…])\"(?=\s|[\p{Po}\p{Pf}"\']|\Z)')
 
@@ -72,4 +75,4 @@ class QuotesProcessor:
         # 2. Заменяем закрывающие кавычки
         processed_text = self._closing_quote_pattern.sub(self.close_quote, processed_text)
 
-        return processed_text
\ No newline at end of file
+        return processed_text
diff --git a/etpgrf/typograph.py b/etpgrf/typograph.py
index e92e78a..49a5ec0 100644
--- a/etpgrf/typograph.py
+++ b/etpgrf/typograph.py
@@ -17,7 +17,7 @@ from etpgrf.symbols import SymbolsProcessor
 from etpgrf.sanitizer import SanitizerProcessor
 from etpgrf.hanging import HangingPunctuationProcessor
 from etpgrf.codec import decode_to_unicode, encode_from_unicode
-from etpgrf.config import PROTECTED_HTML_TAGS, SANITIZE_ALL_HTML, CHAR_PLACEHOLDER
+from etpgrf.config import PROTECTED_HTML_TAGS, CHAR_PLACEHOLDER, CHAR_NODE_SEPARATOR
 
 
 # --- Настройки логирования ---
@@ -277,22 +277,23 @@ class Typographer:
             protected_tags = self._hide_protected_tags(soup)
 
             # --- ЭТАП 3: Подготовка (токен-стрим) ---
-            # 3.1. Создаем "токен-стрим" из текстовых узлов, которые мы будем обрабатывать.
-            # soup.descendants возвращает все дочерние узлы (теги и текст) в порядке их следования.
+            # 3.1. Создаем "токен-стрим" из текстовых узлов.
+            # Теперь здесь только обычный текст и плейсхолдеры.
             text_nodes = [node for node in soup.descendants
                           if isinstance(node, NavigableString)
                           # and node.strip()
                           and node.parent.name not in PROTECTED_HTML_TAGS] # PROTECTED уже скрыты, но на всякий случай
-            # 3.2. Создаем "супер-строку" и "карту длин"
+            # 3.2. Создаем "супер-строку" с маркерами границ
             super_string = ""
-            lengths_map = []
+            # lengths_map больше не нужен, так как мы используем разделители
+            
             for node in text_nodes:
                 # ВАЖНО: Используем node.string (Unicode), а не str(node) (HTML-encoded).
                 # str(node) может вернуть экранированные символы (например, &lt; вместо <),
                 # что увеличит длину строки и приведет к рассинхронизации карты длин (смещению текста).
                 node_text = node.string or ""
-                super_string += node_text
-                lengths_map.append(len(node_text))
+                # Добавляем текст и разделитель
+                super_string += node_text + CHAR_NODE_SEPARATOR
 
             # --- ЭТАП 4: Контекстная обработка ---
             processed_super_string = super_string
@@ -304,19 +305,40 @@ class Typographer:
                 processed_super_string = self.unbreakables.process(processed_super_string)
 
             # --- ЭТАП 5: Восстановление структуры ---
-            current_pos = 0
+            # Разбиваем строку по разделителям.
+            # split вернет список, где последний элемент будет пустым (из-за разделителя в конце).
+            # Поэтому берем все элементы, кроме последнего.
+            # Но если строка пустая, split вернет [''], и мы возьмем [].
+            # Если строка 'a\uFFFF', split -> ['a', '']. Берем ['a'].
+            parts = processed_super_string.split(CHAR_NODE_SEPARATOR)
+            
+            # Проверка на целостность: количество частей должно совпадать с количеством узлов.
+            # split всегда возвращает хотя бы один элемент. Если super_string пустая, parts=[''].
+            # Если super_string не пустая, parts будет иметь длину N+1 (где N - число разделителей).
+            # Нам нужны первые N частей.
+            
+            if len(parts) > len(text_nodes):
+                 parts = parts[:len(text_nodes)]
+            
+            # Если вдруг частей меньше (кто-то удалил разделитель), это проблема.
+            # Но \uFFFF - Non-character, его сложно удалить случайно.
+            
             for i, node in enumerate(text_nodes):
-                length = lengths_map[i]
-                new_text_part = processed_super_string[current_pos : current_pos + length]
-                node.replace_with(new_text_part) # Заменяем содержимое узла на месте
-                current_pos += length
+                if i < len(parts):
+                    new_text_part = parts[i]
+                    # Заменяем содержимое узла.
+                    # Важно: если new_text_part содержит CHAR_PLACEHOLDER, он останется как есть
+                    # и будет обработан на этапе 5.5.
+                    node.replace_with(new_text_part)
 
             # --- ЭТАП 5.5: Восстановление защищенных тегов ---
             self._restore_protected_tags(soup, protected_tags)
 
             # --- ЭТАП 6: Локальная обработка (второй проход) ---
-            # Теперь, когда структура восстановлена, запускаем наш старый рекурсивный обход,
-            # который применит все остальные правила к каждому текстовому узлу.
+            # Теперь, когда структура восстановлена (включая защищенные теги),
+            # запускаем рекурсивный обход.
+            # Важно: _walk_tree пропускает PROTECTED_HTML_TAGS, так что содержимое
+            # восстановленных тегов не будет обработано повторно.
             self._walk_tree(soup)
 
             # --- ЭТАП 7: Висячая пунктуация ---
@@ -337,8 +359,8 @@ class Typographer:
                 else:
                     processed_html = str(soup)
 
-            # Удаляем плейсхолдеры, если они вдруг просочились (хотя не должны)
-            processed_html = processed_html.replace(CHAR_PLACEHOLDER, '')
+            # Удаляем плейсхолдеры и разделители, если они вдруг просочились
+            processed_html = processed_html.replace(CHAR_PLACEHOLDER, '').replace(CHAR_NODE_SEPARATOR, '')
 
             # BeautifulSoup по умолчанию экранирует амперсанды (& -> &amp;), которые мы сгенерировали
             # в _process_text_node. Возвращаем их обратно.
diff --git a/tests/test_typograph.py b/tests/test_typograph.py
index 782b01c..9e99e9a 100644
--- a/tests/test_typograph.py
+++ b/tests/test_typograph.py
@@ -159,7 +159,7 @@ HTML_STRUCTURE_TEST_CASES = [
     ('<p>Текст</p>', '<p>Текст</p>'),
     
     # 2. Голый текст -> должен остаться голым текстом (без <p>, <html>, <body>)
-    ('Текст без\n тегов', 'Текст без&nbsp;тегов'), # Исправлено: ожидаем nbsp
+    ('Текст без тегов', 'Текст без&nbsp;тегов'), # Исправлено: ожидаем nbsp
     ('Текст с <b>тегом</b> внутри', 'Текст с&nbsp;<b>тегом</b> внутри'),
 
     # 3. Полноценный html-документ -> должен сохранить структуру
@@ -174,11 +174,13 @@ HTML_STRUCTURE_TEST_CASES = [
     ('Текст <b>жирный <i>курсив', 'Текст <b>жирный <i>курсив</i></b>'),
     
     # 5. Тест на защищенные теги с "битым" HTML внутри (BS их закроет)
-    ('<ul><li>Исправлена проблема с появлением лишних тегов <code>&lt;html&gt;</code> и <code>&lt;body&gt;</code> при обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>',
+    ('<ul><li>Исправлена проблема с&nbsp;появлением лишних тегов <code>&lt;html&gt;</code> и&nbsp;<code>&lt;body&gt;</code> при обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>',
      '<ul><li>Исправлена проблема с&nbsp;появлением лишних тегов <code>&lt;html&gt;</code> и&nbsp;<code>&lt;body&gt;</code> при&nbsp;обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>'),
-     
-    # ('<ul><li>Исправлена проблема с &nbsp;появлением лишних тегов <code><html></code>и&nbsp;<code><body&></code> при обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>',
-    #  '<ul><li>Исправлена проблема с&nbsp;появлением лишних тегов <code><html></html></code> и&nbsp;<code><body&></body&></code> при&nbsp;обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>'),
+
+     # 6/ Исправленный тест на защищенные теги с немаскированными HTML внутри
+    # (все незакрытые теги будут закрыты через BS, а тег <html> удалены)
+    ('<ul><li>Исправлена проблема\n с   появлением лишних тегов <code><html>++</html></code> и&nbsp;<code><body&></code> при обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>',
+     '<ul><li>Исправлена проблема\n с&nbsp;появлением лишних тегов <code>++</code> и&nbsp;<code><body&></body&></code> при&nbsp;обработке фрагментов HTML.</li></ul><h5>Заголовок</h5>'),
 ]
 
 @pytest.mark.parametrize("input_html, expected_html", HTML_STRUCTURE_TEST_CASES)