116 lines
5.0 KiB
Python
116 lines
5.0 KiB
Python
from django.core.management.base import BaseCommand
|
|
from web.models import TbDictumAndQuotes
|
|
try:
|
|
from etpgrf.typograph import Typographer
|
|
from etpgrf.layout import LayoutProcessor
|
|
from etpgrf.hyphenation import Hyphenator
|
|
from etpgrf.sanitizer import SanitizerProcessor
|
|
except ImportError:
|
|
print("Ошибка: библиотека etpgrf не найдена. Пожалуйста, установите её через 'poetry add etpgrf'")
|
|
Typographer = None
|
|
|
|
class Command(BaseCommand):
|
|
help = 'Переобрабатывает все цитаты через etpgrf с "санитайзером" и "висячей пунктуацией: слева"'
|
|
|
|
def add_arguments(self, parser):
|
|
parser.add_argument(
|
|
'--dry-run',
|
|
action='store_true',
|
|
help='Запустить без сохранения изменений в БД',
|
|
)
|
|
parser.add_argument(
|
|
'--limit',
|
|
type=int,
|
|
help='Ограничить количество обрабатываемых записей',
|
|
)
|
|
parser.add_argument(
|
|
'--offset',
|
|
type=int,
|
|
default=0,
|
|
help='Пропустить первые N записей (использовать вместе с limit)',
|
|
)
|
|
|
|
def handle(self, *args, **options):
|
|
if not Typographer:
|
|
self.stdout.write(self.style.ERROR('Библиотека Etpgrf отсутствует.'))
|
|
return
|
|
|
|
# Настройки типографа
|
|
settings = {
|
|
'langs': ['ru'],
|
|
'process_html': True, # Обрабатываем как HTML
|
|
'quotes': True,
|
|
'layout': LayoutProcessor(langs=['ru'], process_initials_and_acronyms=True, process_units=True),
|
|
'unbreakables': True,
|
|
'hyphenation': Hyphenator(langs=['ru'], max_unhyphenated_len=12),
|
|
'symbols': True,
|
|
'hanging_punctuation': 'left', # ВАЖНО: Слева
|
|
'mode': 'mixed',
|
|
'sanitizer': SanitizerProcessor(mode='etp'), # ВАЖНО: Санитайзинг включен (очистит старую разметку)
|
|
}
|
|
|
|
self.stdout.write(f"Настройка Типографа с параметрами: {settings}")
|
|
typographer = Typographer(**settings)
|
|
|
|
qs = TbDictumAndQuotes.objects.all().order_by('id')
|
|
|
|
start_index = options['offset']
|
|
end_index = None
|
|
if options['limit']:
|
|
end_index = start_index + options['limit']
|
|
|
|
if end_index:
|
|
qs = qs[start_index:end_index]
|
|
else:
|
|
qs = qs[start_index:]
|
|
|
|
count = qs.count()
|
|
self.stdout.write(f"Найдено {count} цитат для обработки (сдвиг {start_index})...")
|
|
|
|
# Попытка импортировать tqdm для красоты, если нет - обычный счетчик
|
|
try:
|
|
from tqdm import tqdm
|
|
iterator = tqdm(qs, total=count)
|
|
except ImportError:
|
|
iterator = qs
|
|
|
|
processed_count = 0
|
|
|
|
for dq in iterator:
|
|
try:
|
|
# Берем исходный текст.
|
|
# Если в szContent уже лежит старый HTML (Муравьев), санитайзер 'etp' его вычистит.
|
|
source_text = dq.szContent
|
|
|
|
if not source_text:
|
|
continue
|
|
|
|
new_html = typographer.process(source_text)
|
|
|
|
# Обрабатываем intro если есть
|
|
new_intro_html = ""
|
|
if dq.szIntro:
|
|
new_intro_html = typographer.process(dq.szIntro)
|
|
|
|
if options['dry_run']:
|
|
self.stdout.write(f"[{dq.id}] Будет обновлено. Предпросмотр: {new_html[:50]}...")
|
|
else:
|
|
dq.szContentHTML = new_html
|
|
if new_intro_html:
|
|
dq.szIntroHTML = new_intro_html
|
|
|
|
# Сохраняем в обход метода save(), чтобы не триггерить ничего лишнего,
|
|
# или вызываем save(), если там теперь пусто (в нашей новой моделе save пустой).
|
|
# Используем update_fields для скорости.
|
|
dq.save(update_fields=['szContentHTML', 'szIntroHTML'])
|
|
|
|
processed_count += 1
|
|
if not isinstance(iterator, qs.__class__): # Если это не tqdm
|
|
if processed_count % 10 == 0:
|
|
self.stdout.write(f"Обработано {processed_count}/{count}...", ending='\r')
|
|
|
|
except Exception as e:
|
|
self.stdout.write(self.style.ERROR(f"Ошибка обработки id={dq.id}: {e}"))
|
|
|
|
self.stdout.write(self.style.SUCCESS(f"\nГотово! Обработано {processed_count} цитат."))
|