add: Custom Command (4) Исправлен и испытан перерасчет рейтинга

This commit is contained in:
2026-09-06 20:53:27 +03:00
parent 0d941dc662
commit 474ce4d2c0
3 changed files with 93 additions and 36 deletions
+4 -2
View File
@@ -43,8 +43,10 @@ poetry run python hypn0/manage.py rescore --dry-run
4. **Гравитационная модель скоринга (с логарифмом):**
$$\text{Score} = \frac{\ln(1 + \max(0, \text{WeightedLikes})) + \text{Bonus}_{\text{level}}}{(\text{Age in hours} + 2.0)^\gamma}$$
- `LEVEL_1_BONUS` = $+1.5$
- `LEVEL_2_BONUS` = $+4.0$ (Одобрено Мозговым Слизнем)
- `CANDIDATE_BONUS` = $+1.0$ (Свежая генерация)
- `LEVEL_1_BONUS` = $+1.5$ (Плеск бессознательного / прогрета)
- `LEVEL_2_BONUS` = $+3.0$ (Одобрено Мозговым Слизнем)
- `IMMORTAL_BONUS` = $+5.0$ (Глубокий транс / Золотой фонд)
5. **Инерционное сглаживание (EMA — Exponential Moving Average):**
- Чтобы исключить резкие скачки рейтинга от разовых всплесков, итоговый `f_score` сглаживается с предыдущим значением:
+43 -34
View File
@@ -65,7 +65,7 @@ class Command(BaseCommand):
"--shame-claim-ratio",
type=float,
default=0.35,
help="Доля жалоб среди свежих голосов для детекции шейминга (по умолчанию: 0.35 или 35%)",
help="Доля жалоб среди свежих голосов для детекции шейминга (по умолчанию: 0.35 или 35%%)",
)
parser.add_argument(
"--warmup-votes-threshold",
@@ -92,9 +92,11 @@ class Command(BaseCommand):
MIN_LIKES_FOR_SPIKE = 20 # Минимальное число лайков за окно, необходимое для признания относительного спайка
COLD_START_SPIKE_LIKES = 50 # Абсолютное число лайков за окно для детекции спайка в режиме "холодного старта"
# 3. Бонусы к рейтингу за модераторский статус (веса числителя формулы)
# 3. Бонусы к рейтингу за статус (веса числителя формулы)
CANDIDATE_BONUS = 1.0 # Базовый бонус картине со статусом CANDIDATE (свежая генерация)
LEVEL_1_BONUS = 1.5 # Бонус картине со статусом LEVEL_1 (прогрета / замечена модератором)
LEVEL_2_BONUS = 4.0 # Бонус картине со статусом LEVEL_2 (одобрено Мозговым Слизнем / шедевр)
LEVEL_2_BONUS = 3.0 # Бонус картине со статусом LEVEL_2 (одобрено Мозговым Слизнем / шедевр)
IMMORTAL_BONUS = 5.0 # Бонус картине со статусом IMMORTAL (золотой фонд / глубокий транс)
# 4. Коэффициент сглаживания инерции (EMA — Exponential Moving Average)
EMA_ALPHA = 0.7 # Доля нового значения в итоговом рейтинге (0.7 = 70% новый расчет + 30% старый f_score)
@@ -145,9 +147,9 @@ class Command(BaseCommand):
# -----------------------------------------------------------------------------------------
# ШАГ 2: Выборка картин для пересчета
# Бессмертные картины (Level.IMMORTAL) не требуют скоринга для очистки, но могут участвовать
# Включает все картины платформы, включая бессмертные (Level.IMMORTAL)
# -----------------------------------------------------------------------------------------
items = TbHypn0Item.objects.exclude(i_level=TbHypn0Item.Level.IMMORTAL).prefetch_related("votes")
items = TbHypn0Item.objects.all().prefetch_related("votes")
total_items = items.count()
if total_items == 0:
@@ -177,50 +179,57 @@ class Command(BaseCommand):
recent_claims_24h += 1
# 2. Детекция аномалий (шейминг vs спайк накрутки)
# Для картин со статусом IMMORTAL уровень зафиксирован и защищен от автосмены
new_level = item.i_level
recent_total_24h = recent_likes_24h + recent_claims_24h
# Проверка аномалий активируется только при наличии минимальной выборки (>= MIN_VOTES_FOR_ANOMALY)
if recent_total_24h >= MIN_VOTES_FOR_ANOMALY:
# Проверка на шейминг (резкий наплыв жалоб)
claim_ratio = recent_claims_24h / recent_total_24h
if claim_ratio >= shame_claim_ratio:
new_level = TbHypn0Item.Level.SHAMED
self.stdout.write(
self.style.WARNING(f"Аномалия [SHAMED]: Картина {item.s_hash_id} доля жалоб={claim_ratio:.1%}")
)
if item.i_level != TbHypn0Item.Level.IMMORTAL:
# Проверка аномалий активируется только при наличии минимальной выборки (>= MIN_VOTES_FOR_ANOMALY)
if recent_total_24h >= MIN_VOTES_FOR_ANOMALY:
# Проверка на шейминг (резкий наплыв жалоб)
claim_ratio = recent_claims_24h / recent_total_24h
if claim_ratio >= shame_claim_ratio:
new_level = TbHypn0Item.Level.SHAMED
self.stdout.write(
self.style.WARNING(f"Аномалия [SHAMED]: Картина {item.s_hash_id} доля жалоб={claim_ratio:.1%}")
)
# Проверка на спайк лайков (накрутка):
# На холодном старте (когда avg_votes_per_item_24h близко к 0) опираемся только на высокий абсолютный порог COLD_START_SPIKE_LIKES,
# чтобы 3-4 первых лайка от живых пользователей не помечались как подозрительные.
elif not is_cold_start and avg_votes_per_item_24h > 0:
if recent_likes_24h > (avg_votes_per_item_24h * spike_multiplier) and recent_likes_24h >= MIN_LIKES_FOR_SPIKE:
# Проверка на спайк лайков (накрутка):
# На холодном старте (когда avg_votes_per_item_24h близко к 0) опираемся только на высокий абсолютный порог COLD_START_SPIKE_LIKES,
# чтобы 3-4 первых лайка от живых пользователей не помечались как подозрительные.
elif not is_cold_start and avg_votes_per_item_24h > 0:
if recent_likes_24h > (avg_votes_per_item_24h * spike_multiplier) and recent_likes_24h >= MIN_LIKES_FOR_SPIKE:
new_level = TbHypn0Item.Level.SUSPICIOUS
self.stdout.write(
self.style.WARNING(f"Аномалия [SUSPICIOUS]: Картина {item.s_hash_id} лайков за окно={recent_likes_24h}")
)
elif is_cold_start and recent_likes_24h >= COLD_START_SPIKE_LIKES:
new_level = TbHypn0Item.Level.SUSPICIOUS
self.stdout.write(
self.style.WARNING(f"Аномалия [SUSPICIOUS]: Картина {item.s_hash_id} лайков за окно={recent_likes_24h}")
self.style.WARNING(f"Аномалия [SUSPICIOUS (Cold Start)]: Картина {item.s_hash_id} лайков за окно={recent_likes_24h}")
)
elif is_cold_start and recent_likes_24h >= COLD_START_SPIKE_LIKES:
new_level = TbHypn0Item.Level.SUSPICIOUS
self.stdout.write(
self.style.WARNING(f"Аномалия [SUSPICIOUS (Cold Start)]: Картина {item.s_hash_id} лайков за окно={recent_likes_24h}")
)
# Проверка перехода CANDIDATE -> LEVEL_1 (Прогрета, набрала массу)
if item.i_level == TbHypn0Item.Level.CANDIDATE and weighted_likes >= warmup_threshold and new_level == item.i_level:
new_level = TbHypn0Item.Level.LEVEL_1
self.stdout.write(
self.style.SUCCESS(f"Прогрев [CANDIDATE -> LEVEL_1]: Картина {item.s_hash_id} набрала вес={weighted_likes:.1f}")
)
# Проверка перехода CANDIDATE -> LEVEL_1 (Прогрета, набрала массу)
if item.i_level == TbHypn0Item.Level.CANDIDATE and weighted_likes >= warmup_threshold and new_level == item.i_level:
new_level = TbHypn0Item.Level.LEVEL_1
self.stdout.write(
self.style.SUCCESS(f"Прогрев [CANDIDATE -> LEVEL_1]: Картина {item.s_hash_id} набрала вес={weighted_likes:.1f}")
)
# 3. Расчет нового f_score (Гравитационная модель + логарифм)
item_age_hours = max(0.0, (now - item.d_created_at).total_seconds() / 3600.0)
# Бонус от модераторского уровня
level_bonus = 0.0
if item.i_level == TbHypn0Item.Level.LEVEL_1:
# Бонус от уровня картины
if item.i_level == TbHypn0Item.Level.CANDIDATE:
level_bonus = CANDIDATE_BONUS
elif item.i_level == TbHypn0Item.Level.LEVEL_1:
level_bonus = LEVEL_1_BONUS
elif item.i_level == TbHypn0Item.Level.LEVEL_2:
level_bonus = LEVEL_2_BONUS
elif item.i_level == TbHypn0Item.Level.IMMORTAL:
level_bonus = IMMORTAL_BONUS
else:
level_bonus = 0.0
if weighted_likes <= 0:
raw_score = weighted_likes # Отрицательный или нулевой скор
+46
View File
@@ -3,6 +3,7 @@ import shutil
import tempfile
from django.core.files.base import ContentFile
from django.core.files.uploadedfile import SimpleUploadedFile
from django.core.management import call_command
from django.test import Client, TestCase, override_settings
from django.urls import reverse
from PIL import Image
@@ -1012,3 +1013,48 @@ class GalleryArchiveTests(BaseMediaTestCase):
self.assertEqual(len(resp_p2.context["page_obj"]), 2)
self.assertContains(resp_p2, "Фаза 2 из 2")
self.assertContains(resp_p2, "floor=all&sort=likes&page=1")
class RescoreCommandTests(BaseMediaTestCase):
"""Тестирование management-команды rescore."""
def setUp(self):
self.vid = "a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4"
svg_bytes = b'<svg><circle/></svg>'
self.item_immortal = TbHypn0Item(
s_title="Бессмертная картина",
file_svg=ContentFile(svg_bytes, name="immortal.svg"),
i_level=TbHypn0Item.Level.IMMORTAL,
f_score=0.0,
is_public=True,
)
self.item_immortal.save(visitor_uuid_or_fp=self.vid)
self.item_candidate = TbHypn0Item(
s_title="Свежая картина",
file_svg=ContentFile(svg_bytes, name="cand.svg"),
i_level=TbHypn0Item.Level.CANDIDATE,
f_score=0.0,
is_public=True,
)
self.item_candidate.save(visitor_uuid_or_fp=self.vid)
def test_rescore_includes_immortal_and_applies_bonus(self):
# Добавляем голос
TbVote.objects.create(
k_item=self.item_immortal,
s_fingerprint="fp1",
i_direction=TbVote.Direction.LIKE,
)
out = io.StringIO()
call_command("rescore", stdout=out)
self.item_immortal.refresh_from_db()
self.item_candidate.refresh_from_db()
# Проверяем, что f_score рассчитан (> 0) и для бессмертной, и для кандидата
self.assertGreater(self.item_immortal.f_score, 0.0)
self.assertGreater(self.item_candidate.f_score, 0.0)
# У бессмертной картины бонус выше (5.0 против 1.0)
self.assertGreater(self.item_immortal.f_score, self.item_candidate.f_score)
# Статус бессмертной картины защищен и не должен измениться
self.assertEqual(self.item_immortal.i_level, TbHypn0Item.Level.IMMORTAL)