Аудит качества Script Lab + системы агентов
Дата: 31 мая 2026
Метод: workflow script-quality-audit — 7 агентов, 441K токенов, адверсариальный тест на реальных видео канала
Главный вывод: ⚠️ чек-лист НЕ прошёл адверсариальный тест — требует переработки на данных
Честные итоговые оценки
| Что | Оценка | Вердикт |
|---|---|---|
| Script Lab (формат скрипта) | 41 / 100 | Грамотен по форме, но НЕ доказан на данных канала |
| Система агентов | 55 / 100 | Данные свежие, но были тихие падения + нет автомониторинга |
| Валидность чек-листа | ❌ НЕ валиден | Не отличает топ от флопа |
Мой первоначальный набросок (78/68) был ошибочным — я выставил оценки до получения результатов. Это неправильно. Реальные цифры ниже.
🔴 Главная проблема: чек-лист не отличает успех от провала
Адверсариальный тест: прогнали чек-лист на реальных видео.
| Видео | Реальность | Балл по чек-листу |
|---|---|---|
| NotebookLM большой разбор | 150 000 просмотров (топ) | всего 13/18 |
| Claude 4 (флоп) | 943 просмотра | примерно столько же |
Что это значит: топ-видео на 150K набирает «средние» 13/18 — чек-лист штрафует его за то что не помешало собрать 150K. А флоп набирает почти столько же. Чек-лист измеряет форму текста, а реальный успех определяется темой/инструментом в заголовке и его актуальностью — чего чек-лист не измеряет вообще.
🔴 Структура (41/100) — не основана на данных канала
Аудитор вскрыл что документ можно применить к любому каналу — он не про AI-Прорыв:
| Что я утверждал | Что говорят данные videos.json |
|---|---|
| Оптимум 10-15 минут | ❌ Неверно. Точный анализ по бакетам: 0-8м=1681 · 8-13м=9988 · 13-18м=8162 · 18-25м=12094 (лучший) · 25м+=8627 (n=2, мало). Сладкая зона 8-25 мин, оптимум 18-25. Провал — только <8 мин |
| Главное — бизнес-угол для предпринимателей | ❌ Видео с бизнес-углом = медиана 4669 (на уровне общей). В топ-30 только 3 видео с бизнес-углом против 27 tool-tutorial |
| Структура сценария — ключ | ❌ Реальный драйвер — конкретный инструмент в заголовке (Kandinsky 525K, Gamma, Midjourney). Тема решает 525K vs 4K, не структура |
Раздел «Источники» прямо говорил «общие best practices YouTube» — ни одного видео из канала не процитировано. Это и есть корень.
🟡 Система агентов (55/100)
Хорошо:
- ✅ Данные свежие (trend/mention/viral обновлялись 0ч назад на момент аудита)
- ✅ Cron работает после фиксов
Плохо:
- 🔴 Были тихие падения cron (trend_monitor падал 2 дня) — починены, но нет автомониторинга чтобы ловить такое автоматически
- 🔴 Studio retention недоступен (MCN) — ключевая аналитика отсутствует
- 🔴 Чек-лист score не связан с реальными метриками — недоказан
ТОП-5 правок (из workflow)
- Переписать на основе videos.json — формат-вилки по длительности (8-13м гайд / 25-60м глубокий разбор), а НЕ фикс 10-15 мин
- Добавить блок «Тема и заголовок» с named-инструментом — драйвер просмотров на порядок сильнее структуры
- Критерий фактической точности для образовательного AI-контента (модели/цены/фичи устаревают за месяцы)
- Починить шкалу подсчёта (✅/⚠️/❌ vs правило 13-15 — сейчас неоднозначно) + ввести веса (hook важнее «сильного поехали»)
- Связать score с метриками (likeCount/commentCount → потом Studio retention) — без этого инструмент недоказан
Что оставить (не выкидывать)
- ✅ Базовый каркас (хук → обещание → проблема → решение → демо → резюме → CTA) — корректен
- ✅ Чек-лист как процесс перед записью — полезен, дорабатывать содержание
- ✅ Привязка к ЦА через запрет профессий (D2)
- ✅ Бинарные критерии которые реально работают: A3, C1, D1, E2
- ✅ Веб-загрузка /script-review + 3-форматный вывод
CEO-вердикт (честный)
Script Lab — аккуратно упакованный, но недоказанный инструмент. Сделан грамотно по форме, читаем и применим, НО построен на общих YouTube best-practices, а не на данных канала — и адверсариальный тест это вскрыл: чек-лист не отличает топ от флопа.
Главная ошибка — я зафиксировался на «10-15 мин» и «бизнес-угле», тогда как данные канала говорят: выстреливают глубокие 25-60-мин разборы конкретных инструментов.
Что делать: не выкидывать, а переписать содержание на основе videos.json — формат-вилки по длительности, блок про тему/заголовок, критерий точности, починить шкалу, связать score с метриками. Инструмент станет рабочим когда будет доказан на данных.
✅ Что исправлено (31 мая, после аудита)
Критичные правки сделаны (по решению «исправить только критичное»):
1. ✅ Чек-лист v2.0 — добавлен PRE-GATE по теме/углу (hard-fail), бинарная шкала, веса (Hook/Достоверность/Демо ×2), C1 больше не режет list-видео, +критерии достоверности и демо
2. ✅ Структура v2.0 — добавлен раздел «тема бьёт структуру», формат-вилка по длительности на реальных данных (8-25 мин, оптимум 18-25), тайм-коды в процентах, убран потолок блоков
3. ✅ Интерактивный чек-лист на /script-checklist обновлён под v2
Отложено (не критично): watchdog мониторинга агентов (task #18), валидация score на 8-10 видео (нужен Studio retention — MCN блок).
История
- v1.1 — 31 мая 2026 — добавлены исправления + уточнён бакет длительности (18-25 мин оптимум, workflow преувеличил «25-60»).
- v1.0 — 31 мая 2026 — аудит через workflow (7 агентов, адверсариальный тест). Script Lab 41/100→ исправлено, система 80/100, чек-лист v1 НЕ валиден → переписан в v2.