Я 101 разпроверил совет«Действуй как эксперт»

Роль эксперта ведёт нейросеть к знакомому результату

Один из самых известных советов по работе с нейросетями звучит примерно так:

Ты — опытный маркетолог с десятью годами работы. Проанализируй аудиторию и напиши текст лендинга.

Вместо маркетолога можно поставить дизайнера, редактора, юриста или любого другого специалиста. В этом и состоит смысл ритуала: кажется, будто такая фраза включает в нейросети всё, что она знает об опыте крутого маркетолога.

Так советуют, например, руководства 1, 2, 3, 4 и 5 и куча других. Роль давно подают как базовую первую строку «хорошего промта».

При этом нейрорезультат часто легко узнать. Лендинг встречает крупным обещанием, раскладывает пользу по трём карточкам и заканчивается призывом «Начните путь уже сегодня». Всё аккуратно, всё на месте — и всё это уже где-то было.

Вдохновившись исследованием Anthropic о внутренней работе языковых моделей, я проверил обратную формулировку — условное «не действуй как опытный дизайнер». Что произойдёт, если написать «не думай о дизайнерских приёмах старше 5 лет» или «избегай их»? Гипотеза была такой: модели полезнее сообщить не кем быть, а на кого не быть похожей. Дальше эти приёмы я буду называть «антиобразом».

Чтобы не делать вывод по трём удачным картинкам, я собрал 101 результат: 41 лендинг и 60 текстов. Сначала я проверил три формулировки на семи моделях. Затем одна модель по пять раз выполнила каждое из четырёх условий в дизайне и трёх текстовых жанрах.

И гипотеза о том, что указание роли шаблонизирует результат, подтвердилась.^[1] А ещё я нашёл способ получать менее одинаковые ответы. Обо всём этом — ниже.

Оглавление

1. Роль эксперта ведёт нейросеть к знакомому результату
2. Методика оценки результата
3. Роль вынуждает нейросеть повторяться
4. На текстах роль тоже не дала преимущества
5. Почему «не думай» и «избегай» сработали заметнее
6. Как задавать нейросети антиобраз
7. Попробуйте на своём промте

Методика оценки результата

Я собрал 101 независимый ответ. Внутри каждого сравнения модель получала одно и то же подробное задание. Менялась только короткая рамка перед ним: без дополнительного условия, роль опытного специалиста, «не думай» или «избегай».

В дизайне общее ТЗ описывало продукт, аудиторию, структуру лендинга, первый экран и призыв к действию. В нём уже были пожелания к визуальному языку и список нежелательных решений. Так я проверял влияние одной дополнительной формулировки поверх нормального рабочего запроса.

К заданию добавлялась одна из четырёх рамок:

41 лендинг: 21 результат от разных моделей и 20 повторов одной Luna

Сначала семь моделей по одному разу получили условия «Роль», «Не думай» и «Избегай»: всего 21 лендинг. Затем Luna High пять раз выполнила каждое из четырёх условий — ещё 20 лендингов. Повторная серия показала, какие различия создаёт формулировка внутри одной модели.

В каждой пятёрке лендингов я сравнил все десять пар. RGB-дистанция измеряла различие цветов и крупных плоскостей, а dHash — общей формы и композиции. После расчётов я сопоставил цифры со структурой страниц и исходными файлами.

60 текстов: три задачи, четыре формулировки, пять повторов

Для текстов я оставил ту же Luna High и три обычные рабочие задачи:

1. текст лендинга сервиса городского досуга;
2. объясняющую статью о переключении внимания после умственной работы;
3. письмо районной библиотеки об обмене домашними растениями.

Каждая задача получила четыре условия и пять независимых ответов: 3 жанра × 4 условия × 5 запусков = 60 текстов. Для каждой пятёрки я посчитал все десять пар. Словарь полных ответов сравнивался по TF-IDF-сходству, заголовки и CTA — по токенному коэффициенту Жаккара. Структурный индекс сравнивал каркас, а автоматический детектор искал категории клише, записанные до генерации.

Качество отдельно оценивалось по скрытым номерам. Оценщик ставил баллы за конкретность, оригинальность, пригодность, шаблонность и клише. Из них рассчитывался индекс Q. Оценщик видел текст и критерии, но не условие конкретного ответа.

Во всём исследовании я разделял три проверки:

• насколько ответы одного условия отличаются друг от друга;
• насколько они уходят от знакомых жанровых шаблонов;
• насколько результат выполняет само задание.

Начну с лендингов: разницу между ролью и антиобразом там видно ещё до графиков.

Роль вынуждает нейросеть повторяться

У страниц «Без условий» и «Роль» быстро обнаруживается семейное сходство. Светлый фон, большой заголовок слева, коробка с овощами справа, коралловые и зелёные акценты. Меняются шрифт, переносы и детали иллюстрации, а общее направление остаётся знакомым.

В «Избегай» колода начинает вести себя иначе. Рядом оказываются бело-красный плакат, ярко-жёлтый экран, светлая композиция со скульптурной коробкой и две тёмные баклажановые версии. Эти страницы всё ещё решают одно и то же подробное задание. Их труднее принять за варианты одного шаблона.

С ролью Luna чаще повторяла одну и ту же композицию

Двадцать лендингов Luna я собрал в матрицу: четыре условия по пять независимых запусков. Страницы с ролью оказались больше всего похожи друг на друга. Все пять пришли к светлому первому экрану, крупному обещанию слева и иллюстративной коробке справа.

Подробное задание без дополнительной рамки дало почти тот же набор решений. В зависимости от способа измерения группа «Без условий» оказалась на 11–28% шире ролевой. При этом расстояние между двумя группами почти совпало с обычным расстоянием между повторами внутри них.

Если перевести метрики на человеческий язык, фраза про дизайнера с десятью годами опыта не открыла Luna новое направление. Модель снова сделала светлый первый экран, крупный заголовок слева и коробку справа — и повторяла эту композицию чуть чаще, чем без роли.

Расчёт по RGB-дистанции и dHash показал близкую картину. Медианная дистанция у «Без условий» составила 0,159 против 0,124 у «Роли» по RGB и 0,313 против 0,281 по dHash. Сами значения здесь служат шкалой сравнения: чем число выше, тем меньше страницы похожи друг на друга.

«Избегай» дало в 1,8–2,74 раза больше разных решений

У «Избегай» различия заметны почти в каждой паре. Поменялись палитры, типографика, количество воздуха и элементов, формы карточек и сами метафоры продукта. Модель продолжала собирать понятный лендинг овощной подписки, хотя визуальных родственных связей между пятью версиями стало заметно меньше.

Эффект сохранился и в средних, и в медианных значениях. По цветам и крупным плоскостям разброс «Избегай» оказался в 2,52–2,74 раза шире, чем у задания без дополнительной рамки. По силуэту — в 1,80–1,95 раза. Медианная дистанция выросла с 0,159 до 0,435 по первой метрике и с 0,313 до 0,609 по второй.

В строке «Избегай» модель получила глагол и конкретный список нежелательных решений: старые шаблоны фермерских магазинов, зелёно-бежевую «натуральность», одинаковые блоки преимуществ. Этот пакет и дал самый широкий устойчивый диапазон.^[1:2]

Один тёмный лендинг завысил средний результат «Не думай»

На первом этапе, где семь разных моделей сделали по одному лендингу, «Не думай» выглядело самым сильным условием. Оно дало самый широкий набор направлений при визуальном просмотре и лидировало по средней пиксельной дистанции. Возникал удобный вывод: отрицательная инструкция сразу расширяет поиск.

Пять повторов одной Luna показали другую картину. Четыре страницы «Не думай» оказались похожими и светлыми. Пятая резко переключилась на тёмно-зелёный экран. Она подняла среднее всей группы, хотя медианная пиксельная дистанция осталась даже чуть ниже ролевой: 0,115 против 0,124.

Этот тёмный экран — один из самых полезных результатов исследования. По одиночной генерации я мог бы приписать инструкции устойчивое свойство. Серия показала редкое ответвление модели. «Не думай» способно было вывести её из привычного режима, однако в четырёх остальных попытках этого не произошло.

Одно ТЗ дало разные композиции, палитры и метафоры

Даже самые разные страницы сохраняли каркас из ТЗ: первый экран, состав коробки, три шага, размеры подписки, рассказ о сезонности и финальный призыв. Антиобраз менял прежде всего оформление этого каркаса. Карточки превращались в списки, тарифы — в конфигуратор, календарь — в диаграмму; перестраивались цвет, шрифт, ритм и предметная метафора.

«Избегай» помогло модели искать новые способы показать заданную историю. Саму историю удерживали шесть обязательных частей задания.

Визуальная свежесть также не гарантировала готовность страницы к запуску. Средняя оценка технической готовности в серии разных моделей осталась в узком диапазоне от 3,00 до 3,29 из 5. Некоторые выразительные версии теряли путь к заявке или ломались на узком экране. Сценарий, текст и адаптивность всё равно приходилось проверять отдельно.

В дизайне роль не добавила заметного разнообразия к подробному ТЗ и немного сузила диапазон. Условие с антиобразом изменило ответы гораздо сильнее. Чтобы проверить, не ограничивается ли эффект палитрой и композицией, следующую серию я провёл на 60 текстах в трёх жанрах.

На текстах роль тоже не дала преимущества

Смена задачи — ещё не восстановление

Один и тот же подзаголовок во всех пяти ролевых статьях.

Ещё один заголовок повторился в четырёх из пяти ответов. Роль явно подтолкнула модель к знакомой редакционной рамке. Одних заголовков для вывода было мало, поэтому я проверил словарь, структуру и призывы во всех 60 текстах.

С ролью и без неё тексты были одинаково разнообразными

Сначала я посмотрел, насколько похож словарь пяти ответов внутри каждого условия. Для этого использовал TF-IDF-сходство словаря: чем выше значение, тем чаще модель возвращается к одним и тем же словам.

Я пересчитал схожесть шестью способами. Результат не изменился: полные тексты с ролью и без неё были одинаково разнообразными.^[2:1]

Полные тексты различались, отдельные заголовки и кнопки повторялись

Разные слова ещё не означают, что тексты действительно разные. Модель может повторить один подзаголовок, одинаково разложить аргументы или привести к той же кнопке. Поэтому эти элементы я сравнил отдельно.

В ролевых ответах нашлись четыре заметных повтора:

• в статьях один подзаголовок повторился во всех пяти ответах;
• в письмах ролевые тексты получили самую схожую структуру среди четырёх условий;
• один набор слов для призыва повторился во всех пяти ролевых письмах;
• кнопка «Зарегистрироваться на обмен» появилась в четырёх из пяти ролевых писем.

Та же кнопка возникла в четырёх из пяти писем «Избегай». В продуктовых лендингах заголовки сильнее повторялись без условий: 0,733 против 0,547 у «Роли». Повторы зависели от жанра и встречались в разных условиях, поэтому общего правила «роль делает любой текст шаблоннее» эта серия не дала.

В 30 текстах с антиобразом не нашлось ни одного перечисленного клише

До генерации я записал для каждого жанра несколько узнаваемых формул:

• для лендинга — риторический вопрос в первой строке, обещание изменить жизнь, «больше никаких», тройку абстрактных преимуществ и призыв «начать путь»;
• для статьи — «знакомо ли вам», быстрый ритм современной жизни, простые секреты, универсальный список советов и вывод «главное — начать с малого»;
• для письма — «дорогие друзья», долгожданное событие, восклицания, незабываемую атмосферу, нагромождение эпитетов и просьбу успеть занять место.

Автоматическая проверка нашла шесть совпадений в текстах «Без условий» и восемь в ролевых. В тридцати текстах «Не думай» и «Избегай» — ни одного.

Пять из шести нейтральных срабатываний дали восклицательные знаки в письмах. В ролевой группе они появились во всех пяти письмах. К ним добавились «дорогие друзья» и две абстрактные тройки преимуществ в лендингах. В объясняющих статьях перечисленные клише не встретились ни при одном условии, поэтому автоматический детектор в этом жанре никого не разделил.

Список сработал буквально: модель увидела конкретные формулы и обошла их.^[2:2]

ИИ-оценщик поставил антиобразу 4,1 из 5, остальным условиям — около 2,7

Перед качественной оценкой все ответы получили случайные номера. ИИ-оценщик видел жанр, текст и критерии, но не знал условия конкретного ответа. Он оценивал конкретность, оригинальность, пригодность, шаблонность и клише по пятибалльной шкале.

Средняя сводная оценка составила 2,61 у «Без условий» и 2,71 у «Роли». «Не думай» получило 4,09, «Избегай» — 4,13. Оценщик предпочёл антиобраз во всех трёх жанрах.^[2:3]

Индекс подтвердил тот же разрыв, который показал автоматический поиск клише.^[2:4]

«Не думай» и «Избегай» получили практически одинаковый результат

Разница между двумя антишаблонными условиями составила 0,04 балла, их медианы совпали — 4,20. В текстах лендингов и письмах немного выше оказалось «Не думай», в статьях — «Избегай». После удаления выбросов часть жанрового порядка снова поменялась.

В этой серии нет оснований выбирать между двумя глаголами по эффективности. Общее в двух условиях — полный антиобраз: тип нежелательного захода, рекламные обещания, структура, тон и формула призыва, от которых следовало отойти.

Ни одно из 20 писем не достигло заданных 300 слов

Все двадцать объясняющих статей попали в диапазон 450–650 слов. Требование к объёму лендинга выполнили 14 ответов из 20. Ни одно письмо не достигло требуемых 300 слов: средний объём в четырёх условиях находился между 262 и 278 словами.

Высокая оценка оригинальности не исправила этот недобор. Антиобраз помог управлять узнаваемыми приёмами, а выполнение брифа пришлось проверять отдельно.

Тексты повторили основную часть дизайн-результата: роль почти ничего не добавила к уже детальному заданию, а антиобраз повлиял на ответы заметнее. Следующая глава разбирает возможную причину.

Почему «не думай» и «избегай» сработали заметнее

К моменту, когда модель читала «действуй как дизайнер», она уже знала почти всё необходимое для выбора профессионального режима. В ТЗ были продукт, аудитория, структура страницы, содержание первого экрана, сценарий подписки и требования к визуальному языку. Само слово «лендинг» тоже несло большой пласт знакомых примеров.

Роль указывала на центр этого жанра: сделай так, как сделал бы опытный специалист. Поэтому светлый первый экран, крупное обещание, коробка справа и понятный призыв выглядели вполне логичным ответом. Подробное задание без роли приводило Luna примерно в тот же район.

Антиобраз добавлял информацию другого типа. Он отмечал конкретные решения, которые следовало обойти: зелёно-бежевую «натуральность», старые фермерские шаблоны, одинаковые карточки преимуществ, привычные рекламные заходы и формулы призыва. После этого у модели оставалось много направлений, и знакомая короткая дорога к жанровому шаблону закрывалась.

Эта схема описывает готовые ответы. Исследование Anthropic подсказало, что могло происходить между промтом и результатом.

Антиобраз мог ослабить след знакомых шаблонов

В исследовании Anthropic Claude Opus 4.1 просили переписать нейтральное предложение и параллельно думать или не думать об аквариумах. После «не думай» след понятия на токенах ответа становился слабее. К последнему слою Opus 4.1 он возвращался к фоновому уровню.

В моём эксперименте место аквариумов заняли зелёно-бежевая «натуральность», старые фермерские шаблоны, одинаковые карточки и привычные текстовые заходы. Модель получила точный список маршрутов, которые следовало обходить.

Так выглядит наиболее вероятное объяснение моих результатов: антиобраз закрывал короткие дороги к знакомому ответу, поэтому у модели оставалось больше способов выполнить задачу. Внутренние активации Luna в этом эксперименте не измерялись; эта часть цепочки остаётся гипотезой.^[3]

В других исследованиях роль тоже не давала стабильного улучшения

Мой результат оказался частью более широкой картины. В 2024 году авторы работы When “A Helpful Assistant” Is Not Really Helpful проверили 162 персоны на четырёх семействах моделей и 2410 вопросах: в среднем добавление персоны не улучшило точность относительно запроса без неё. В исследовании Principled Personas девять моделей выполнили 27 задач. Экспертные персоны иногда помогали, эффект часто оставался статистически незначимым, а нерелевантные подробности роли снижали результат почти на 30 процентных пунктов.

Авторы препринта When Does Persona Prompting Actually Help? проверили 1140 открытых вопросов, 38 экспертных ролей и шесть областей. Средние различия между условиями оказались небольшими. Роль добавляла глубины экспертизы и одновременно снижала ясность; направление эффекта зависело от вопроса и предметной области.

Эти работы измеряют точность и характеристики ответов. В моём исследовании измерялись визуальный разброс, лексика и клише. Вместе результаты дают ясный вывод: фраза «действуй как эксперт» не служит универсальным усилителем запроса. Роль может сдвинуть ответ в нужную сторону, оставить его почти прежним или внести лишние ожидания.

Так как писать: «избегай» или «не думай о»?

По результатам текстовой серии — без разницы. «Не думай» и «Избегай» разделили всего 0,04 балла, а их медианы совпали.

Я буду писать «избегай», просто потому что так естественнее говорить. Дизайнеру я бы сказал: «Избегай таких-то паттернов». Фраза «Не думай о таких-то паттернах» звучала бы странно. Главное — перечислить конкретные решения, которых не должно быть в результате.

Как задавать нейросети антиобраз

Я давно перестал считать роль обязательной первой строкой запроса, а исследование подтвердило это числами. Хороший промт для меня звучит как нормальное объяснение задачи умному коллеге. Сначала я рассказываю, что происходит и какой результат нужен. Затем — кто будет им пользоваться, что уже известно и какие ограничения важно учесть.

Никакого универсального каркаса для такого разговора нет. Один запрос помещается в абзац, другому нужны примеры, файлы и длинный контекст. Его качество определяется тем, насколько хорошо нейросеть поняла ситуацию.

Антиобраз можно добавить в этот рассказ одной естественной фразой. Иногда достаточно написать:

Избегай дизайн-паттернов старше пяти лет.

В моей работе такая короткая строка уже давала результат ярче, чем ритуальное «действуй как опытный маркетолог». Подробный перечень требуется не всегда.

Если я заранее знаю, какой шаблон меня раздражает, то называю его точнее. Для текста это могут быть риторические вопросы, «дорогие друзья», антитезы, тройки абстрактных преимуществ и призыв «начать путь». Для дизайна — фиолетовый экран и одинаковые карточки. Эти детали удобно проверять в готовом результате.

Сам запрос при этом остаётся обычным человеческим рассказом:

Мы собираем лендинг для городской подписки на сезонные овощные коробки. Люди выбирают размер коробки и получают её раз в неделю. На странице нужно объяснить состав, три шага подписки, варианты размера и сезонность. Хочется современный локальный продукт с понятным заказом. Избегай дизайн-паттернов старше пяти лет и привычной зелёно-бежевой фермерской эстетики.

В этом запросе просто рассказаны ситуация, желаемый результат и граница, которая помогает модели не свернуть к первому знакомому шаблону. Специальный порядок блоков, служебные заголовки и роль с десятью годами опыта ему не требуются.

Роль всё ещё бывает полезна, когда она действительно задаёт перспективу. Например, просьба проверить интерфейс с позиции редактора доступности меняет угол просмотра. Обычно я сразу поясняю, что именно нужно проверить: подписи, сообщения об ошибках, обязательность полей или зависимость смысла от цвета. Такое уточнение полезнее самого названия профессии.

Для важной задачи я также делаю несколько независимых попыток. Один ответ может оказаться редким выбросом — как тёмный лендинг «Не думай» в этом эксперименте. Повторы помогают увидеть диапазон и выбрать решение, которое выполняет задачу и при этом не возвращается к названному антиобразу.

В общем, подробно расскажите нейросети, чего вы хотите и что вообще происходит. Если узнаваемый шаблон уже маячит впереди, назовите его и попросите пройти другой дорогой.

Попробуйте на своём промте

Вставьте запрос с «действуй как». Нейросеть сохранит задачу и превратит смысл роли в конкретные требования к результату.