Доброта Qwen3.5-4B держится на двух нейронах

У Qwen3.5-4B обнаружили нейрон, вмешательство в который заметно меняет тон ответов. Достаточно сдвинуть его активацию во время генерации и получается грубая и враждебная версия модели.

Эксперимент провела исследовательница под ником Lyra. Она предложила следующий рецепт:

• слой 14, нейрон 8949: +1;

• слой 13, нейрон 7956: −1.

Изменения применяются к down_proj при каждом входном запросе. Это разновидность activation steering: веса модели не переписываются, вместо этого во время инференса меняются её внутренние активации. Убрать вмешательство — и модель вернётся к исходному поведению.

В MLP-блоке трансформера нейроны передают информацию через матрицу down_proj. У каждого нейрона есть соответствующий столбец этой матрицы — W_down[:, n]. Если сдвинуть активацию нейрона, его вклад в выход MLP изменится в направлении этого столбца.

Чтобы масштаб вмешательства был сопоставим между разными нейронами и слоями, Lyra использует нормировку:

доза × median(‖resid‖ на выходе слоя L, токены 1:)

/ ‖W_down[:, n]‖

Здесь resid — остаточный поток модели, а W_down[:, n] — столбец матрицы проекции, соответствующий выбранному нейрону. Первый токен исключён из расчёта медианы: его норма может быть значительно выше из-за механизма attention sink.

Один нейрон действительно меняет характер модели

Эксперимент заинтересовал других исследователей. Команда Hedwig AI проверила эффект на Qwen3.5-4B. Использовано 20 запросов:

• без вмешательства — ни одного враждебного ответа из 20;

• два нейрона из исходного рецепта — 16 враждебных ответов из 20;

• только L14 N8949 — 17 из 20;

• только L13 N7956 — ни одного;

• случайные пары нейронов — ни одного враждебного ответа из 100.

Основную работу выполняет L14 N8949. Второй нейрон сам по себе не делает модель агрессивной: напротив, исследователи заметили, что он добавляет ответам тепла. В паре с первым нейроном он почти не усиливает враждебность, зато ухудшает связность текста.

• L15 N3920 + — сарказм и гиперболизированные оценки;

• L12 N2920 − — склонность соглашаться с плохими идеями, то есть подхалимство;

• L11 N6261 + — сдвиг в сторону обхода отказов на определённых запросах.

Как попробовать

Для экспериментов Lyra опубликовала проект neuron-explorer на GitHub.

Он позволяет исследовать нейроны Qwen3.5-4B, смотреть их активации и результаты вмешательств, а также общаться с моделью с разными настройками steering. Модель запускается локально: проект поддерживает MPS, CUDA и CPU. Для запуска автор предлагает установить зависимости через uv sync, а затем выполнить:

uv run python explorer/server.py

В интерфейсе есть трёхмерная карта нейронов, просмотр отдельных слоёв, поиск по активациям и сравнение ответов с вмешательством и без него. Также предусмотрена интеграция с Claude CLI через MCP.