К ленте · Россия

РоссияСтатьяПрактика

Как создать собственную систему рекомендаций для YouTube с помощью AI: пошаговый гайд

Содержание
  1. Что на самом деле сделал Андрей Карпати
  2. Почему мне перестали подходить рекомендации YouTube
  3. Как устроен TheBold Hub
  4. Шаг 1. Собрала источники: каналы, Hacker News и поиск
  5. Шаг 2. Подключила YouTube API
  6. Шаг 3. Использовала decision-модель вместо обычной LLM
  7. Шаг 4. Настроила правила и систему предачи на проверку человеку
  8. Шаг 5. Добавила персонализацию рекомендаций
  9. Шаг 6. Добавила обсуждения, сохранения и историю просмотров
  10. Как вам повторить такую систему
  11. Что получилось у меня

Когда Андрей Карпати (один из основателей OpenAI) рассказал, что за два часа навайбкодил свой собственный YouTube — нашлись люди, которые принялись над этим шутить:

"Очередной вайбкодер собрал свой YouTube за два часа? Ха-Ха! Сделать сайт с кадрами из видео и встроенным плеером — не значит создать аналог платформы с миллиардной аудиторией, рекомендательными алгоритмами и огромной инфраструктурой"

И формально они правы. Карпати действительно не создавал новый YouTube. Но большинство упустило главное: Карпати вскрыл огромную проблему ютуба, когда ваша лента меняется до неузнаваемости после просмотра нескольких роликов. И на своем примере показал, как любой из нас теперь может построить собственную систему рекомендаций поверх существующей платформы и использовать это для своих задач, бизнеса или комьюнити.

Вдохновившись я создала TheBold Hub — систему видеорекомендаций для фаундеров и it-энтузиастов. Система собирает англоязычные видео с YouTube, отбирает и классифицирует их с помощью AI, формирует персональную ленту и позволяет обсуждать ролики внутри профессионального сообщества.

В этом материале я расскажу какой стек инструментов использовала, хитрости и подводные камни и, конечно, сколько стоит обслуживание такой системы.

Что на самом деле сделал Андрей Карпати

Началось все с того, что Андрей Карпати сел посмотреть что-нибудь интерсное и полезное на YouTube. Но вместо интересных видео про технологии, главная страница оказалась заполнена однотипными роликами и кликбейтными обложками.

В этот момент он и решил сделать альтернативную систему рекомендаций.

В качестве источника использовал Hacker News — сообщество разработчиков, предпринимателей и технологических энтузиастов. Карпати взял архив из 43 миллионов комментариев, опубликованных почти за 20 лет, и с помощью Claude нашел примерно 40 тысяч комментариев, в которых пользователи рекомендовали друг другу видео. Из них получился каталог из 6454 роликов по 150 темам. Так появился HackerTube.

При этом видео по-прежнему воспроизводятся через YouTube. Карпати не создавал собственный видеохостинг, не хранит ролики на своих серверах и не разрабатывал отдельную систему потоковой передачи видео.

Он изменил то, как пользователь находит контент.

По словам Карпати, первая версия заняла у него около двух часов. Подробнее он описал процесс в своем блоге.

Мне кажется, главный результат этого эксперимента не в том, что теперь можно быстро написать интерфейс видеокаталога.

Гораздо интереснее сама возможность использовать инфраструктуру крупной платформы, но самостоятельно определять, какой контент показывать пользователям.

Почему мне перестали подходить рекомендации YouTube

Я много смотрю на YouTube контента о стартапах, предпринимательстве, технологиях, венчурных инвестициях, маркетинге и growth hacking.

Это интервью с фаундерами, выступления инвесторов, разборы бизнес-моделей, лекции по продуктовой разработке и материалы с технологических конференций. Но YouTube для меня не только рабочий инструмент. Иногда я просто хочу отдохнуть и посмотреть что-нибудь развлекательное. Иногда — совершенно бессмысленное. Иногда — guilty pleasure, которым не особенно хочется делиться с окружающими.

Стоит провести несколько вечеров за таким контентом, как главная страница YouTube заметно меняется. Вчера мне предлагали интервью с фаундерами, сегодня — распаковки сумок Birkin. И алгоритм вроде бы ведет себя логично: учитывает мои последние просмотры и пытается угадать, что мне захочется посмотреть следующим.

Но профессиональные интересы у меня никуда не исчезли. Я по-прежнему хочу знать, какие новые интервью вышли у интересных мне предпринимателей и что прямо сейчас обсуждают инвесторы. Просто теперь приходится открывать отдельные каналы, проверять подписки или специально искать нужные видео. В какой-то момент мне захотелось разделить эти сценарии.

Пусть YouTube продолжает развлекать меня своими рекомендациями. Но для профессиональных задач я хочу отдельное пространство, где контент отбирается по интересам, связанным со стартапами.

Причем не просто список ссылок, а полноценную платформу: с собственными рекомендациями, возможностью сохранять видео, продолжать просмотр и обсуждать материалы с людьми из того же сообщества.

Как устроен TheBold Hub

По сути TheBold Hub — это система рекомендаций для стартап-комьюнити: фаундеров, инвесторов, специалистов технологических компаний и людей, которые интересуются развитием стартапов.

Главный принцип — использовать YouTube как источник контента, но самостоятельно управлять его отбором, классификацией и рекомендациями.

Пайплайн работает как фоновый процесс на сервере, отдельно от сайта, и состоит из нескольких этапов:

  • Сбор. Новые ролики приходят из трех источников: отобранных YouTube-каналов, Hacker News и поиска YouTube.
  • Жесткие фильтры. Дешевые проверки кодом отсекают очевидно неподходящее до любого обращения к AI.
  • Решение модели. Decision-модель отвечает на набор вопросов о ролике, а правило в коде превращает ее ответы в одно из трех решений: опубликовать, отклонить или отправить человеку.
  • Ранжирование. Опубликованные видео сортируются по формуле: популярность, вовлеченность, обсуждение на Hacker News, качество и свежесть.
  • Персонализация. Лента подстраивается под действия конкретного зрителя.

Шаг 1. Собрала источники: каналы, Hacker News и поиск

Основа — база проверенных YouTube-каналов. Стартовый список, который я собрала вручную, — окло 200 каналов: акселераторы, венчурные фонды, технологические конференции, предприниматели, авторы профессиональных интервью и образовательные проекты.

Сам подбор источников занял больше времени, чем первоначальная разработка приложения.

Найти качественный канал — не то же самое, что найти канал со словом startup в названии. Нужно понять, насколько интересны его материалы, кто их авторы и насколько регулярно там появляется полезный контент.

Но даже качественные каналы не всегда публикуют только то, что подходит аудитории TheBold Hub. Для таких каналов я ставлю в админке отметку «проверять каждое видео строже»: ролик с такого канала публикуется автоматически, только если модель уверена в его релевантности хотя бы на 90%, а не на обычные 80%.

Кроме каталога заранее одобренных каналов, я, как и Карпати, использую Hacker News. Система раз в час забирает новые посты HN со ссылками на YouTube, а историю за прошлые годы можно догрузить отдельным запуском. Количество авторов, упомянувших ролик, очки и число комментариев в обсуждении потом участвуют в ранжировании.

Но здесь мой опыт разошелся с подходом Карпати. Ссылки из комментариев HN я в итоге отключила как самостоятельный источник: они заполняли очередь модерации шумом. Видео, о котором известно только по ссылке в чьем-то комментарии, система отклоняет. Ролик, вынесенный в отдельный пост, проходит дальше.

Третий источник — поиск YouTube. Есть банк из 60 запросов вроде «how to raise a seed round» или «ai agents building tutorial production». Они распределены по неделе, по 9 запросов в день. Видео из поиска система ждет 14 дней и пропускает, только если у ролика за это время набралось хотя бы 1000 просмотров. Если же такой ролик упомянут в другом источнике, ожидание снимается.

Источники расширяются и автоматически. Если с канала, которого нет в моем списке, уже опубликовано хотя бы три видео, пришедших через Hacker News, система начинает отслеживать его целиком.

Шаг 2. Подключила YouTube API

Для получения роликов я использую официальный YouTube Data API.

Каждые 4 часа система проверяет последние загрузки отслеживаемых каналов. Для каждого нового видео она получает метаданные: название, описание, теги, длительность, категорию YouTube, язык, дату публикации, число просмотров, лайков и комментариев, а также можно ли встраивать ролик на сторонний сайт.

Субтитры и транскрипты не используются: модель принимает решение только по метаданным.

YouTube ограничивает бесплатный API квотой — 10 000 единиц в день. Сами ролики не скачиваются и не хранятся на моем сервере. TheBold Hub воспроизводит их через встроенный плеер YouTube.

Как и Карпати, я отказалась от авторских обложек: карточки показывают кадр из середины видео, который генерирует сам YouTube.

Дальше начинаются жесткие фильтры, которые работают без AI. Отсеиваются:

  • ролики, которые нельзя встроить на сторонний сайт;
  • контент для детей;
  • видео короче трех минут;
  • неподходящие категории YouTube;
  • уверенно определенный неанглийский язык;
  • каналы из черного списка.

Прямые эфиры и анонсы откладываются и перепроверяются через сутки.

Зачем это нужно? Каждое отсеянное здесь видео — это запрос к модели, за который не нужно платить.

Но остается главная задача: как автоматически понять, какие из прошедших фильтры видео стоит показывать пользователям?

Шаг 3. Использовала decision-модель вместо обычной LLM

Когда я обсуждала реализацию с Claude, мы остановились на специализированной модели Perplexity Decider. Для отбора видео используется pplx-decider-v1.2, для проверки комментариев на спам — более дешевая pplx-decider-flash-v1.2.

Это отдельный класс AI-моделей — decision models, или модели принятия решений.

Большие языковые модели вроде Claude или ChatGPT умеют генерировать тексты, писать код, анализировать документы и решать сложные задачи.

Но далеко не во всех приложениях нужно генерировать развернутый ответ. Очень часто требуется принять одно простое решение из нескольких возможных вариантов. Например:

  • относится ли видео к тематике стартапов;
  • к какой категории его отнести;
  • является ли комментарий спамом;
  • в какой отдел направить обращение клиента.

Для таких задач и существуют decision-модели. Они получают входные данные и набор типизированных вопросов, а возвращают не текст, а числа.

Например, вместо ответа на несколько абзацев модель может вернуть, что видео подходит платформе с вероятностью 96%, а наиболее подходящая категория — Fundraising.

Важная особенность таких моделей — низкая стоимость обработки большого количества запросов.

В TheBold Hub все вопросы о видео отправляются в одном запросе. Модель отвечает на шесть вопросов:

  • Полезно ли видео тех-фаундерам, операторам стартапов или венчурным инвесторам?
  • Подпадает ли оно под одно из исключений: трейдинг и прогнозы цен, офлайн-бизнес без технологий, мотивация без конкретики, обзоры гаджетов, политика, неанглийский язык?
  • Какая категория из 30 подходит лучше всего?
  • Какой это формат: интервью, доклад, туториал, разбор, история, новости?
  • Для кого видео полезнее всего: фаундеров, инвесторов, операторов, разработчиков?
  • Насколько видео содержательно — от «кликбейт» до «глубокий материал»?

Модель принимает решение по метаданным ролика: названию, каналу, первым 1500 символам описания, таймкодам глав, тегам и длительности.

Анализ 10 тыс таких описаний к видео обошелся мне в 0,12 центов и еще около 0.20 центов ушли на пересортировку категорий и персчет очереди (запускаются раз в 10 минут).Если бы я делала теже задачи с LLM — анализ 10 тысяч видео стоил бы примерно $2–3 на самых дешевых моделях OpenAI и Anthropic, около $60–120 на средних и до ~$300 на флагманах.

Шаг 4. Настроила правила и систему предачи на проверку человеку

Это, пожалуй, самая важная архитектурная идея проекта.

Модель в TheBold Hub ничего не публикует сама. Она только возвращает вероятности. Окончательное решение принимает простое правило в коде, у которого три исхода.

Опубликовать автоматически можно, только если выполнены все три условия:

  • релевантность не ниже 80% (для каналов со строгой проверкой — 90%);
  • модель уверена хотя бы на 70%, что никакое исключение не подходит;
  • содержательность не ниже «solid» по четырехбалльной шкале.

Отклонить автоматически система может, если выполнено любое из условий:

  • релевантность ниже 50%;
  • какое-то исключение подходит с уверенностью от 70%;
  • видео близко к кликбейту.

Все остальное — серая зона. Такие видео уходят мне на ручную проверку.

Почему так, а не «спросить модель, публиковать ли»? Потому что тогда границы задаются явно, их можно прочитать, проверить и поменять одной строкой. Модель отвечает на узкие вопросы, а политика публикации остается моей.

Первый живой прогон на 18 реальных видео дал такое распределение:

  • 7 опубликованы автоматически;
  • 5 отклонены моделью;
  • 3 отсеяны фильтрами еще до модели;
  • 3 ушли ко мне на проверку.

Схема: источники → YouTube API → жесткие фильтры → Perplexity Decider → правило в коде → три результата: публикация / отклонение / ручная проверка.

Важно сказать честно, что именно здесь «учится». Веса модели Perplexity не меняются, никакого дообучения нет. Пороги публикации тоже фиксированные и сами не сдвигаются.

Учится система по-другому: через примеры.

Каждое мое решение в админке сохраняется как размеченный пример. Когда приходит новое видео, система подбирает до шести похожих роликов, которые я уже разметила (по совпадению слов в названии и по тому же каналу), и передает их модели вместе с видео с пометкой: «это похожие видео, которые редактор разобрал вручную, следуй их логике».

Каждые 25 новых разметок система заново проходит по уже опубликованным видео, которые я не проверяла сама, и пересматривает их категории с учетом новых примеров.

Чтобы такой цикл не испортил то, что уже работает, в нем есть ограничения:

  • категория меняется, только если модель уверена в новой хотя бы на 50%: на тестовом наборе ниже этого порога модель больше ломала, чем исправляла;
  • пересмотр никогда не меняет решение «опубликовать или отклонить»: только категорию;
  • видео, которые я разобрала вручную, система не трогает;
  • каждое изменение записывается в журнал, так что любой проход можно проверить и откатить.

Вкладка Categories показывает видео, в категории которых модель была уверена меньше всего. Одна моя правка там учит систему больше, чем десять правок в очевидных местах.

Прежде чем включить цикл, мы проверили его на наборе из 186 размеченных видео:

  • верных категорий стало 166 вместо 160;
  • из 26 ошибок модель исправила 13;
  • 7 ранее правильных категорий она поменяла на неправильные.

У Flash-версии результат на этой задаче был заметно хуже, поэтому для видео используется полная v1.2.

Шаг 5. Добавила персонализацию рекомендаций

Даже внутри стартап-комьюнити интересы сильно отличаются. Один фаундер сейчас привлекает инвестиции, другой ищет product-market fit, третий изучает новые каналы привлечения клиентов. Если показывать всем одинаковую ленту, получится просто еще один тематический каталог.

Сначала про общую ленту. Ее порядок — тоже формула, без AI:

  • 25% — насколько видео обогнало обычные просмотры своего канала;
  • 20% — популярность;
  • 15% — вовлеченность (лайки и комментарии на тысячу просмотров);
  • 15% — обсуждение на Hacker News;
  • 10% — содержательность по оценке модели;
  • 15% — свежесть: ее вес уменьшается вдвое каждые 90 дней, так что новые видео поднимаются, а сильные старые не исчезают.

Чтобы лента не превращалась в один канал, в одном ряду не больше трех видео одного канала и не больше трех подряд одной категории.

Персонализация тоже построена на обычном коде, без модели и без векторного поиска. Система записывает действия зрителя и придает им разный вес:

Вес каждого действия уменьшается вдвое за 30 дней. Из этих сигналов складывается профиль интересов по темам, категориям и каналам.

Как персонализация меняет ленту:

  • ряд For You появляется после пяти положительных сигналов;
  • одно место в нем всегда занято видео из темы, которой вы еще не интересовались, — чтобы лента не замкнулась на самой себе;
  • тематические разделы переставляются: интересные вам поднимаются выше;
  • досмотренные и скрытые видео уходят с главной.
  • Кнопка «не интересно» (перечеркнутый глаз) скрывает видео с пятисекундной возможностью отменить.

Профиль работает и без регистрации: тогда он хранится в браузере. После входа он объединяется с аккаунтом и хранится на сервере.

Главное для меня в том, что персонализация работает только внутри профессиональной тематики. TheBold Hub вообще не знает о моей истории на YouTube, поэтому вечерние развлечения не влияют на то, какие интервью с инвесторами он мне рекомендует.

Шаг 6. Добавила обсуждения, сохранения и историю просмотров

Изначально задача была в удобной ленте, но постепенно захотелось сделать полноценное пространство для профессионального контента.

Сохранение видео. Можно отложить материал и вернуться к нему позже.

История просмотров и «Продолжить просмотр». Плеер запоминает точную позицию, в том числе в момент ухода со страницы. История привязана к аккаунту, видна только владельцу, и ее можно очистить. Если браузер и аккаунт помнят разные позиции, берется более свежая.

Обсуждения. Под видео можно вести дискуссии: отвечать на комментарии, ставить лайки, сортировать по популярности или новизне.

Комментарии модерируются в два слоя:

  • Правила в коде: не больше 10 комментариев в час, ссылки — только после первой недели комментирования, фильтр очевидных спам-фраз.
  • Модель: текст проверяет Decider Flash. При вероятности спама от 90% комментарий скрывается до моей проверки. От 50% — публикуется, но помечается для админки. Если модель не ответила за 3 секунды, комментарий публикуется сразу, а фоновая задача проверит его позже.

Предложение каналов. Пользователи могут предложить YouTube-каналы на странице /hub/suggest. Список приходит мне в Telegram и сохраняется в базе. Автоматически в мониторинг ничего не добавляется — это сознательное решение. Подходящие каналы я добавляю сама.

Как работает возможность предложить канал

Так сообщество может участвовать не только в обсуждении контента, но и в его отборе.

Войти в хаб можно через Google или GitHub. Если вы уже пользуетесь TheBold, хаб открывается из вашего кабинета без повторного входа.

Какой стек я использовала и сколько времени ушло

Hub я собирала в Claude Code. Я описала продукт в спецификации: темы, исключения, источники, логику модерации и ленты. Claude писал код, а я проверяла результат и принимала продуктовые решения. Вся разработка заняла один день, примерно пять часов от первого коммита до последнего.

Как вам повторить такую систему

Сам подход необязательно применять только к стартапам. Аналогичный видеохаб можно собрать для научных лекций, медицины, дизайна, инженерии, образования или любой другой профессиональной области.

Базовые шаги, которые вам предстоит сделать:

  • Определить тематику, аудиторию и исключения. Список того, что не должно попадать в каталог, так же важен, как список тем.
  • Собрать первоначальные источники. Лучше начать с небольшой качественной базы каналов, чем с сотен случайных. Сигналы сообщества вроде Hacker News проверять на шум до того, как доверять им.
  • Поставить жесткие фильтры перед AI. Все, что можно отсеять кодом, не должно стоить денег.
  • Разделить роли модели и правил. Модель отвечает на узкие вопросы вероятностями, а решение о публикации принимает прозрачное правило с явными порогами.
  • Отправлять "серую зону" на проверку человеку и сохранять каждое его решение как пример. И да без админки тут тоже дело не обойдется.

Что получилось у меня

Сейчас TheBold Hubуже работает и система обработала свыше 10,000 видео.

Эксперимент Карпати показал, что можно использовать контент большой платформы, не принимая ее правила рекомендаций как единственный возможный вариант.

В моем случае это возможность отделить профессиональный YouTube от развлекательного и получить ленту, которая учитывает интересы внутри стартап-экосистемы.

И мне кажется, что подобных специализированных интерфейсов поверх существующих платформ будет становиться больше. Не потому, что все захотят создавать "собственный YouTube", а потому, что теперь можно сравнительно небольшими усилиями сделать свою рекомендательную систему под потребности конкретного человека или сообщества.

Если вы интересуетесь стартапами, венчурными инвестициями, growth или технологиями — подписывайтесь на мой тг-канал. На связи!

Источник: Хабр · статьиПубликуется с разрешения правообладателя, подтверждённого редакцией.Оригинал: Как создать собственную систему рекомендаций для YouTube с помощью AI: пошаговый гайд ↗

Есть кому отправить?

Скопируется постоянная ссылка на этот материал.

Комментарии

Обсуждайте статью, отвечайте и оценивайте комментарии. Вход — через ваш Яндекс ID.

Загружаем обсуждение…