РоссияСтатьяИсследования
Система и способ обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя
[68] Изобретение относится к области обучения языковых моделей с использованием обучения с подкреплением по человеческой обратной связи. Техническим результатом является ускорение сходимости обучения при сохранении или улучшении качества ответов. Система содержит модуль языковой модели, модуль модели вознаграждения, модуль предсказания параметров взгляда пользователя, модуль формирования распределения важности токенов, модуль распределения вознаграждения по токенам и модуль обучения с подкреплением. Способ включает получение запроса, генерацию ответа, формирование скалярного вознаграждения, предсказание параметров взгляда по ответу, формирование нормированного распределения важности токенов, распределение скалярного вознаграждения по токенам и обновление параметров языковой модели по алгоритму обучения с подкреплением. 2 н. и 8 з.п. ф-лы, 2 ил.
Система и способ обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя
Выданный патент: RU2871366C1 Дата публикации: 2026-10-06 Заявитель / патентообладатель: Автономная некоммерческая организация высшего образования "Университет Иннополис" (RU) Классификация: G06N3/092 G06F40/40 G06N3/092 G06F40/40
Реферат [68] Изобретение относится к области обучения языковых моделей с использованием обучения с подкреплением по человеческой обратной связи. Техническим результатом является ускорение сходимости обучения при сохранении или улучшении качества ответов. Система содержит модуль языковой модели, модуль модели вознаграждения, модуль предсказания параметров взгляда пользователя, модуль формирования распределения важности токенов, модуль распределения вознаграждения по токенам и модуль обучения с подкреплением. Способ включает получение запроса, генерацию ответа, формирование скалярного вознаграждения, предсказание параметров взгляда по ответу, формирование нормированного распределения важности токенов, распределение скалярного вознаграждения по токенам и обновление параметров языковой модели по алгоритму обучения с подкреплением. 2 н. и 8 з.п. ф-лы, 2 ил.
Описание [1] Область техники [2] Изобретение относится к области вычислительной техники и искусственного интеллекта, а именно к способам и системам обучения моделей обработки и генерации естественного языка с использованием методов машинного обучения и обучения с подкреплением по человеческой обратной связи (RLHF). [3] Изобретение может быть использовано при разработке диалоговых систем, виртуальных ассистентов, систем поддержки принятия решений и иных программных комплексов, в которых языковые модели настраиваются на предпочтения пользователей. [4] Уровень техники [5] Известны системы обучения языковых моделей на основе обучения с подкреплением по человеческой обратной связи, в которых формируется модель вознаграждения, оценивающая ответы модели по парам «предпочитаемый/непредпочитаемый» ответов, а затем политика модели оптимизируется, например, методом проксимальной оптимизации политики (PPO). В таких системах вознаграждение, как правило, задается в виде одного скалярного значения для всей сгенерированной последовательности, что приводит к разреженности сигнала и необходимости выполнения большого числа шагов оптимизации для достижения требуемого качества. [6] Так, в патентном документе US 11 586 830 раскрыта система и способ управления генерацией естественного языка на основе обучения с подкреплением, в которых формируется модель вознаграждения для выбора вариантов текстовых ответов агента, однако вознаграждение формируется на уровне последовательностей и не распределяется по токенам на основе данных о внимании пользователя. В международной заявке WO 2021 247231 описана система контролируемой генерации естественного языка с применением методов обучения с подкреплением и модели вознаграждения, при этом оценка качества также выполняется на уровне целых текстовых ответов без учета распределения внимания пользователя при чтении. В документе EP 3 772 012 раскрыт способ обработки естественного языка с использованием обучаемых моделей и пользовательской обратной связи, однако в нем отсутствует использование предсказанного распределения времени чтения для формирования плотного токен-уровневого вознаграждения. [7] Известны подходы к сгущению вознаграждения, в которых последовательностный скалярный сигнал распределяется по токенам с использованием внутренних карт внимания модели вознаграждения, что позволяет получать токен-уровневые оценки важности и ускорять обучение, однако такие подходы не опираются на реальные или предсказанные данные о распределении внимания пользователя при чтении текста. Также известны модели предсказания параметров взгляда пользователя, обученные на корпусах с данными отслеживания движения глаз, которые оценивают, в частности, длительность фиксаций и общее время чтения токенов, но эти модели применяются отдельно от RLHF-процессов и не используются для формирования плотного вознаграждения при обучении языковых моделей. [8] При этом остается нерешенной задача повышения эффективности обучения языковых моделей в рамках RLHF за счет формирования токен-уровневого плотного вознаграждения, согласованного с предсказанным распределением внимания пользователя при чтении текста, что позволило бы ускорить сходимость обучения без ухудшения итогового качества модели. [9] Недостатками известных решений, основанных на обучении с подкреплением по человеческой обратной связи, является разреженность сигнала вознаграждения, формируемого в виде одного скалярного значения для всей сгенерированной последовательности, что затрудняет точное определение вкладов отдельных токенов в итоговую оценку и приводит к увеличению числа шагов обучения для достижения требуемого качества языковой модели. Дополнительным недостатком является отсутствие использования информации о распределении внимания пользователя при чтении текста: известные способы либо полностью игнорируют данные о взгляде, либо формируют токен-уровневые оценки только на основе внутренних механизмов внимания моделей, что не обеспечивает согласованности сигнала вознаграждения с реальным восприятием текста человеком. [10] Техническая задача [11] Технической задачей изобретения является повышение эффективности обучения языковой модели в рамках обучения с подкреплением по человеческой обратной связи за счет формирования токен-уровневого плотного сигнала вознаграждения, согласованного с предсказанным распределением внимания пользователя при чтении текста. [12] Сущность изобретения [13] Для решения указанной технической задачи предлагаются система и способ обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя, при которых: [14] на вход системы подается текстовая последовательность, генерируемая языковой моделью в ответ на запрос пользователя; [15] предобученная модель предсказания параметров взгляда пользователя вычисляет для токенов последовательности значения, характеризующие внимание пользователя при чтении, по меньшей мере общее время чтения токенов; [16] по полученным значениям внимания формируется нормированное распределение важности токенов, например посредством экспоненциальной нормализации (softmax); [17] скалярное вознаграждение, полученное от модели вознаграждения или на основе оценки пользователя, распределяется между токенами в соответствии с указанным распределением важности с образованием токен-уровневых значений вознаграждения; [18] параметры языковой модели обновляются с использованием алгоритма обучения с подкреплением, например PPO или GRPO, на основе токен-уровневого плотного вознаграждения. [19] Система может содержать, по меньшей мере, модуль предсказания параметров взгляда, модуль формирования распределения важности токенов, модуль распределения скалярного вознаграждения по токенам и модуль обучения языковой модели с подкреплением. [20] Технический результат [21] Техническим результатом изобретения является повышение эффективности обучения языковой модели, выражающееся в ускорении сходимости процесса обучения с подкреплением по человеческой обратной связи при сохранении или улучшении качества генерируемых текстовых ответов за счет формирования токен-уровневого плотного сигнала вознаграждения на основе предсказанного распределения внимания пользователя при чтении текста. Дополнительным техническим результатом является снижение вычислительных затрат на обучение языковой модели благодаря уменьшению числа необходимых шагов оптимизации при достижении заданного уровня качества ответов. [22] Краткое описание чертежей [23] На фиг. 1 представлена структурная схема системы обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя. [24] На фиг. 2 представлена блок-схема способа обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя. [25] Перечень обозначений: [26] На фиг. 1 присутствуют следующие обозначения: [27] 101 - модуль ввода запроса пользователя; [28] 102 - модуль языковой модели; [29] 103 - модуль модели вознаграждения; [30] 104 - модуль предсказания параметров взгляда пользователя; [31] 105 - модуль формирования распределения важности токенов; [32] 106 - модуль распределения вознаграждения по токенам; [33] 107 - модуль обучения с подкреплением; [34] 108 - память / база данных обучающих данных; [35] На фиг. 2 присутствуют следующие обозначения: [36] 201 - блок «Начало»; [37] 202 - блок «Получение текстового запроса пользователя»; [38] 203 - блок «Генерация ответа языковой моделью»; [39] 204 - блок «Формирование скалярного вознаграждения»; [40] 205 - блок «Предсказание параметров взгляда по ответу»; [41] 206 - блок «Формирование распределения важности токенов»; [42] 207 - блок «Распределение вознаграждения по токенам»; [43] 208 - блок «Обновление параметров языковой модели по алгоритму обучения с подкреплением»; [44] 209 - блок «Конец». [45] Подробное описание изобретения [46] Изобретение поясняется на примере реализации, не ограничивающем объем правовой охраны. [47] Система обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя содержит по меньшей мере модуль ввода запроса пользователя 101, модуль языковой модели 102, модуль модели вознаграждения 103, модуль предсказания параметров взгляда пользователя 104, модуль формирования распределения важности токенов 105, модуль распределения вознаграждения по токенам 106, модуль обучения с подкреплением 107 и память 108, реализованную, например, в виде базы данных обучающих данных и параметров моделей. Указанные модули могут быть реализованы программно на одном или нескольких вычислительных устройствах, содержащих по меньшей мере один процессор и запоминающее устройство, либо в виде распределенной вычислительной системы. [48] Модуль ввода запроса пользователя 101 выполнен с возможностью приема от пользователя текстового запроса и передачи его в модуль языковой модели 102. Модуль языковой модели 102 выполнен с возможностью генерации текстового ответа на основании текстового запроса, поступающего от модуля 101. В качестве языковой модели в модуле 102 может использоваться трансформерная языковая модель большого размера, предварительно обученная на корпусе текстов и дообученная по схеме обучения с учителем (SFT). [49] Модуль модели вознаграждения 103 выполнен с возможностью приема пары «запрос - сгенерированный ответ» и формирования скалярного значения вознаграждения, характеризующего предпочтительность соответствующего ответа с точки зрения человеческих предпочтений. В одном из вариантов реализации модуль 103 содержит нейросетевую модель вознаграждения, обученную на данных парных предпочтений ответов, и использует нормированные значения выхода этой модели в качестве скалярного вознаграждения. [50] Модуль предсказания параметров взгляда пользователя 104 выполнен с возможностью приема текстовой последовательности, включающей по меньшей мере сгенерированный ответ языковой модели 102 и, при необходимости, запрос пользователя, и вычисления для каждого токена указанной последовательности значений параметров, характеризующих внимание пользователя при чтении, таких как общее время чтения токена. В одном из вариантов реализации модуль 104 содержит нейросетевую модель, предварительно обученную на корпусах текстов с аннотированными данными отслеживания движения глаз, и используется в замороженном виде на этапе обучения языковой модели 102. [51] Модуль формирования распределения важности токенов 105 выполнен с возможностью приема значений параметров внимания, предсказанных модулем 104, и вычисления нормированного распределения важности токенов. В частности, модуль 105 может быть выполнен с возможностью вычисления весов токенов путем применения экспоненциальной нормализации (softmax), при которой каждому значению общего времени чтения токена ставится в соответствие вес, пропорциональный экспоненте от указанного значения, нормированной на сумму экспонент по всем токенам последовательности. [52] Модуль распределения вознаграждения по токенам 106 выполнен с возможностью приема скалярного значения вознаграждения, сформированного модулем модели вознаграждения 103 или полученного на основе оценки пользователя, и распределения указанного значения между токенами сгенерированной последовательности в соответствии с распределением важности токенов, вычисленным модулем 105. В результате модуль 106 формирует токен-уровневые значения вознаграждения, сумма которых эквивалентна исходному скалярному вознаграждению, при этом токены с большей предсказанной важностью получают более высокие значения вознаграждения. [53] Модуль обучения с подкреплением 107 выполнен с возможностью обновления параметров языковой модели 102 на основе токен-уровневого сигнала вознаграждения, сформированного модулем 106. В одном из вариантов реализации модуль 107 использует алгоритм проксимальной оптимизации политики (PPO) или алгоритм градиентной оптимизации относительной политики (GRPO) для обновления параметров языковой модели 102, при этом токен-уровневые значения вознаграждения применяются для вычисления значений преимуществ (advantage) и целевой функции обучения. Память 108 выполнена с возможностью хранения обучающих данных, параметров языковой модели 102, модели вознаграждения 103 и модели предсказания параметров взгляда 104. [54] Способ обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя реализуется, например, в соответствии с блок-схемой на фиг. 2. [55] На этапе 201 («Начало») инициализируются модули системы и исходные параметры языковой модели 102. На этапе 202 осуществляют получение текстового запроса пользователя с использованием модуля ввода запроса пользователя 101. На этапе 203 модуль языковой модели 102 генерирует по меньшей мере один текстовый ответ на основании полученного запроса. [56] На этапе 204 модуль модели вознаграждения 103 формирует для сгенерированного ответа скалярное значение вознаграждения, характеризующее соответствие ответа предпочтениям пользователя. На этапе 205 модуль предсказания параметров взгляда пользователя 104 принимает сгенерированный ответ и вычисляет для токенов ответа значения параметров внимания, по меньшей мере общее время чтения токенов. [57] На этапе 206 модуль формирования распределения важности токенов 105 на основе значений параметров внимания формирует нормированное распределение важности токенов, причем в одном из вариантов реализации применяется экспоненциальная нормализация (softmax), обеспечивающая положительность и суммирование весов токенов к единице. На этапе 207 модуль распределения вознаграждения по токенам 106 распределяет скалярное значение вознаграждения, полученное на этапе 204, между токенами сгенерированного ответа пропорционально соответствующим весам важности токенов, сформированным на этапе 206, с образованием токен-уровневого плотного сигнала вознаграждения. [58] На этапе 208 модуль обучения с подкреплением 107 выполняет обновление параметров языковой модели 102 в соответствии с выбранным алгоритмом обучения с подкреплением на основе токен-уровневого сигнала вознаграждения, сформированного на этапе 207, при этом токены с большей предсказанной важностью оказывают больший вклад в обновление параметров модели. Описанная последовательность этапов 202-208 может многократно повторяться для множества запросов и ответов до выполнения критерия завершения обучения, после чего на этапе 209 («Конец») обучение языковой модели 102 завершается. [59] В частных вариантах реализации модуль предсказания параметров взгляда пользователя 104 может дополнительно вычислять иные метрики внимания, такие как длительность первой фиксации или количество фиксаций, а модуль формирования распределения важности токенов 105 может использовать взвешенное сочетание указанных метрик для формирования распределения важности. В других вариантах реализации модуль обучения с подкреплением 107 может использовать различные алгоритмы RL, а модуль языковой модели 102 - различные архитектуры языковых моделей, при этом общая последовательность этапов формирования токен-уровневого плотного вознаграждения на основе предсказанного взгляда пользователя сохраняется, что не выходит за рамки сущности изобретения. [60] Примеры осуществления [61] В одном из примеров осуществления изобретения модуль языковой модели 102 реализован на основе предварительно обученной трансформерной модели с числом параметров порядка 7 млрд, дообученной по схеме обучения с учителем на корпусе инструкций и ответов. Модуль модели вознаграждения 103 реализован в виде нейросетевой модели, обученной на датасете парных предпочтений ответов человека, при этом на вход модели вознаграждения подаются текстовый запрос и сгенерированный ответ, а на выходе формируется скалярное значение вознаграждения. [62] Модуль предсказания параметров взгляда пользователя 104 реализован на основе нейросетевой модели, предварительно обученной на корпусах текстов с аннотированными данными отслеживания движения глаз и прогнозирующей для каждого токена сгенерированного ответа значение общего времени чтения (Total Reading Time). На этапе 205 для каждого токена сгенерированного ответа вычисляется предсказанное значение общего времени чтения, после чего модуль формирования распределения важности токенов 105 преобразует полученный вектор значений в нормированное распределение важности токенов с использованием экспоненциальной нормализации, при которой вес токена определяется как экспонента от предсказанного общего времени чтения, нормированная на сумму экспонент по всем токенам ответа. [63] Модуль распределения вознаграждения по токенам 106 на этапе 207 принимает скалярное значение вознаграждения, вычисленное модулем модели вознаграждения 103, и распределяет его между токенами сгенерированного ответа пропорционально весам важности токенов, сформированным модулем 105, в результате чего формируется токен-уровневый плотный сигнал вознаграждения. Модуль обучения с подкреплением 107 обновляет параметры языковой модели 102 по алгоритму проксимальной оптимизации политики (PPO), используя сформированный токен-уровневый сигнал вознаграждения для вычисления преимуществ и целевой функции обучения. [64] Применение описанного способа в серии экспериментов приводит к сокращению числа шагов обучения, необходимых для достижения заданного уровня качества ответов, по сравнению с вариантом, в котором используется только последовательностное скалярное вознаграждение, при сохранении сопоставимых значений оценок качества на независимой модели вознаграждения. [65] В другом примере осуществления изобретения модуль предсказания параметров взгляда пользователя 104 дополнительно прогнозирует для каждого токена длительность первой фиксации и количество фиксаций, а модуль формирования распределения важности токенов 105 формирует интегральную метрику важности токена как взвешенную комбинацию общего времени чтения, длительности первой фиксации и количества фиксаций. В этом случае нормированное распределение важности токенов вычисляется на основе указанной интегральной метрики, что позволяет учитывать различные аспекты внимания пользователя при чтении текста. [66] Модуль обучения с подкреплением 107 в данном примере реализован с использованием алгоритма GRPO, при этом токен-уровневый сигнал вознаграждения, сформированный модулем 106, используется для построения целевой функции обучения, и обновление параметров языковой модели 102 выполняется с учетом относительных преимуществ токенов, получающих более высокие значения вознаграждения. Экспериментально отмечается ускорение сходимости процесса обучения по сравнению с базовым вариантом без учета предсказанного взгляда пользователя, что подтверждает достижение заявленного технического результата. [67] Заявляемая совокупность существенных признаков обеспечивает формирование токен-уровневого плотного сигнала вознаграждения, согласованного с предсказанным распределением внимания пользователя при чтении текста, и его использование при обновлении параметров языковой модели по алгоритмам обучения с подкреплением. Это, в свою очередь, приводит к ускорению сходимости процесса обучения языковой модели при сохранении или улучшении качества генерируемых текстовых ответов по сравнению с решениями, в которых используется только последовательностное скалярное вознаграждение либо токен-уровневые оценки, не основанные на данных о внимании пользователя.
Формула 1. Способ обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя, включающий этапы, на которых получают текстовый запрос пользователя, с использованием языковой модели генерируют текстовый ответ на указанный текстовый запрос, формируют скалярное значение вознаграждения для сгенерированного текстового ответа с применением модели вознаграждения, отличающийся тем, что дополнительно с использованием предобученной модели предсказания параметров взгляда пользователя вычисляют для каждого токена по меньшей мере сгенерированного текстового ответа значения параметров внимания пользователя при чтении, по меньшей мере общее время чтения соответствующего токена, на основе указанных значений параметров внимания формируют нормированное распределение важности токенов, распределяют указанное скалярное значение вознаграждения между токенами сгенерированного текстового ответа в соответствии с нормированным распределением важности токенов с образованием токен‑уровневых значений вознаграждения, обновляют параметры языковой модели с использованием алгоритма обучения с подкреплением на основе сформированных токен‑уровневых значений вознаграждения. 2. Способ по п. 1, отличающийся тем, что нормированное распределение важности токенов формируют путем применения экспоненциальной нормализации, при которой каждому значению общего времени чтения токена ставят в соответствие вес, пропорциональный экспоненте от указанного значения, нормированной на сумму экспонент по всем токенам сгенерированного текстового ответа. 3. Способ по п. 1 или 2, отличающийся тем, что алгоритм обучения с подкреплением содержит алгоритм проксимальной оптимизации политики (PPO) и/или алгоритм градиентной оптимизации относительной политики (GRPO). 4. Способ по любому из пп. 1-3, отличающийся тем, что предобученную модель предсказания параметров взгляда пользователя обучают на корпусе текстов с аннотированными данными отслеживания движения глаз, включающими измерения общего времени чтения токенов. 5. Способ по любому из пп. 1-4, отличающийся тем, что предобученная модель предсказания параметров взгляда пользователя дополнительно вычисляет для каждого токена длительность первой фиксации и/или количество фиксаций, при этом нормированное распределение важности токенов формируют на основе взвешенной комбинации общего время чтения, длительности первой фиксации и количества фиксаций. 6. Система обучения языковой модели с плотным вознаграждением на основе предсказанного взгляда пользователя, содержащая модуль ввода запроса пользователя, выполненный с возможностью приема текстового запроса пользователя, модуль языковой модели, выполненный с возможностью генерации текстового ответа на основании текстового запроса пользователя, модуль модели вознаграждения, выполненный с возможностью формирования скалярного значения вознаграждения для сгенерированного текстового ответа, отличающаяся тем, что система дополнительно содержит модуль предсказания параметров взгляда пользователя, выполненный с возможностью вычисления для каждого токена по меньшей мере сгенерированного текстового ответа значений параметров внимания пользователя при чтении, по меньшей мере общего времени чтения соответствующего токена, модуль формирования распределения важности токенов, выполненный с возможностью формирования нормированного распределения важности токенов на основе указанных значений параметров внимания, модуль распределения вознаграждения по токенам, выполненный с возможностью распределения указанного скалярного значения вознаграждения между токенами сгенерированного текстового ответа в соответствии с нормированным распределением важности токенов с образованием токен‑уровневых значений вознаграждения, модуль обучения с подкреплением, выполненный с возможностью обновления параметров модуля языковой модели на основе сформированных токен‑уровневых значений вознаграждения. 7. Система по п. 6, отличающаяся тем, что модуль формирования распределения важности токенов выполнен с возможностью применения экспоненциальной нормализации к значениям общего времени чтения токенов. 8. Система по п. 6 или 7, отличающаяся тем, что модуль обучения с подкреплением выполнен с возможностью реализации алгоритма проксимальной оптимизации политики (PPO) и/или алгоритма градиентной оптимизации относительной политики (GRPO). 9. Система по любому из пп. 6-8, отличающаяся тем, что модуль предсказания параметров взгляда пользователя содержит нейросетевую модель, обученную на корпусе текстов с аннотированными данными отслеживания движения глаз. 10. Система по любому из пп. 6-9, отличающаяся тем, что система дополнительно содержит память, выполненную с возможностью хранения данных обучения и параметров модулей языковой модели, модели вознаграждения и модели предсказания параметров взгляда пользователя.
Комментарии
Обсуждайте статью, отвечайте и оценивайте комментарии. Вход — через ваш Яндекс ID.
Загружаем обсуждение…