СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОЙ ОРКЕСТРАЦИИ И РАСПРЕДЕЛЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ ЗАДАЧ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ГЕТЕРОГЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЕ

СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОЙ ОРКЕСТРАЦИИ И РАСПРЕДЕЛЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ ЗАДАЧ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ГЕТЕРОГЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЕ

Выданный патент: RU2870573C1 Дата публикации: 2026-09-22 Заявитель / патентообладатель: ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ИНБУСТ" (RU) Классификация: G06F9/50 G06N20/20 H04L47/78 G06F9/50 G06N20/20 H04L47/78

Реферат [131] Изобретение относится к области вычислительной техники, в частности к системам оркестрации и планирования вычислительных ресурсов в распределённых и гетерогенных вычислительных средах, а также к интеллектуальным системам поддержки принятия решений с использованием методов машинного обучения. Техническим результатом является снижение времени выполнения вычислительных задач; повышение качества результата выполнения задач, в том числе задач машинного обучения; более эффективная утилизация вычислительных ресурсов; снижение числа отказов и неуспешных размещений задач; повышение адаптивности системы к изменениям инфраструктуры и характеристик рабочих нагрузок. Указанный технический результат достигается за счёт использования системы интеллектуальной оркестрации и распределения вычислительных задач, содержащей модули, реализующие анализ требований задач, сбор обратной связи, формирование профилей задач и узлов, а также модуль адаптивного назначения задач, реализующий модель машинного обучения с возможностью дообучения на основе обратной связи. 9 з.п. ф-лы.

Описание [1] ОБЛАСТЬ ТЕХНИКИ [2] Заявленное техническое решение, в общем, относится к области вычислительной техники, а, в частности к системам оркестрации и планирования вычислительных ресурсов в распределённых и гетерогенных вычислительных средах, а также к интеллектуальным системам поддержки принятия решений с использованием методов машинного обучения. [3] Изобретение может быть использовано в центрах обработки данных, облачных и гибридных вычислительных инфраструктурах, вычислительных кластерах, в том числе предназначенных для выполнения задач искусственного интеллекта, машинного обучения, высокопроизводительных вычислений (HPC), анализа данных и иных ресурсоёмких вычислительных задач. [4] УРОВЕНЬ ТЕХНИКИ [5] Из уровня техники известны системы оркестрации вычислительных ресурсов, такие как Kubernetes, Volcano, Run:AI (KAI Scheduler), Apache Mesos и аналогичные, обеспечивающие размещение вычислительных задач на вычислительных узлах кластера на основе доступности ресурсов, квот, приоритетов, правил справедливого распределения (fair-share), топологии сети и иных статических или слабо динамических критериев. [6] Известные промышленные решения, включая Run:AI и Volcano, принимают решения о размещении задач, как правило, на основе текущего состояния вычислительной среды и заранее заданных эвристик, при этом: [7] не используют фактические результаты выполнения задач для адаптации последующих решений; [8] не учитывают качество результата выполнения задачи, в том числе точность или корректность вычислений; [9] не осуществляют анализ влияния версий программного обеспечения и библиотек на эффективность выполнения задач; [10] не обладают механизмами интеллектуального забывания устаревших данных при изменении конфигурации вычислительной инфраструктуры; [11] не реализуют ансамблевые модели машинного обучения с динамическим изменением вклада отдельных моделей. [12] Известны также академические прототипы планировщиков с применением методов обучения с подкреплением, однако такие решения, как правило: [13] используют ограниченный набор системных метрик (утилизация CPU/GPU, энергопотребление); [14] не интегрированы с прикладными метриками качества результата выполнения задач; [15] не обеспечивают гибридное online и offline обучение; [16] не предназначены для промышленной эксплуатации в условиях динамически изменяющейся инфраструктуры. [17] Таким образом, в уровне техники отсутствует система, обеспечивающая интеллектуальную оркестрацию вычислительных задач на основе комплексного анализа фактических результатов выполнения, качества вычислений, исторических данных, с возможностью адаптивного обучения и забывания устаревших конфигураций. [18] Предлагаемое к рассмотрению техническое решение направлено на устранение недостатков современного уровня техники. [19] СУЩНОСТЬ ИЗОБРЕТЕНИЯ [20] Технической задачей, на решение которой направлено заявленное техническое решение, является создание новой системы интеллектуальной оркестрации и распределения вычислительных задач искусственного интеллекта в гетерогенной вычислительной среде. [21] Технической проблемой, на решение которой направлено заявленное решение, является повышение эффективности и качества распределения вычислительных задач в гетерогенной вычислительной среде за счёт адаптации решений планирования на основе фактических результатов выполнения задач и динамически изменяющихся характеристик вычислительной инфраструктуры. [22] Технический результат заключается в: снижении времени выполнения вычислительных задач; повышении качества результата выполнения задач, в том числе задач машинного обучения; более эффективной утилизации вычислительных ресурсов; снижении числа отказов и неуспешных размещений задач; повышении адаптивности системы к изменениям инфраструктуры и характеристик рабочих нагрузок. [23] Указанный технический результат достигается за счёт использования системы интеллектуальной оркестрации и распределения вычислительных задач, содержащей модули, реализующие анализ требований задач, сбор обратной связи, формирование профилей задач и узлов, а также модуль адаптивного назначения задач, реализующий модель машинного обучения с возможностью дообучения на основе обратной связи. [24] Заявленный технический результат достигается за счет системы интеллектуальной оркестрации и распределения вычислительных задач искусственного интеллекта в гетерогенной вычислительной среде, содержащая: [25] модуль приема вычислительных задач, модуль мониторинга состояния вычислительных узлов и модуль назначения задач на вычислительные узлы, отличающаяся тем, что дополнительно содержит: [26] модуль анализа требований вычислительных задач, выполненный с возможностью автоматического формирования вычислительного профиля задачи на основе исторических данных выполнения аналогичных задач; [27] модуль оценки возможностей вычислительных узлов, выполненный с возможностью формирования и обновления исторических профилей производительности узлов; [28] модуль сбора обратной связи, выполненный с возможностью получения метрик выполнения задач от вычислительных узлов и оценочных данных о качестве выполнения задачи; [29] базу знаний соответствия типов задач и вычислительных узлов; [30] модуль адаптивного назначения задач, реализующий модель машинного обучения, выполненную с возможностью выбора оптимального вычислительного узла для каждой задачи на основе совокупности текущих, исторических и оценочных данных, [31] при этом модуль адаптивного назначения выполнен с возможностью повторяющегося дообучения на основе обратной связи от выполненных задач. [32] В частном варианте реализации системы модуль адаптивного назначения задач использует ансамблевую модель машинного обучения, включающую по меньшей мере алгоритм бустинга и одну или несколько нейросетевых моделей, при этом вклад каждой модели в итоговое решение динамически изменяется на основе качества предыдущих предсказаний. [33] В другом частном варианте реализации системы модуль адаптивного назначения реализует алгоритм обучения с подкреплением, в котором функция награды формируется на основе фактического времени выполнения задачи, степени утилизации вычислительных ресурсов, точности или качества результата выполнения и показателей отказов. [34] В другом частном варианте реализации системы модуль сбора обратной связи регистрирует по меньшей мере один параметр, выбранный из группы: фактическое время выполнения задачи; использование GPU, CPU, памяти и ввода-вывода; точность или корректность результата вычислений; версии программного обеспечения и библиотек; локальность данных относительно вычислительного узла; оценка надежности узла со стороны задачи. [35] В другом частном варианте реализации системы модуль анализа требований задач выполнен с возможностью динамического определения и обновления вектора признаков задачи и коэффициентов их значимости (importance factors) в процессе эксплуатации системы. [36] В другом частном варианте реализации системы модуль адаптивного назначения выполнен с возможностью ранжирования вычислительных узлов в виде упорядоченного вектора предпочтений, при этом окончательное размещение задачи осуществляется внешним или базовым планировщиком. [37] В другом частном варианте реализации системы модуль адаптивного назначения выполнен с возможностью реализации стратегии “top-down” разбиения вычислительных ресурсов узла на части для размещения задач, при этом параметры разбиения определяются на основе профилирования фактического выполнения задач на данном узле. [38] В другом частном варианте реализации системы база знаний и модель машинного обучения выполнены с возможностью частичного или полного исключения устаревших данных о конфигурациях узлов и задач при изменении характеристик вычислительной инфраструктуры. [39] В другом частном варианте реализации системы модуль адаптивного назначения реализован либо в виде отдельного сервиса принятия решений, либо в виде плагина или расширения планировщика системы оркестрации. [40] В другом частном варианте реализации система интегрирована с системой оркестрации вычислительных ресурсов, выбранной из группы: Kubernetes, Nomad, ClearML, dstack, Apache Mesos. [41] ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ [42] В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения. [43] Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов. [44] В заявленном техническом решении предлагается система интеллектуальной оркестрации и распределения вычислительных задач искусственного интеллекта в гетерогенной вычислительной среде, содержащая: [45] модуль приёма вычислительных задач; [46] модуль мониторинга состояния вычислительных узлов; [47] модуль анализа требований вычислительных задач; [48] модуль оценки возможностей вычислительных узлов; [49] модуль сбора обратной связи; [50] базу знаний соответствия типов задач и вычислительных узлов; [51] модуль адаптивного назначения задач. [52] Система предназначена для функционирования в гетерогенной вычислительной среде, содержащей вычислительные узлы с различными аппаратными и программными характеристиками, при этом также может применяться в логически гомогенных средах при наличии разнородных задач и динамически изменяющихся параметров выполнения. [53] Модуль анализа требований вычислительных задач. [54] Модуль анализа требований вычислительных задач выполнен с возможностью формирования вычислительного профиля задачи, представляющего собой вектор признаков задачи. [55] Вектор признаков может включать, но не ограничивается: [56] ресурсными требованиями задачи (CPU, GPU, память, ввод-вывод); [57] характеристиками рабочей нагрузки (тип задачи, ожидаемая длительность, параметры модели); [58] версиями программного обеспечения и библиотек; [59] параметрами локальности данных; [60] историческими метриками выполнения аналогичных задач; [61] контекстными параметрами выполнения. [62] Модуль выполнен с возможностью динамического обновления состава признаков и коэффициентов их значимости (importance factors) в процессе эксплуатации системы, включая автоматическое обнаружение новых признаков из метаданных задач. [63] При отсутствии части признаков используется механизм маскирования, обеспечивающий корректную работу модели машинного обучения в условиях неполных данных. [64] Модуль оценки возможностей вычислительных узлов. [65] Модуль оценки возможностей вычислительных узлов предназначен для формирования и обновления профилей вычислительных узлов на основе: [66] аппаратных характеристик узлов; [67] версий программного обеспечения; [68] исторических данных о выполнении задач; [69] показателей надёжности и отказов. [70] Модуль выполнен с возможностью выявления изменений характеристик узлов и передачи соответствующей информации в модуль адаптивного назначения задач. [71] Модуль сбора обратной связи. [72] Модуль сбора обратной связи выполнен с возможностью получения и агрегации данных о фактическом выполнении задач, включая: [73] фактическое время выполнения; [74] утилизацию вычислительных ресурсов; [75] показатели отказов; [76] точность или корректность результата вычислений; [77] версии программного обеспечения; [78] оценки надёжности узлов. [79] Обратная связь может формироваться автоматически, посредством API взаимодействия с задачами, через системы мониторинга, а также опционально вручную пользователями. [80] Полученные данные используются для обновления базы знаний и дообучения модели машинного обучения. [81] База знаний. [82] База знаний предназначена для хранения информации о соответствии типов задач и вычислительных узлов и может быть реализована в виде отдельного хранилища данных либо в виде параметров обученной модели машинного обучения. [83] База знаний выполнена с возможностью частичного или полного исключения устаревших данных при изменении характеристик вычислительной инфраструктуры. [84] Модуль адаптивного назначения задач. [85] Модуль адаптивного назначения задач реализует модель машинного обучения, предназначенную для выбора оптимального вычислительного узла для размещения задачи. [86] В одном из вариантов осуществления модуль адаптивного назначения формирует параметры разбиения вычислительных ресурсов отдельного узла на логические части для одновременного размещения нескольких задач, при этом параметры разбиения определяются на основе профилирования фактического выполнения задач на данном узле. [87] Модель может быть реализована в виде ансамбля разнородных моделей машинного обучения, включая, но не ограничиваясь: [88] моделями бустинга; [89] нейросетевыми моделями; [90] рекомендательными моделями. [91] Вклад отдельных моделей в итоговое решение может динамически изменяться на основе качества предыдущих предсказаний. [92] Модуль выполнен с возможностью: [93] ранжирования вычислительных узлов; [94] формирования рекомендаций для внешнего планировщика; [95] дообучения модели на основе обратной связи; [96] реализации гибридного online и offline обучения. [97] Модуль может функционировать как отдельный сервис принятия решений либо как компонент планировщика вычислительных ресурсов, а также может быть полностью отключён с переходом на базовый планировщик. [98] Ниже приведены варианты осуществления. [99] Система может быть интегрирована с системами оркестрации вычислительных ресурсов, системами мониторинга, MLOps-платформами и внешними информационными системами через стандартные интерфейсы взаимодействия. [100] Возможны различные варианты реализации механизмов обучения, сбора обратной связи, формирования признаков и архитектуры системы без выхода за пределы сущности изобретения. [101] Ниже приведены примеры осуществления изобретения [102] Пример 1. Оркестрация задач обучения нейросетевых моделей в гетерогенном вычислительном кластере [103] Система интеллектуальной оркестрации развёрнута в вычислительном кластере, включающем множество вычислительных узлов, отличающихся по аппаратной конфигурации, включая узлы с различными типами графических ускорителей, объёмом оперативной памяти, пропускной способностью подсистемы ввода-вывода и сетевой связностью. [104] В систему поступает вычислительная задача обучения модели искусственного интеллекта, содержащая описание типа модели, параметров обучения, требований к памяти и вычислительным ресурсам. Модуль приёма задач передаёт указанную задачу в модуль анализа требований, который формирует вычислительный профиль задачи с использованием исторических данных выполнения аналогичных задач, сохранённых в базе знаний. [105] Модуль мониторинга состояния вычислительных узлов получает текущие параметры загрузки узлов, включая использование центральных и графических процессоров, объём доступной памяти и состояние подсистем хранения данных. На основе указанных данных модуль оценки возможностей узлов формирует обновлённые профили производительности вычислительных узлов. [106] Модуль адаптивного назначения задач, реализующий модель машинного обучения, использует сформированный вычислительный профиль задачи, профили вычислительных узлов и данные из базы знаний для определения предпочтительного вычислительного узла. В частности, модель машинного обучения может учитывать особенности архитектуры нейросетевой модели, включая характер операций и степень использования графических ускорителей. [107] После выбора вычислительного узла задача передаётся внешнему планировщику системы оркестрации, который осуществляет фактическое размещение задачи на выбранном узле. По завершении выполнения задачи модуль сбора обратной связи фиксирует фактическое время выполнения, степень утилизации ресурсов, а также показатели успешности выполнения задачи. [108] Полученные данные передаются в модуль адаптивного назначения задач и используются для повторяющегося дообучения модели машинного обучения, что позволяет системе учитывать накопленный опыт при последующих назначениях задач. [109] Пример 2. Адаптивное обучение модели назначения с использованием контура обратной связи [110] В данном примере система функционирует в режиме непрерывной эксплуатации с накоплением статистики выполнения вычислительных задач различных типов, включая задачи обучения, инференса и пакетной обработки данных. [111] Модуль сбора обратной связи регистрирует для каждой выполненной задачи совокупность параметров, включающую фактическое время выполнения, использование вычислительных ресурсов, наличие ошибок выполнения, а также оценочные данные о качестве результата выполнения задачи. Указанные параметры используются для формирования сигнала обратной связи. [112] Модуль адаптивного назначения задач реализует алгоритм обучения с подкреплением, в котором функция награды формируется на основе зарегистрированных параметров выполнения задачи. В частности, положительное подкрепление формируется при снижении времени выполнения и эффективной утилизации ресурсов, а отрицательное - при превышении допустимых временных порогов или возникновении отказов. [113] Дообучение модели осуществляется периодически или при выполнении заданных условий, например при накоплении заданного количества завершённых задач или при обнаружении ухудшения качества предсказаний. За счёт этого система динамически адаптируется к изменяющимся характеристикам вычислительных узлов и типов задач без необходимости ручной перенастройки. [114] Пример 3. Интеграция системы с платформой оркестрации вычислительных ресурсов [115] Система интеллектуальной оркестрации интегрирована с системой оркестрации вычислительных ресурсов контейнерного типа. Модуль адаптивного назначения задач реализован в виде отдельного сервиса принятия решений, взаимодействующего с планировщиком системы оркестрации через программный интерфейс. [116] При поступлении вычислительной задачи планировщик инициирует запрос в модуль адаптивного назначения задач, передавая описание задачи и сведения о доступных вычислительных узлах. Модуль адаптивного назначения формирует структуру данных, определяющую предпочтения назначения задачи на вычислительные узлы, и возвращает её планировщику. [117] Планировщик использует полученную структуру предпочтений при выборе вычислительного узла для размещения задачи. Такой подход позволяет внедрять систему интеллектуальной оркестрации без модификации базовой архитектуры системы оркестрации и обеспечивает совместимость с различными платформами управления вычислительными ресурсами. [118] Пример 4. Адаптация системы при изменении конфигурации вычислительной инфраструктуры [119] В процессе эксплуатации системы в вычислительном кластере может происходить изменение конфигурации вычислительных узлов, включая добавление новых узлов, обновление программного обеспечения или изменение характеристик аппаратных ресурсов. [120] Модуль мониторинга фиксирует указанные изменения и передаёт соответствующую информацию в модуль оценки возможностей узлов и базу знаний. Модуль адаптивного назначения задач инициирует корректировку модели машинного обучения путём частичного или полного исключения устаревших данных, не соответствующих текущему состоянию вычислительной инфраструктуры. [121] За счёт этого система сохраняет корректность и устойчивость принятия решений при динамическом изменении состава вычислительных ресурсов и предотвращает деградацию качества назначения задач. [122] Во всех описанных вариантах осуществления система функционирует таким образом, что данные, полученные модулем сбора обратной связи, используются модулем адаптивного назначения задач для повторяющегося дообучения модели машинного обучения. [123] Алгоритм обучения с подкреплением функционирует как часть управляющего контура распределения вычислительных задач и приводит к изменению загрузки физических вычислительных ресурсов, что выражается в снижении времени выполнения задач и перераспределении нагрузки между вычислительными узлами. [124] Заявляемое решение обеспечивает: [125] адаптацию решений планирования на основе фактических результатов выполнения задач; [126] учёт качества вычислений как критерия оптимизации; [127] устойчивость к изменениям инфраструктуры; [128] снижение эксплуатационных потерь и отказов; [129] расширяемость и архитектурную гибкость. [130] В настоящих материалах заявки было представлено предпочтительное осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Формула 1. Система интеллектуальной оркестрации и распределения вычислительных задач искусственного интеллекта в гетерогенной вычислительной среде, содержащая: модуль приема вычислительных задач, модуль мониторинга состояния вычислительных узлов и модуль назначения задач на вычислительные узлы, отличающаяся тем, что дополнительно содержит: модуль анализа требований вычислительных задач, выполненный с возможностью автоматического формирования вычислительного профиля задачи на основе исторических данных выполнения аналогичных задач; модуль оценки возможностей вычислительных узлов, выполненный с возможностью формирования и обновления исторических профилей производительности узлов; модуль сбора обратной связи, выполненный с возможностью получения метрик выполнения задач от вычислительных узлов и оценочных данных о качестве выполнения задачи; базу знаний соответствия типов задач и вычислительных узлов; модуль адаптивного назначения задач, реализующий модель машинного обучения, выполненную с возможностью выбора оптимального вычислительного узла для каждой задачи на основе совокупности текущих, исторических и оценочных данных, при этом модуль адаптивного назначения выполнен с возможностью повторяющегося дообучения на основе обратной связи от выполненных задач. 2. Система по п. 1, отличающаяся тем, что модуль адаптивного назначения задач использует ансамблевую модель машинного обучения, включающую по меньшей мере алгоритм бустинга и одну или несколько нейросетевых моделей, при этом вклад каждой модели в итоговое решение динамически изменяется на основе качества предыдущих предсказаний. 3. Система по п. 1, отличающаяся тем, что модуль адаптивного назначения реализует алгоритм обучения с подкреплением, в котором функция награды формируется на основе фактического времени выполнения задачи, степени утилизации вычислительных ресурсов, точности или качества результата выполнения и показателей отказов. 4. Система по п. 1, отличающаяся тем, что модуль сбора обратной связи регистрирует по меньшей мере один параметр, выбранный из группы: фактическое время выполнения задачи; использование GPU, CPU, памяти и ввода-вывода; точность или корректность результата вычислений; версии программного обеспечения и библиотек; локальность данных относительно вычислительного узла; оценка надежности узла со стороны задачи. 5. Система по п. 1, отличающаяся тем, что модуль анализа требований задач выполнен с возможностью динамического определения и обновления вектора признаков задачи и коэффициентов их значимости (importance factors) в процессе эксплуатации системы. 6. Система по п. 1, отличающаяся тем, что модуль адаптивного назначения выполнен с возможностью ранжирования вычислительных узлов в виде упорядоченного вектора предпочтений, при этом окончательное размещение задачи осуществляется внешним или базовым планировщиком. 7. Система по п. 1, отличающаяся тем, что модуль адаптивного назначения выполнен с возможностью реализации стратегии "top-down" разбиения вычислительных ресурсов узла на части для размещения задач, при этом параметры разбиения определяются на основе профилирования фактического выполнения задач на данном узле. 8. Система по п. 1, отличающаяся тем, что база знаний и модель машинного обучения выполнены с возможностью частичного или полного исключения устаревших данных о конфигурациях узлов и задач при изменении характеристик вычислительной инфраструктуры. 9. Система по п. 1, отличающаяся тем, что модуль адаптивного назначения реализован либо в виде отдельного сервиса принятия решений, либо в виде плагина или расширения планировщика системы оркестрации. 10. Система по п. 1, отличающаяся тем, что она интегрирована с системой оркестрации вычислительных ресурсов, выбранной из группы: Kubernetes, Nomad, ClearML, dstack, Apache Mesos.