СПОСОБ И СИСТЕМА АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ МОДЕЛЯМИ МАШИННОГО ОБУЧЕНИЯ

СПОСОБ И СИСТЕМА АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ МОДЕЛЯМИ МАШИННОГО ОБУЧЕНИЯ

Выданный патент: RU2869713C1 Дата публикации: 2026-09-09 Заявитель / патентообладатель: Публичное акционерное общество "Сбербанк России" (ПАО Сбербанк) (RU) Классификация: G06N5/046 G06N20/00 G06F16/20 G06N5/046 G06N20/00 G06F16/20

Реферат [117] Группа изобретений относится к области вычислительной техники. Техническим результатом является обеспечение возможности автоматического выбора более точной модели прогнозирования с учетом различных наборов параметров, требуемых для прогнозирования. Способ выполняется вычислительным устройством и содержит этапы, на которых: получают от устройства пользователя запрос на предоставление модели прогнозирования для выполнения задачи прогнозирования; определяют список моделей, которые могут использоваться для выполнения задачи прогнозирования, причем список моделей содержит, по меньшей мере: идентификатор (id) первой модели и первый список требуемых параметров для прогнозирования; id второй модели и второй список требуемых параметров для прогнозирования; определяют наличие размеченных данных для первого и второго списка параметров; определяют методику обучения или дообучения моделей из списка моделей; осуществляют обучение или дообучение первой модели на первом списке параметров и соответствующих размеченных данных, а второй модели - на втором списке параметров и соответствующих размеченных данных; определяют показатели качества моделей из списка моделей с учетом соответствующих их списков параметров, требуемых моделям для прогнозирования; определяют модель с наивысшим показателем качества для вывода обученной модели в промышленную эксплуатацию в среде выполнения. 2 н. и 10 з.п. ф-лы, 3 ил.

Описание [1] ОБЛАСТЬ ТЕХНИКИ [2] [0001] Представленное техническое решение относится, в общем, к области вычислительной техники, а в частности к способу и системе автоматического управления моделями машинного обучения с целью упростить процесс создания пользовательских моделей машинного обучения, а также повысить скорость упомянутого процесса. [3] УРОВЕНЬ ТЕХНИКИ [4] [0002] Из уровня техники известны способ обработки информации для наполнения библиотеки моделей данных и устройство для его осуществления, раскрытые в патенте РФ 2724799 С1, опубл. 25.06.2020. В известных решениях для наполнения библиотеки моделей данных, выполняемый, по меньшей мере, одним вычислительным устройством, содержащий этапы, на которых: получают информацию для формирования, по меньшей мере, одной модели данных; определяют на основе полученной информации тип, метод моделирования и структуру модели данных; определяют выборку данных для формирования модели данных; на основе выборки данных определяют метрики для формирования модели данных; формируют модель данных с учетом информации о типе, методе моделирования, структуре модели данных и определенных на предыдущем этапе метрик; валидируют, по меньшей мере, одну сформированную модель данных; сохраняют модель данных в библиотеку моделей данных. [5] [0003] Недостатком известного решения является отсутствие возможности поиска, выбора, создания и переиспользования готовых моделей прогнозирования в новых процессах. [6] РАСКРЫТИЕ ИЗОБРЕТЕНИЯ [7] [0004] Технической проблемой или задачей, поставленной в данном техническом решении, является создание простого и надежного способа и системы автоматического управления моделями машинного обучения. [8] [0005] Техническим результатом, на достижение которого направлено представленное решение, является обеспечение возможности автоматического выбора более точной модели прогнозирования с учетом различных наборов параметров, требуемых для прогнозирования моделям. [9] [0006] Указанный технический результат достигается благодаря осуществлению способа автоматического управления моделями машинного обучения, выполняемого, по меньшей мере, одним вычислительным устройством, содержащего этапы, на которых: [10] - получают от устройства пользователя запрос на предоставление модели прогнозирования для выполнения задачи прогнозирования; [11] - определяют список моделей, которые могут использоваться для выполнения задачи прогнозирования, причем список моделей содержит, по меньшей мере: идентификатор (id) первой модели и первый список требуемых параметров для прогнозирования; id второй модели и второй список требуемых параметров для прогнозирования, при этом второй список параметров содержит, по меньшей мере, один параметр, отличный от параметров из упомянутого первого списка параметров; [12] - определяют наличие размеченных данных для первого списка параметров и второго списка параметров; [13] - определяют методику обучения или дообучения моделей из списка моделей; [14] - осуществляют обучение или дообучение первой модели на первом списке параметров и соответствующих размеченных данных, а второй модели - на втором списке параметров и соответствующих размеченных данных; [15] - определяют показатели качества моделей из списка моделей с учетом соответствующих их списков параметров, требуемых моделям для прогнозирования; [16] - определяют модель с наивысшим показателем качества для вывода обученной модели в промышленную эксплуатацию в среде выполнения. [17] [0007] В одном из частных примеров осуществления способа дополнительно выполняют этапы, на которых определяют, что для, по меньшей мере, одной модели из списка моделей отсутствуют размеченные данные, при этом обучение или дообучение такой модели не осуществляется. [18] [0008] В другом частном примере осуществления способа дополнительно выполняют этапы, на которых: [19] - анализируют показатели качества моделей, сохраненных в БД; [20] - определяют наличие третьей модели, показатели качества которой выше показателей первой и второй модели, для работы которой требуется третий список параметров; [21] - определяют отсутствие, по меньшей мере, одного параметра из третьего списка параметров в доступных БД; [22] - запрашивают у устройства пользователя, по меньшей мере, один параметр, отсутствующий в доступных БД, причем id модели включается в список моделей, только в том случае, если была представлена информация об упомянутом параметре, отсутствующем в доступных БД. [23] [0009] В другом частном примере осуществления способа определение показателей качества моделей осуществляется с учетом валидационной методики, определенной для каждой модели. [24] [0010] В другом частном примере осуществления способа список моделей, которые могут использоваться для выполнения задачи прогнозирования, определяется на основе id задачи. [25] [0011] В другом частном примере осуществления способа дополнительно выполняют этапы, на которых: [26] - извлекают для каждой модели информацию о требуемых параметрах для прогнозирования; [27] - проверяют наличие требуемых параметров в доступных БД, причем id модели в список моделей включается в том случае, если все требуемые параметры содержатся в доступных БД. [28] [0012] В другом частном примере осуществления способа этап определения показателей качества моделей содержит этапы, на которых: [29] - подают на вход каждой модели из списка моделей параметры, требуемые для прогнозирования этих моделей, для получения спрогнозированных результатов работы моделей; [30] - сравнивают полученные спрогнозированные результаты с фактическими результатами для определения величины отклонения моделей, причем наивысший показатель качества назначается модели, имеющей наиболее низкую упомянутую величину отклонения. [31] [0013] В другом частном примере осуществления способа этап определения показателей качества моделей содержит этапы, на которых: [32] - для каждой модели из списка моделей извлекают из набора параметров в отношении каждого объекта те параметры, для которых есть фактические результаты; [33] - подают извлеченные параметры на вход модели для получения спрогнозированных результатов работы модели в отношении каждого объекта; [34] - сравнивают спрогнозированные результаты с фактическими результатами, причем если спрогнозированный результат соответствует фактическому результату, то назначают спрогнозированному результату работы модели метку, указывающую на то, что упомянутый спрогнозированный результат соответствует фактическому результату, а если спрогнозированный результат не соответствует фактическому результату, то назначают спрогнозированному результат работы модели метку, указывающую на то, что упомянутый спрогнозированный результат не соответствует фактическому результату; [35] - определяют значение, характеризующее соотношение меток, указывающих на то, что спрогнозированный результат работы модели соответствует фактическому результату, к меткам, указывающим на то, что прогнозированный результат работы модели не соответствует фактическому результату; [36] - сравнивают полученное на предыдущем этапе значение с интервалом пороговых значений для определения наличия модельного риска, причем если полученное значение выходит за пределы интервала пороговых значений, то принимают решение о наличии модельного риска и назначают минимальный показатель качества модели, а если значение не выходит за пределы интервала пороговых значений, то принимают решение об отсутствии модельного риска и назначают максимальный показатель качества модели. [37] [0014] В другом частном примере осуществления способа дополнительно содержит этапы, на которых: [38] - определяют, что показатели качества моделей равны; [39] - определяют рейтинг моделей, причем для вывода обученной модели в промышленную эксплуатацию в среде выполнения выбирается модель, имеющая наивысший рейтинг. [40] [0015] В другом частном примере осуществления способа этап определения показателей качества моделей содержит этапы, на которых: [41] - определяют, что показатели качества моделей равны; [42] - для каждой модели проводят анализ параметров из списка параметров, требуемых для работы модели, для определения количества пропусков данных; [43] определяет отношение количества пропусков к общему количеству данных, которое назначается в качестве показателя качества параметров, причем для вывода обученной модели в промышленную эксплуатацию в среде выполнения выбирается модель, с наилучшими показателями качества параметров. [44] [0016] В другом частном примере осуществления способа этап определения показателей качества моделей содержит этапы, на которых: [45] - определяют, что показатели качества моделей равны; [46] - определяют показатель качества параметров для каждой модели на основе формата данных, причем для вывода обученной модели в промышленную эксплуатацию в среде выполнения выбирается модель с наилучшими показателями качества параметров. [47] [0017] В другом частном примере осуществления способа этап определения показателей качества моделей содержит этапы, на которых: [48] - определяют, что показатели качества моделей равны; [49] - определяют для каждой модели объем данных, содержащих параметры, которые требуются для работы модели; [50] - на основе объема данных назначают рейтинг модели, причем наивысший рейтинг назначается той модели, которая требует меньший объем данных, а в промышленную эксплуатацию в среде выполнения выводится модель с наивысшим рейтингом. [51] [0018] В другом предпочтительном варианте осуществления заявленного решения представлена система автоматического управления моделями машинного обучения, содержащая, по меньшей мере, одно вычислительное устройство и, по меньшей мере, одно устройство памяти, содержащее машиночитаемые инструкции, которые при их исполнении, по меньшей мере, одним вычислительным устройством выполняют вышеуказанный способ. [52] КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ [53] [0019] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых: [54] [0020] На Фиг. 1 представлен пример реализации системы автоматического управления моделями машинного обучения. [55] [0021] На Фиг. 2 представлен пример способа автоматического управления моделями машинного обучения. [56] [0022] на Фиг. 3 представлен пример общего вида вычислительного устройства. [57] ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ [58] [0023] Ниже будут описаны понятия и термины, необходимые для понимания данного технического решения. [59] [0024] В данном техническом решении под системой подразумевается, в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций). [60] [0025] Под устройством обработки команд подразумевается электронный блок, вычислительное устройство, либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы). [61] [0026] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройств хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флэш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы. [62] [0027] Вычислительное устройство - счетно-решающее устройство, автоматически выполняющее одну какую-либо математическую операцию или последовательность их с целью решения одной задачи или класса однотипных задач (Большая советская энциклопедия. - М.: Советская энциклопедия. 1969-1978.). [63] [0028] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд. [64] [0029] База данных (БД) - совокупность данных, организованных в соответствии с концептуальной структурой, описывающей характеристики этих данных и взаимоотношения между ними, причем такое собрание данных, которое поддерживает одну или более областей применения (ISO/IEC 2382:2015, 2121423 «database»). [65] [0030] Сигнал - материальное воплощение сообщения для использования при передаче, переработке и хранении информации. [66] [0031] Логический элемент - элемент, осуществляющий определенные логические зависимость между входными и выходными сигналами. Логические элементы обычно используются для построения логических схем вычислительных машин, дискретных схем автоматического контроля и управления. Для всех видов логических элементов, независимо от их физической природы, характерны дискретные значения входных и выходных сигналов. [67] [0032] Автоматизированная система (АС) - организационно-техническая система, обеспечивающая выработку решений на основе автоматизации информационных процессов. [68] [0033] Модельный риск - риск возникновения неблагоприятных последствий, вытекающих из некорректного применения моделей в процессах организации, например, Банка и/или неточности (ошибок) работы моделей, связанных как с ошибками моделирования, так и с изменениями в окружающем мире. [69] [0034] AutoML (Автоматическое машинное обучение) - процесс автоматизации сквозного процесса обучения, выбора и применения моделей машинного обучения к задачам реального мира. [70] [0035] Среда выполнения (исполнения) - вычислительное окружение, необходимое для выполнения компьютерной программы (в частности моделей машинного обучения) и доступное во время выполнения компьютерной программы. [71] [0036] В соответствии со схемой, приведенной на Фиг. 1, система автоматического управления моделями машинного обучения содержит: устройство 10 пользователя; устройство 20 управления моделями; БД 30; устройство 40 обучения моделей; устройство 50 валидации моделей; среда выполнения 60. Упомянутые устройства могут быть как отдельными устройствами, соединенными широко известными проводными или беспроводными каналами передачи данных, так, и объединены в различных вариантах в единое устройство, например, посредством размещения их в едином корпусе, например, на единой печатной плате посредством широко известных сборочных операций, причем данные между упомянутыми устройствами передаются посредством формирования соответствующих сигналов. [72] [0037] Устройство 10 пользователя может быть реализовано на базе, по меньшей мере, одного вычислительного устройства, оснащенного средствами передачи данных, и представлять, например, портативный или стационарный компьютер, мобильный телефон или смартфон, планшет и пр. Посредством устройства 10 пользователь может направить запрос для получения модели прогнозирования, требуемой для выполнения задач пользователя, например, прогнозирования: диагноза или состояния пациента, дорожной ситуации, состояния устройства и пр. [0038] Устройство 20 управления моделями может быть реализовано на базе, по меньшей мере, одного вычислительного устройства, выполненного с возможностью получения от устройств пользователей различных запросов и их обработки посредством оснащения упомянутого устройства программно-аппаратной частью, реализованной, например, на базе широко известных логических элементов. [73] [0039] БД 30 может быть реализована широко известными методами, например, раскрытыми в патенте RU 2724799 C1, опубл. 25.06.2020, и представлять собой, по меньшей мере, одну БД, предназначенную для хранения артефактов моделирования, включающих, например, коэффициенты модели и алгоритм обработки входящих данных, написанный на любом из известных языков программирования; образцы данных, которые были использованы для обучения модели; отчеты о разработке и валидации модели, которые могут быть представлен в заранее выбранном произвольном формате. [74] [0040] Устройство 40 обучения моделей может быть реализовано на базе, по меньшей мере, одного вычислительного устройства, выполненного в программно-аппаратной части с возможностью обучать или дообучать модели прогнозирования. Для обучения и дообучения моделей устройство 40 может быть оснащено нейронными сетями различных типов, которые известными методами используются для обработки данных. Для обучения новой модели выбирается базовый алгоритм обучения (методика обучения), соответствующий модели, заранее сохраненный в БД, после чего выполняют обучение модели на размеченных данных пользователя и ее валидацию описанным ниже способом. Для дообученой модели выполняются те же этапы, что и при обучении новой модели, только базовый алгоритм уже известен заранее (тот на котором модель была обучена изначально). [75] [0041] Устройство 50 валидации моделей может быть реализовано на базе, по меньшей мере, одного вычислительного устройства, выполненного в программно-аппаратной части с возможностью определять валидационную методику модели прогнозирования на основе комплекса параметров, например, типа модели, степени важности, роли модели в процессе, и т.д. и проводить валидацию модели описанным ниже способом. [76] [0042] Среда выполнения 60 размещается в производственной среде и может быть реализована на базе нейронных сетей и, по меньшей мере, одного вычислительного устройства, выполненного с возможностью подключения к неограниченному количеству внешних источников данных для сбора данных с целью обработки их посредством, по меньшей мере, одной модели для получения результатов прогнозирования. Например, среда выполнения 4 может представлять собой автоматизированную систему, размещенную в любой организации, а в частном примере в медицинском учреждении, и может быть сконфигурирована для анализа посредством модели данных о состоянии здоровья клиента с целью прогнозирования диагноза. В альтернативных вариантах, например, среда выполнения 60 может быть предназначена для прогноза наступления страхового случая автомобилиста на основании статистики нарушений ПДД, медицинского прогноза развития заболеваний на основе данных анализов и сведений об образе жизни пациента, кредитного риска на основе анализа транзакций клиента. [77] [0043] На первом этапе (100, см. Фиг. 2) от устройства 10 пользователя в устройство 20 управления моделями поступает запрос на предоставление модели прогнозирования. Упомянутый запрос, в частности содержит идентификатор ID задачи прогнозирования, который извлекается устройством 20 из запроса, после чего устройство 20 формирует (101) список моделей, предназначенных для выполнения задачи пользователя. Для определения моделей прогнозирования, которые будут включены в упомянутый список моделей, устройство 20 может быть оснащено памятью, в которой сохранены данные о всех идентификаторах задач, ID моделей, которые могут использоваться для выполнения задач, а также список параметров для прогнозирования, которые требуются для подачи на вход каждой модели с целью получения прогноза (результатов прогнозирования), адрес хранения модели, например, в БД 30, показатели качества модели, в частности показатели точности результатов прогнозирования и/или скорости обработки данных и/или другие показатели, которые могут быть определены известными методами, раскрытыми, например, в статье «Проверка адекватности и средства верификации прогнозных моделей», Журнал Современные наукоемкие технологии, 2007, №2, с. 74-75. [78] [0044] Дополнительно список моделей, предназначенных для выполнения задачи пользователя, может формироваться устройством 20 с учетом списка параметров, которые требуются для подачи на вход каждой модели. В частности, устройство 20 может извлечь из списка информацию о параметрах для прогнозирования и проверить, хранятся ли упомянутые параметры в доступных БД, например, в БД 30, либо устройство 20 может обратиться к устройству 10 пользователя для проверки наличия параметров в памяти устройства 10. Также запрос на предоставление модели прогнозирования может содержать ссылку на БД, указанную пользователем, в которой хранятся упомянутые параметры. Также устройство 20 может проверить наличие размеченных данных, связанных с параметрами для прогнозирования и необходимых для обучения/дообучения модели. В частности, для моделей прогнозирования диагноза пациентов, размеченные данные могут указывать, по меньшей мере, на наличие или отсутствие болезни у пациента. [79] [0045] Соответственно, если устройство 20 определило, что параметры, которые требуются для подачи на вход каждой модели, присутствуют, по меньшей мере, в одной БД, и содержат размеченные данные, то ID модели включается в упомянутый список моделей. Если устройством 20 определено, что размеченные данные отсутствуют, то в список моделей включаются только ID заранее обученных моделей, причем то, что модель уже обучена устройство 20 может определить по соответствующему параметру, который может быть сохранен в БД 30 для обученной модели пользователем, либо автоматически назначен после обучения модели. [80] [0046] В частном варианте реализации представленного решения сформированный устройством 20 список моделей, предназначенных для выполнения задачи пользователя, может состоять, как минимум, из: id первой модели и первого списка требуемых параметров для прогнозирования; id второй модели и второго списка требуемых параметров для прогнозирования. Например, если запрос на предоставление модели прогнозирования указывает на то, что пользователю необходима модель прогнозирования диагноза пациентов, то первый список требуемых параметров для прогнозирования может содержать общие параметры для все моделей, такие как параметры исследований пациентов (биохимичекий анализ крови, кардиограмма, флюрография и пр.), а также дополнительные параметры пациентов, такие как рост, возраст, вес, давление и пр. [81] [0047] Второй список требуемых параметров для прогнозирования, в свою очередь, помимо упомянутых общих параметров может содержать дополнительные параметры пациента, такие как информацию о занятии спортом, курении, климате, местожительстве, наличии вредных производств и пр. [82] [0048] Дополнительно устройство 20 может быть выполнено с возможностью анализа показателей качества всех моделей, сохраненных, по меньшей мере, в одной БД, с целью поиска, по меньшей мере, одной третьей модели, показатели качества которой выше показателей первой и второй модели, и для работы которой требуется третий список параметров, причем устройством 20 может быть определено, что, по меньшей мере, один параметр из третьего списка отсутствует в доступных БД. Например, третий список параметров может содержать упомянутые ранее общие параметры и дополнительные параметры, характеризующие данные о суточном давлении, показатели давления на длительном промежутке времени и пр. [83] [0049] После того, как третья модель найдена, устройство 20 может направить к устройству 10 пользователя уведомление о наличии обученной модели с более высокими показателями качества, а также список параметров, которые отсутствуют в доступных устройству 20 БД. В ответ на уведомление пользователь может представить недостающие параметры, например, посредством представления ссылки на БД, в которой эти параметры хранятся, после чего устройство 20 добавит третью модель в упомянутый ранее список моделей. Также в список моделей могут быть добавлены модели, обученные на произвольном наборе размеченных данных пользователя, а информация об упомянутых моделях может быть сохранена в БД 30 вместе с артефактами разработки моделей и соответствующими методиками валидации для дальнейшего переиспользования. [84] [0050] В первом варианте реализации представленного решения устройством 20 может быть определено, что упомянутые первый, второй и третий наборы параметров не содержат размеченные данные. Поскольку размеченные данные не содержатся в наборах данных, то устройство 20 направляет список моделей в устройство 50 валидации моделей для определения показателей качества отобранных моделей. [85] [0051] Во втором варианте реализации представленного решения устройством 20 может быть определено, что упомянутые первый, второй или третий наборы параметров содержат размеченные данные. Поскольку методика дообучения моделей, добавленных в БД 30, заранее известна и сохранена в БД 30 для каждого id обученной модели, т.к. данная методика использовалась для первичного обучения модели, то для определения методики дообучения устройство 20 обращается к БД 30 и на основе id модели извлекает методику дообучения модели. Соответственно, если для id модели методика дообучения не сохранена, т.е. модель обучается впервые, то для каждой такой модели устройство 20 переходит к этапу подбора методики обучения и определяет тип модели на основе id модели, а также определяет методику обучения модели для упомянутого типа модели посредством обращения к БД 30 или к любой внешней БД, в которой сохранены все id моделей, данных о типах моделей и информация о методиках их обучения/дообучения. В частном варианте реализации представленного решения для обучения модели могут быть использованы такие методики обучения, как: метод линейной регрессии, метод опорных векторов, деревья решений, алгоритм бустинга и др., причем если модель обучается впервые, то по итогу ее обучения будет создана новая обученная модель. [86] [0052] Далее информация о id моделей, например, первой и второй моделей, и данные о методике обучения/дообучения моделей направляются устройством 20 в устройство 40, которое обращается к БД 30 для извлечения первой и второй модели согласно их id и к доступным БД для извлечения параметров, соответствующих первому списку параметров и параметров, соответствующих второму списку параметров, размеченные данные и советующие им фактические результаты, в частности установленные врачом диагнозы, после чего устройство 40 известными методами в автоматическом режиме в соответствии с методикой обучения осуществляет (102) обучение или дообучение: первой моделей на извлеченных параметрах, соответствующих первому списку параметров, соответствующих размеченных данных и фактических результатах; и второй модели на извлеченных параметрах, соответствующих второму списку параметров, соответствующих размеченных данных и фактических результатов. [87] [0053] Информация о обученных и дообученных моделях сохраняется устройством 40 в БД 30, после чего устройство 40 направляет соответствующую команду устройство 20 для запуска процесса валидации каждой модели, представленной в списке моделей. К этому моменту сформирован полный список моделей, в который входят выбранные обученные модели, для которых отсутствовали размеченные данные, и, если были размеченные данные, то дообученные модели и новые, только что созданные модели. [88] [0054] Для валидации моделей устройство 20 направляет список моделей в устройство 50 валидации моделей, которое после получения упомянутых моделей определяет (103) показатель качества каждой обученной модели, после чего показатели качества каждой модели направляются в устройство 20, которое их сравнивает и выбирает обученную модель с наивысшим показателем качества для вывода (104) обученной модели в промышленную эксплуатацию в среде выполнения 60. [89] [0055] Выбор валидационной методики производиться на основе комплекса параметров, например, типа модели, степени важности, роли модели в процессе, и т.д. Например, устройство 50 обращается в БД 30 для получения дополнительной информации по характеристикам валидационных методик и по использованию модели (ее тип, роль и степень важности). Если роль модели сводиться к самостоятельному принятию решения и результат такого решения влияет на выбор способа лечения, что означает высокую степень значимости, то валидационная методика выбирается по максимальному уровню точности прогнозирования. А если роль модели в процессе использования будет сводиться к роли помощника, вырабатывающего рекомендации способа лечения, что означает не высокую степень значимости, то валидационная методика выбирается на основании других характеристик, таких как, например, минимизация времени работы или объема данных для валидации, фин. результата выдаваемой рекомендации и т.д. [90] [0056] Показатель качества обученной модели может быть определен устройством 50 несколькими способами. [91] [0057] Например, показатель качества обученной модели устройством 50 быть определено на основе величины отклонения спрогнозированных результатов работы модели от фактических результатов. Соответственно, для этого устройство 50 для id первой модели извлекает из доступных БД параметры, соответствующие первому списку параметров, и подает параметры на вход модели для получения спрогнозированных результатов работы модели, после чего спрогнозированные результаты сравниваются с фактическими результатами для определения величины отклонения модели. Аналогичным образом устройство 50 может определить величину отклонения других моделей из списка моделей, в частности второй модели с учетом параметров, соответствующих второму списку параметров, и третьей модели с учетом параметров, соответствующих третьему списку параметров. [92] [0058] Соответственно, наиболее высоких показатель качества устройством 50 назначается модели, имеющей наиболее низкую упомянутую величину отклонения. [93] [0059] Также устройство 50 может быть выполнено с возможностью определения показателя качества модели на основе наличия модельного риска. Для этого устройство 50 извлекает из первого набора параметров те параметры, в отношении каждого объекта, например, каждого пациента, для которого есть фактический результат, после чего параметры подаются на вход модели для получения спрогнозированных результатов работы модели в отношении каждого объекта. [94] Далее устройство 50 назначает каждому спрогнозированному результату работы модели параметр, указывающий на то, что спрогнозированный результат соответствует или не соответствует фактическому результату или находится в интервале допустимых значений отклонений от фактического результата. [95] [0060] В частности, спрогнозированные результаты могут характеризовать диагноз пациента на основе его параметров или указывать на то, что пациент здоров. Соответственно, если спрогнозированный диагноз соответствует фактическому диагнозу, то устройство 50 назначает спрогнозированному результату работы модели метку, указывающую на то, что упомянутый спрогнозированный результат соответствует фактическому результату. Если спрогнозированный диагноз не соответствует фактическому диагнозу, то устройство 50 назначает спрогнозированному результат работы модели метку, указывающую на то, что упомянутый спрогнозированный результат не соответствует фактическому результату. [96] [0061] Далее устройство 50 на основе полученных меток, назначенных всем объектам - пациентам, определяет значение, характеризующее соотношение (например, процентное отношение) меток, указывающих на то, что спрогнозированный результат работы модели соответствует фактическому результату, к меткам, указывающим на то, что прогнозированный результат работы модели не соответствует фактическому результату. Полученное значение сравнивается устройством 50 с интервалом пороговых значений, установленным для данной модели, например, разработчиком или владельцем модели, характеризующим отсутствие модельного риска. [97] [0062] Например, если в больнице имеется 100 пациентов, 10 из них реально требуется аппарат ИВЛ и в больнице установлено 10 аппаратов ИВЛ, то при 100 процентной точности модели модельный риск будет отсутствовать, так как модель не ошибается и мы не получим неблагоприятны последствий, так как все пациенты, которые нуждаются в аппарате ИВЛ, получат его. Если модель работает полностью неправильно (ошибается в 100% случаев), то аппараты ИВЛ будут заняты здоровыми людьми, а все пациенты, которым он реально был нужен его не получат, что может привести к их летальному исходу, в связи с чем - это максимальный модельный риск. [98] [0063] Таким образом, разработчиком или владельцем модели может быть определено пороговое значение, при котором неблагоприятных последствий не наступает, несмотря на ошибки модели, которые не превышают заданное пороговое значение. Например, разработчиком может быть задано, что модельный риск возникает в интервале пороговых значений, равным или превышающем 10 процентов. Соответственно, если определенное значение, характеризующее соотношение меток, превышает 10 процентов, то есть вероятность, что больному пациенту, для которого не было спрогнозировано ухудшение здоровья, не хватит аппарата ИВЛ в связи с тем, что здоровый пациент займет аппарат вследствие некорректно спрогнозированного диагноза при распределении аппаратов ИВЛ среди пациентов, для которых было спрогнозировано ухудшение состояния, т.е. будет определен модельный риск. Если значение, характеризующее соотношение меток, ниже 10 процентов, то даже если здоровый пациент займет аппарат вследствие некорректно спрогнозированного диагноза, то больному пациенту также достанется свободный аппарат ИВЛ в случае ухудшения здоровья и модельный риск не возникнет. [99] [0064] Соответственно, если полученное значение выходит за пределы интервала пороговых значений, то устройство 50 принимает решение о наличии модельного риска, а если упомянутое значение не выходит за пределы интервала пороговых значений, то устройство 50 принимает решение об отсутствии модельного риска. Аналогичным образом устройство 50 может обработать данные по каждому объекту, параметры которого содержаться в первом наборе данных. Соответственно, если устройством 50 определено наличие модельного риска, то устройство 50 назначает минимальный показатель качества модели. Если устройством 50 определено отсутствие модельного риска, то устройство 50 назначает максимальный показатель качества модели. [100] [0065] Аналогичным образом устройство определяет показатель качества для всех моделей из списка моделей, в частности для второй модели и третьей модели, после чего устройством 50 выбирается с наивысшим показателем качества и направляется в устройство 20 для вывода обученной модели в промышленную эксплуатацию в среде выполнения 60. [101] [0066] В альтернативных вариантах реализации представленного решения показатели качества модели могут быть определены на основе следующих параметров: Gini, presicion, recall, доверительный интервал метрики, R-квадрат, RMSE и другие. [102] [0067] Дополнительно устройство 50 может учитывать рейтинг модели при выборе модели. Например, если показатели качества первой и второй модели равны, то устройство 50 может выбрать модель с наивысшим рейтингом. Рейтинг модели может быть заранее занесен в БД 30 для каждой модели и, например, может характеризовать статистику ее переиспользования. Модель, которая внедрена во множество систем и успешно используется, будет иметь более высокий рейтинг по сравнению с моделью, которая внедрена только в одну систему. [103] [0068] Также устройство 50 может быть выполнено с возможностью определения показателя качества параметров, которые требуются для подачи на вход каждой модели с целью получения прогноза (результатов прогнозирования), например, на основе пропусков данных или на основе формата данных. Для первой модели множественные пропуски в данных по весу, росту и возрасту могут ухудшить качество работы модели, так как такие параметры являются значимыми факторами модели. Для третьей модели необходима временная структура изменения параметров, т.к. если такой структуры нет или она не полная, то не получиться применять определенный класс моделей, а также для более точного диагноза сердечно сосудистых заболеваний или заболеваний дыхательной системы. [104] [0069] В частности, устройство 50 известными методами проводит анализ параметров из первого списка параметров для определения количества пропусков данных, после чего определяет отношение количества пропуском в общему количеству данных, которое может быть назначено в качестве показателя качества параметров, которые требуются для первой модели. Аналогичным образом показатели качества параметров могут быть определены для остальных моделей из списка моделей, после чего, например, в случае, когда модели имеют одинаковые показатели качества, устройство 50 может выбрать модель с наилучшими показателями качества параметров, после чего устройство 50 направляет информацию о выбранной модели в устройство 20 для вывода обученной модели в промышленную эксплуатацию в среде выполнения 60. [105] [0070] Что касается формата данных, то устройство 50 назначает максимальный показатель качества параметров тем данным (например, снимкам пациента), сохраненным без сжатия. Если устройством 50 определено, что данные сохранены в формате с использованием алгоритмов сжатия с потерей качества, то показатель качества устройством 50 назначается в зависимости от формата или объема данных, причем показатели качества, которые следует назначить в зависимости от формата или объема данных, могут быть заранее заданы в памяти разработчиком устройства 50. [106] [0071] Также устройство 50 может быть выполнено с возможностью определения рейтинга модели на основе объема данных, содержащих параметры, требуемые моделью для прогнозирования. Например, если показатели качества первой и второй модели равны, то устройство 50 может известными методами определить объем данных, содержащих параметры, которые требуются для первой модели, и объем данных, содержащих параметры, которые требуются для второй модели, после чего назначить наивысший рейтинг той модели, которая требует меньший объем данных. Таким образом, работа выбранной модели будет более стабильна и быстрее. [107] [0072] В общем виде (см. Фиг. 3) вычислительное устройство (200) содержит объединенные общей шиной информационного обмена один или несколько процессоров (201), средства памяти, такие как ОЗУ (202) и ПЗУ (203), интерфейсы ввода/вывода (204), устройства ввода/вывода (205), и устройство для сетевого взаимодействия (206). [108] [0073] Процессор (201) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в устройстве (200) также необходимо учитывать графический процессор, например, GPU NVIDIA с программной моделью, совместимой с CUDA, или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа, а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах. [109] [0074] ОЗУ (202) представляет собой оперативную память и предназначено для хранения исполняемых процессором (201) машиночитаемых инструкций для выполнения необходимых операций по логической обработке данных. ОЗУ (202), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (202) может выступать доступный объем памяти графической карты или графического процессора. [110] [0075] ПЗУ (203) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др. [111] [0076] Для организации работы компонентов устройства (200) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (204). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п. [112] [0077] Для обеспечения взаимодействия пользователя с вычислительным устройством (200) применяются различные средства (205) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п. [113] [0078] Средство сетевого взаимодействия (206) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (206) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др. [114] [0079] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (200), например, GPS, ГЛОНАСС, BeiDou, Galileo. [115] [0080] Конкретный выбор элементов устройства (200) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала. [116] [0081] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.

Формула 1. Способ автоматического управления моделями машинного обучения, выполняемый по меньшей мере одним вычислительным устройством, содержащий этапы, на которых: - получают от устройства пользователя запрос на предоставление модели прогнозирования для выполнения задачи прогнозирования; - определяют список моделей, которые могут использоваться для выполнения задачи прогнозирования, причем список моделей содержит, по меньшей мере: идентификатор (id) первой модели и первый список требуемых параметров для прогнозирования; id второй модели и второй список требуемых параметров для прогнозирования, при этом второй список параметров содержит по меньшей мере один параметр, отличный от параметров из упомянутого первого списка параметров; - определяют наличие размеченных данных для первого списка параметров и второго списка параметров; - определяют методику обучения или дообучения моделей из списка моделей; - осуществляют обучение или дообучение первой модели на первом списке параметров и соответствующих размеченных данных, а второй модели - на втором списке параметров и соответствующих размеченных данных; - определяют показатели качества моделей из списка моделей с учетом соответствующих их списков параметров, требуемых моделям для прогнозирования; - анализируют показатели качества моделей, сохраненных в БД; - определяют наличие третьей модели, показатели качества которой выше показателей первой и второй модели, для работы которой требуется третий список параметров; - определяют отсутствие по меньшей мере одного параметра из третьего списка параметров в доступных БД; - запрашивают у устройства пользователя по меньшей мере один параметр, отсутствующий в доступных БД, причем id модели включается в список моделей, только в том случае, если была представлена информация об упомянутом параметре, отсутствующем в доступных БД; - определяют модель с наивысшим показателем качества для вывода обученной модели в промышленную эксплуатацию в среде выполнения. 2. Способ по п. 1, характеризующийся тем, что дополнительно выполняют этапы, на которых определяют, что для по меньшей мере одной модели из списка моделей отсутствуют размеченные данные, при этом обучение или дообучение такой модели не осуществляется. 3. Способ по п. 1, характеризующийся тем, что определение показателей качества моделей осуществляется с учетом валидационной методики, определенной для каждой модели. 4. Способ по п. 1, характеризующийся тем, что список моделей, которые могут использоваться для выполнения задачи прогнозирования, определяется на основе id задачи. 5. Способ по п. 1, характеризующийся тем, что дополнительно выполняют этапы, на которых: - извлекают для каждой модели информацию о требуемых параметрах для прогнозирования; - проверяют наличие требуемых параметров в доступных БД, причем id модели в список моделей включается в том случае, если все требуемые параметры содержатся в доступных БД. 6. Способ по п. 1, характеризующийся тем, что этап определения показателей качества моделей содержит этапы, на которых: - подают на вход каждой модели из списка моделей параметры, требуемые для прогнозирования этих моделей, для получения спрогнозированных результатов работы моделей; - сравнивают полученные спрогнозированные результаты с фактическими результатами для определения величины отклонения моделей, причем наивысший показатель качества назначается модели, имеющей наиболее низкую упомянутую величину отклонения. 7. Способ по п. 1, характеризующийся тем, что этап определения показателей качества моделей содержит этапы, на которых: - для каждой модели из списка моделей извлекают из набора параметров в отношении каждого объекта те параметры, для которых есть фактические результаты; - подают извлеченные параметры на вход модели для получения спрогнозированных результатов работы модели в отношении каждого объекта; - сравнивают спрогнозированные результаты с фактическими результатами, причем, если спрогнозированный результат соответствует фактическому результату, назначают спрогнозированному результату работы модели метку, указывающую на то, что упомянутый спрогнозированный результат соответствует фактическому результату, а если спрогнозированный результат не соответствует фактическому результату, назначают спрогнозированному результату работы модели метку, указывающую на то, что упомянутый спрогнозированный результат не соответствует фактическому результату; - определяют значение, характеризующее соотношение меток, указывающих на то, что спрогнозированный результат работы модели соответствует фактическому результату, к меткам, указывающим на то, что прогнозированный результат работы модели не соответствует фактическому результату; - сравнивают полученное на предыдущем этапе значение с интервалом пороговых значений для определения наличия модельного риска, причем, если полученное значение выходит за пределы интервала пороговых значений, принимают решение о наличии модельного риска и назначают минимальный показатель качества модели, а если значение не выходит за пределы интервала пороговых значений, принимают решение об отсутствии модельного риска и назначают максимальный показатель качества модели. 8. Способ по п. 1, характеризующийся тем, что дополнительно содержит этапы, на которых: - определяют, что показатели качества моделей равны; - определяют рейтинг моделей, причем для вывода обученной модели в промышленную эксплуатацию в среде выполнения выбирается модель, имеющая наивысший рейтинг. 9. Способ по п. 1, характеризующийся тем, что этап определения показателей качества моделей содержит этапы, на которых: - определяют, что показатели качества моделей равны; - для каждой модели проводят анализ параметров из списка параметров, требуемых для работы модели, для определения количества пропусков данных; - определяет отношение количества пропусков к общему количеству данных, которое назначается в качестве показателя качества параметров, причем для вывода обученной модели в промышленную эксплуатацию в среде выполнения выбирается модель с наилучшими показателями качества параметров. 10. Способ по п. 1, характеризующийся тем, что этап определения показателей качества моделей содержит этапы, на которых: - определяют, что показатели качества моделей равны; - определяют показатель качества параметров для каждой модели на основе формата данных, причем для вывода обученной модели в промышленную эксплуатацию в среде выполнения выбирается модель с наилучшими показателями качества параметров. 11. Способ по п. 1, характеризующийся тем, что этап определения показателей качества моделей содержит этапы, на которых: - определяют, что показатели качества моделей равны; - определяют для каждой модели объем данных, содержащих параметры, которые требуются для работы модели; - на основе объема данных назначают рейтинг модели, причем наивысший рейтинг назначается той модели, которая требует меньший объем данных, а в промышленную эксплуатацию в среде выполнения выводится модель с наивысшим рейтингом. 12. Система автоматического управления моделями машинного обучения, содержащая по меньшей мере одно вычислительное устройство и по меньшей мере одно устройство памяти, содержащее машиночитаемые инструкции, которые при их исполнении по меньшей мере одним вычислительным устройством выполняют способ по любому из пп. 1-11.