То, как мы создаём и развёртываем API обученных моделей в продакшене, зависит от множества аспектов жизненного цикла машинного обучения. Концепция MLOps оказалась чрезвычайно полезной для работы со сложными средами развёртывания ML‑моделей.
Внедрение надёжных MLOps‑решений может принести значительные выгоды компаниям, инвестирующим в машинное обучение. Однако важно понимать, какие инструменты использовать и как их применять. При этом освоение и интеграция новых решений, упрощающих рабочий процесс, тоже могут стать вызовом.
В этой статье рассмотрим инструменты для развёртывания моделей. Они помогут вам масштабировать и управлять жизненным циклом машинного обучения, включая сервинг, мониторинг и управление API‑эндпоинтами.
Seldon.io предлагает Seldon Core — это open‑source фреймворк, который упрощает и ускоряет развёртывание ML‑моделей.
Он поддерживает и выполняет сервинг моделей, созданных в любых других фреймворках машинного обучения с открытым исходным кодом. Развёртывание моделей происходит в Kubernetes. Благодаря этому можно использовать передовые функции Kubernetes, такие как настраиваемые ресурсы для управления графами моделей.
Seldon также интегрируется с CI/CD‑инструментами, что позволяет автоматизировать развёртывание и обновление моделей.
Встроенная система оповещений уведомляет о проблемах при мониторинге моделей в продакшене. Поддерживается интерпретируемость моделей, что позволяет анализировать предсказания. Доступен как в облаке, так и на локальных серверах.
Плюсы:
BentoML упрощает процесс создания сервисов машинного обучения. Он предлагает стандартную архитектуру на основе Python для развёртывания и поддержки API промышленного уровня. Благодаря этой архитектуре пользователи могут легко упаковывать обученные модели, используя любой ML‑фреймворк, как для онлайн‑, так и для офлайн‑сервинга.
Высокопроизводительный сервер моделей BentoML поддерживает адаптивное микро‑батчирование, а также позволяет масштабировать воркеры инференса отдельно от бизнес‑логики. Встроенный UI‑дашборд предоставляет централизованную систему для организации моделей и мониторинга процессов развёртывания.
Модульный дизайн делает конфигурацию переиспользуемой в существующих GitOps‑процессах. Автоматическая генерация Docker‑образов упрощает деплой в продакшен, обеспечивая его воспроизводимость и версионирование.
Это универсальный фреймворк, решающий задачи ML‑сервинга, организации моделей и развёртывания, с акцентом на объединение работы Data Science и DevOps‑команд для создания высокопроизводительных масштабируемых API‑эндпоинтов.
Плюсы:
Tensorflow serving
Если вам нужно развернуть обученную модель как API‑эндпоинт, это можно сделать с помощью TensorFlow Serving.
Этот инструмент позволяет создать REST API эндпоинт для обслуживания обученной модели, обеспечивая надёжный и высокопроизводительный сервинг.
Он позволяет легко развёртывать современные ML‑модели, сохраняя при этом единую серверную архитектуру и соответствующие эндпоинты. TensorFlow Serving достаточно мощный, чтобы работать с различными типами моделей и данных, а не только с моделями TensorFlow.
Разработанный Google, он широко используется ведущими компаниями. Централизованное развёртывание модели в таком формате обеспечивает удобное управление и доступ. Архитектура сервинга спроектирована таким образом, чтобы поддерживать одновременную работу большого числа пользователей.
В случае высокой нагрузки можно использовать балансировщик нагрузки для поддержания стабильной работы. В целом, это масштабируемая и легко обслуживаемая система с высокой производительностью.
Плюсы:
Kubeflow — это инструмент, созданный для управления системами машинного обучения. Он представляет собой мощный набор инструментов, предназначенный для работы в Kubernetes.
Основные функции включают управление контейнерами Docker, что упрощает развёртывание и управление ML‑инфраструктурой.
Kubeflow упрощает разработку и развёртывание ML‑пайплайнов, делая модели более управляемыми и отслеживаемыми. Он предлагает широкий набор ML‑инструментов и архитектурных фреймворков для эффективного выполнения различных задач машинного обучения.
Встроенная панель управления позволяет отслеживать эксперименты, задачи и процессы развёртывания. Функция Notebook обеспечивает интерактивное взаимодействие с ML‑системой.
Компоненты и пайплайны являются модульными и могут быть переиспользованы, что ускоряет разработку. Изначально разработанный Google для выполнения задач TensorFlow в Kubernetes, со временем Kubeflow превратился в мультиоблачный и мультиплатформенный фреймворк, способный управлять всем ML‑пайплайном.
Плюсы:
Cortex — это open‑source инструмент, который поддерживает несколько фреймворков и может использоваться как для сервинга моделей, так и для их мониторинга.
Он охватывает разные рабочие процессы машинного обучения и предоставляет полный контроль над управлением моделями. Cortex также служит альтернативой SageMaker и поддерживает развёртывание моделей в AWS через Elastic Kubernetes Service (EKS), Lambda или Fargate.
Инструмент интегрируется с открытыми проектами, такими как Docker, Kubernetes, TensorFlow Serving и TorchServe, и может работать с любыми ML‑библиотеками и инструментами.
Он поддерживает масштабирование эндпоинтов для управления нагрузкой, позволяет развёртывать несколько моделей в одном API‑эндпоинте и обновлять эндпоинты в продакшене без остановки сервера. Помимо этого, Cortex выполняет функции мониторинга, контролируя производительность эндпоинта и анализируя данные предсказаний.
Плюсы:
AWS SageMaker — это мощный сервис, предоставляемый Amazon. Он позволяет разработчикам машинного обучения быстро создавать, обучать и развёртывать модели, упрощая весь процесс за счет исключения ряда сложных этапов. Это делает модели более масштабируемыми и снижает сложность разработки.
Жизненный цикл машинного обучения — сложный и итеративный процесс, требующий интеграции множества инструментов и рабочих процессов. Этот процесс может быть трудоёмким, особенно при возникновении ошибок на этапе конфигурации.
SageMaker упрощает его, предоставляя все необходимые компоненты машинного обучения в едином инструменте, где они уже настроены и готовы к использованию.
Это ускоряет развёртывание моделей и снижает затраты на инфраструктуру. SageMaker можно использовать с эндпоинтами, работающими на любых ML‑фреймворках. Он также предоставляет возможности отслеживания и сохранения предсказаний, а также мониторинга по расписанию.
Плюсы:
MLflow — это open‑source инструмент для организации полного жизненного цикла ML‑моделей. Он предоставляет решения для управления процессом машинного обучения и развёртывания, поддерживая эксперименты, воспроизводимость, деплой и регистрацию моделей.
Эта платформа подходит как для индивидуальных разработчиков, так и для команд, поскольку может быть интегрирована в любую экосистему разработки. Библиотека разработана для удовлетворения различных технологических потребностей и совместима с разными фреймворками машинного обучения.
Весь ML‑цикл в MLflow организуется вокруг четырёх ключевых функций: Tracking, Projects, Models и Model Registry.
Инструмент упрощает автоматизацию отслеживания ML‑моделей, но не поддерживает автоматическое конфигурирование, поэтому дополнительные параметры необходимо задавать вручную.
Плюсы:
TorchServe — это фреймворк для сервинга моделей PyTorch, который упрощает развёртывание обученных моделей в масштабируемой среде. Он устраняет необходимость писать кастомный код для развёртывания моделей.
TorchServe был разработан AWS совместно с PyTorch, что делает его настройку удобной для пользователей, работающих в экосистеме PyTorch. Он обеспечивает легковесный сервинг с низкой задержкой, поддерживает высокопроизводительные модели и широкий диапазон масштабируемости.
Фреймворк включает встроенные библиотеки для некоторых задач машинного обучения, таких как обнаружение объектов и классификация текста, что позволяет сократить время на их разработку. Среди ключевых возможностей — сервинг нескольких моделей одновременно, версионирование моделей для A/B‑тестирования, метрики для мониторинга, а также RESTful‑эндпоинты для интеграции с приложениями.
Плюсы:
habr.com
Внедрение надёжных MLOps‑решений может принести значительные выгоды компаниям, инвестирующим в машинное обучение. Однако важно понимать, какие инструменты использовать и как их применять. При этом освоение и интеграция новых решений, упрощающих рабочий процесс, тоже могут стать вызовом.
В этой статье рассмотрим инструменты для развёртывания моделей. Они помогут вам масштабировать и управлять жизненным циклом машинного обучения, включая сервинг, мониторинг и управление API‑эндпоинтами.
Seldon.io
Seldon.io предлагает Seldon Core — это open‑source фреймворк, который упрощает и ускоряет развёртывание ML‑моделей.
Он поддерживает и выполняет сервинг моделей, созданных в любых других фреймворках машинного обучения с открытым исходным кодом. Развёртывание моделей происходит в Kubernetes. Благодаря этому можно использовать передовые функции Kubernetes, такие как настраиваемые ресурсы для управления графами моделей.
Seldon также интегрируется с CI/CD‑инструментами, что позволяет автоматизировать развёртывание и обновление моделей.
Встроенная система оповещений уведомляет о проблемах при мониторинге моделей в продакшене. Поддерживается интерпретируемость моделей, что позволяет анализировать предсказания. Доступен как в облаке, так и на локальных серверах.
Плюсы:
- Поддержка кастомных офлайн‑моделей.
- Поддержка предсказаний в реальном времени через API для внешних клиентов.
- Упрощение процесса развёртывания.
- Сложная настройка.
- Трудно освоить новичкам.
BentoML
BentoML упрощает процесс создания сервисов машинного обучения. Он предлагает стандартную архитектуру на основе Python для развёртывания и поддержки API промышленного уровня. Благодаря этой архитектуре пользователи могут легко упаковывать обученные модели, используя любой ML‑фреймворк, как для онлайн‑, так и для офлайн‑сервинга.
Высокопроизводительный сервер моделей BentoML поддерживает адаптивное микро‑батчирование, а также позволяет масштабировать воркеры инференса отдельно от бизнес‑логики. Встроенный UI‑дашборд предоставляет централизованную систему для организации моделей и мониторинга процессов развёртывания.
Модульный дизайн делает конфигурацию переиспользуемой в существующих GitOps‑процессах. Автоматическая генерация Docker‑образов упрощает деплой в продакшен, обеспечивая его воспроизводимость и версионирование.
Это универсальный фреймворк, решающий задачи ML‑сервинга, организации моделей и развёртывания, с акцентом на объединение работы Data Science и DevOps‑команд для создания высокопроизводительных масштабируемых API‑эндпоинтов.
Плюсы:
- Удобный формат для быстрого развёртывания сервисов предсказаний в продакшене.
- Поддержка высокопроизводительного сервинга и унифицированного процесса развёртывания.
- Возможность развёртывания моделей на различных платформах, а не только в Kubernetes.
- Не включает управление экспериментами.
- Не поддерживает горизонтальное масштабирование «из коробки».
TensorFlow Serving
Tensorflow serving
Если вам нужно развернуть обученную модель как API‑эндпоинт, это можно сделать с помощью TensorFlow Serving.
Этот инструмент позволяет создать REST API эндпоинт для обслуживания обученной модели, обеспечивая надёжный и высокопроизводительный сервинг.
Он позволяет легко развёртывать современные ML‑модели, сохраняя при этом единую серверную архитектуру и соответствующие эндпоинты. TensorFlow Serving достаточно мощный, чтобы работать с различными типами моделей и данных, а не только с моделями TensorFlow.
Разработанный Google, он широко используется ведущими компаниями. Централизованное развёртывание модели в таком формате обеспечивает удобное управление и доступ. Архитектура сервинга спроектирована таким образом, чтобы поддерживать одновременную работу большого числа пользователей.
В случае высокой нагрузки можно использовать балансировщик нагрузки для поддержания стабильной работы. В целом, это масштабируемая и легко обслуживаемая система с высокой производительностью.
Плюсы:
- Облегчает развёртывание, если модель уже готова.
- Поддерживает пакетную обработку запросов для эффективного использования аппаратных ресурсов.
- Включает систему версионирования моделей.
- Прост в использовании, отвечает за управление моделями и сервингом.
- Нет механизма для обеспечения нулевого простоя при обновлении моделей.
- Работает только с моделями TensorFlow.
Kubeflow
Kubeflow — это инструмент, созданный для управления системами машинного обучения. Он представляет собой мощный набор инструментов, предназначенный для работы в Kubernetes.
Основные функции включают управление контейнерами Docker, что упрощает развёртывание и управление ML‑инфраструктурой.
Kubeflow упрощает разработку и развёртывание ML‑пайплайнов, делая модели более управляемыми и отслеживаемыми. Он предлагает широкий набор ML‑инструментов и архитектурных фреймворков для эффективного выполнения различных задач машинного обучения.
Встроенная панель управления позволяет отслеживать эксперименты, задачи и процессы развёртывания. Функция Notebook обеспечивает интерактивное взаимодействие с ML‑системой.
Компоненты и пайплайны являются модульными и могут быть переиспользованы, что ускоряет разработку. Изначально разработанный Google для выполнения задач TensorFlow в Kubernetes, со временем Kubeflow превратился в мультиоблачный и мультиплатформенный фреймворк, способный управлять всем ML‑пайплайном.
Плюсы:
- Консистентная инфраструктура с мониторингом, проверкой состояния и репликацией.
- Возможность добавления новых функций.
- Упрощает адаптацию новых членов команды.
- Стандартизированный процесс обеспечивает безопасность и контроль над инфраструктурой.
- Сложность ручной настройки и конфигурации.
- Высокая доступность не обеспечивается автоматически и требует дополнительной настройки.
- Крутая кривая обучения, что усложняет освоение инструмента.
Cortex
Cortex — это open‑source инструмент, который поддерживает несколько фреймворков и может использоваться как для сервинга моделей, так и для их мониторинга.
Он охватывает разные рабочие процессы машинного обучения и предоставляет полный контроль над управлением моделями. Cortex также служит альтернативой SageMaker и поддерживает развёртывание моделей в AWS через Elastic Kubernetes Service (EKS), Lambda или Fargate.
Инструмент интегрируется с открытыми проектами, такими как Docker, Kubernetes, TensorFlow Serving и TorchServe, и может работать с любыми ML‑библиотеками и инструментами.
Он поддерживает масштабирование эндпоинтов для управления нагрузкой, позволяет развёртывать несколько моделей в одном API‑эндпоинте и обновлять эндпоинты в продакшене без остановки сервера. Помимо этого, Cortex выполняет функции мониторинга, контролируя производительность эндпоинта и анализируя данные предсказаний.
Плюсы:
- Автоматическое масштабирование, которое обеспечивает стабильную работу API при изменении сетевого трафика.
- Поддержка нескольких ML‑платформ, включая Keras, TensorFlow, Scikit‑learn и PyTorch.
- Возможность обновления моделей без простоя.
- Сложность процесса настройки, который может быть трудоёмким.
AWS SageMaker
AWS SageMaker — это мощный сервис, предоставляемый Amazon. Он позволяет разработчикам машинного обучения быстро создавать, обучать и развёртывать модели, упрощая весь процесс за счет исключения ряда сложных этапов. Это делает модели более масштабируемыми и снижает сложность разработки.
Жизненный цикл машинного обучения — сложный и итеративный процесс, требующий интеграции множества инструментов и рабочих процессов. Этот процесс может быть трудоёмким, особенно при возникновении ошибок на этапе конфигурации.
SageMaker упрощает его, предоставляя все необходимые компоненты машинного обучения в едином инструменте, где они уже настроены и готовы к использованию.
Это ускоряет развёртывание моделей и снижает затраты на инфраструктуру. SageMaker можно использовать с эндпоинтами, работающими на любых ML‑фреймворках. Он также предоставляет возможности отслеживания и сохранения предсказаний, а также мониторинга по расписанию.
Плюсы:
- Простая настройка, поддержка Jupyter Notebook, что упрощает управление и развёртывание скриптов.
- Гибкая стоимость, зависящая от используемых функций.
- Обучение моделей выполняется на нескольких серверах.
- Высокий порог входа для начинающих разработчиков.
- Жёсткие рабочие процессы, усложняющие кастомизацию.
- Работает только в экосистеме AWS.
MLflow
MLflow — это open‑source инструмент для организации полного жизненного цикла ML‑моделей. Он предоставляет решения для управления процессом машинного обучения и развёртывания, поддерживая эксперименты, воспроизводимость, деплой и регистрацию моделей.
Эта платформа подходит как для индивидуальных разработчиков, так и для команд, поскольку может быть интегрирована в любую экосистему разработки. Библиотека разработана для удовлетворения различных технологических потребностей и совместима с разными фреймворками машинного обучения.
Весь ML‑цикл в MLflow организуется вокруг четырёх ключевых функций: Tracking, Projects, Models и Model Registry.
Инструмент упрощает автоматизацию отслеживания ML‑моделей, но не поддерживает автоматическое конфигурирование, поэтому дополнительные параметры необходимо задавать вручную.
Плюсы:
- Простая настройка механизма отслеживания моделей.
- Интуитивно понятные API для сервинга моделей.
- Удобная система логирования, которая облегчает запуск экспериментов.
- Подход, ориентированный на код (code‑first).
- Дополнительные настройки моделей выполняются вручную.
- Не самый удобный инструмент для развёртывания моделей на разных платформах.
TorchServe
TorchServe — это фреймворк для сервинга моделей PyTorch, который упрощает развёртывание обученных моделей в масштабируемой среде. Он устраняет необходимость писать кастомный код для развёртывания моделей.
TorchServe был разработан AWS совместно с PyTorch, что делает его настройку удобной для пользователей, работающих в экосистеме PyTorch. Он обеспечивает легковесный сервинг с низкой задержкой, поддерживает высокопроизводительные модели и широкий диапазон масштабируемости.
Фреймворк включает встроенные библиотеки для некоторых задач машинного обучения, таких как обнаружение объектов и классификация текста, что позволяет сократить время на их разработку. Среди ключевых возможностей — сервинг нескольких моделей одновременно, версионирование моделей для A/B‑тестирования, метрики для мониторинга, а также RESTful‑эндпоинты для интеграции с приложениями.
Плюсы:
- Упрощает масштабирование развёрнутых моделей.
- Легковесные эндпоинты с высокой производительностью.
- Частые изменения и обновления, так как инструмент активно развивается.
- Работает только с моделями PyTorch.
8 инструментов для развёртывания ML-моделей, о которых вам нужно знать
То, как мы создаём и развёртываем API обученных моделей в продакшене, зависит от множества аспектов жизненного цикла машинного обучения. Концепция MLOps оказалась чрезвычайно полезной...
habr.com