В начале июля IBM официально представила CodeFlare, фреймворк с открытым исходным кодом, который призван упростить интеграцию и обеспечить эффективное масштабирование рабочих процессов с большими данными и средствами искусственного интеллекта в гибридном облаке. CodeFlare создан на базе Ray, активно развивающегося фреймворка для применения в сфере машинного обучения. CodeFlare расширяет возможности Ray, добавляя в него компоненты, которые помогут упростить масштабирование рабочих процессов.
Чтобы создать модель машинного обучения, исследователи и разработчики должны сначала ее обучить и оптимизировать. Этот этап может включать в себя очистку данных, выделение признаков и оптимизацию модели. CodeFlare упрощает этот процесс, путем использования интерфейса для конвейера на основе Python, облегчая интеграцию, распараллеливание и совместное использование данных. Создавая новый фреймворк, команда IBM ставила перед собой задачу унифицировать рабочие процессы с конвейерами на разных платформах, чтобы специалистам по данным не пришлось осваивать новый язык рабочих процессов.
Конвейеры CodeFlare легко выполняются на базе новой бессерверной платформы IBM Cloud Code Engine и Red Hat OpenShift. Это позволяет развертывать их практически где угодно, а значит, еще больше специалистов по данным и исследователей ИИ смогут воспользоваться преимуществами платформы. Одновременно упрощается интеграция и соединение с другими облачными экосистемами через реакцию на события (срабатывающих, например, при поступлении нового файла), а также загрузка и разбиение данных из широкого круга источников, таких как облачные хранилища объектов, озеро данных, распределенные файловые системы.
Кроме того, при использовании CodeFlare разработчикам не придется дважды выполнять одну и ту же работу или гадать, что другие коллеги раньше делали для запуска определенного конвейера. С помощью CodeFlare IBM хочет предоставить специалистам по данным полезные инструменты и API, которые можно использовать более согласованно, чтобы они сосредоточились на исследованиях, а не тратили время на сложную настройку и развертывание.
Так, один пользователь применил фреймворк для анализа и оптимизации примерно 100 тыс. конвейеров для обучения моделей машинного обучения, CodeFlare сократил время, необходимое для выполнения каждого конвейера с 4 часов до 15 минут. Другим пользователям CodeFlare сэкономил месяцы времени на разработку и позволил решать более масштабные проблемы с данными.
IBM открыла исходный код CodeFlare и опубликует серию технических постов в блогах о том, как он работает и что нужно, чтобы начать его использовать. Компания не собирается останавливаться на достигнутом, пробуя применять эту технологию в проектах IBM и в собственных исследованиях ИИ. IBM будет и дальше развивать CodeFlare, постепенно наращивая сложность поддерживаемых конвейеров. Команда IBM планирует повысить отказоустойчивость и согласованность, а также улучшить интеграцию и управление данными для внешних источников и добавить поддержку визуализации конвейеров.
Оригинальный материал на английском языке доступен по ссылке.
Источник статьи: https://habr.com/ru/company/ibm/blog/569122/
Чтобы создать модель машинного обучения, исследователи и разработчики должны сначала ее обучить и оптимизировать. Этот этап может включать в себя очистку данных, выделение признаков и оптимизацию модели. CodeFlare упрощает этот процесс, путем использования интерфейса для конвейера на основе Python, облегчая интеграцию, распараллеливание и совместное использование данных. Создавая новый фреймворк, команда IBM ставила перед собой задачу унифицировать рабочие процессы с конвейерами на разных платформах, чтобы специалистам по данным не пришлось осваивать новый язык рабочих процессов.
Конвейеры CodeFlare легко выполняются на базе новой бессерверной платформы IBM Cloud Code Engine и Red Hat OpenShift. Это позволяет развертывать их практически где угодно, а значит, еще больше специалистов по данным и исследователей ИИ смогут воспользоваться преимуществами платформы. Одновременно упрощается интеграция и соединение с другими облачными экосистемами через реакцию на события (срабатывающих, например, при поступлении нового файла), а также загрузка и разбиение данных из широкого круга источников, таких как облачные хранилища объектов, озеро данных, распределенные файловые системы.
Кроме того, при использовании CodeFlare разработчикам не придется дважды выполнять одну и ту же работу или гадать, что другие коллеги раньше делали для запуска определенного конвейера. С помощью CodeFlare IBM хочет предоставить специалистам по данным полезные инструменты и API, которые можно использовать более согласованно, чтобы они сосредоточились на исследованиях, а не тратили время на сложную настройку и развертывание.
Так, один пользователь применил фреймворк для анализа и оптимизации примерно 100 тыс. конвейеров для обучения моделей машинного обучения, CodeFlare сократил время, необходимое для выполнения каждого конвейера с 4 часов до 15 минут. Другим пользователям CodeFlare сэкономил месяцы времени на разработку и позволил решать более масштабные проблемы с данными.
IBM открыла исходный код CodeFlare и опубликует серию технических постов в блогах о том, как он работает и что нужно, чтобы начать его использовать. Компания не собирается останавливаться на достигнутом, пробуя применять эту технологию в проектах IBM и в собственных исследованиях ИИ. IBM будет и дальше развивать CodeFlare, постепенно наращивая сложность поддерживаемых конвейеров. Команда IBM планирует повысить отказоустойчивость и согласованность, а также улучшить интеграцию и управление данными для внешних источников и добавить поддержку визуализации конвейеров.
Оригинальный материал на английском языке доступен по ссылке.
Источник статьи: https://habr.com/ru/company/ibm/blog/569122/