CI/CD для UnrealEngine в связке с Gitlab

Kate

Administrator
Команда форума
Попробовав разные Source Control в связке с UE (Gitlab,SVN,Perforce) на текущий момент, для инди проекта я выбрал наиболее удобное решение, хотя и не самое простое в установке:
Gitlab - Для использования на своем сервере, нужно иметь машину с линуксом(использую mint), некоторое время и терпение на установку сервера и все, мы счастливые обладатели бесплатного сервера гитлаб. Дальше настраиваем подключение через SourceTree и используем;
Еще одной прелестью Gitlab, я бы назвал встроенный инструмент для CI/CD, который весьма легко настраивается и позволяет по одному нажатию кнопки: Билдить свет, паковать игру, заливать ее в стим, отправлять сообщение в дискорд и т.д, всего лишь нужен сервер с установленным UE. О настройке CI под Windows, я и расскажу.
Пропустим момент, когда устанавливать Gitlab/Source tree, создавать в нем новый проект и прочие пункты. Предположим что все это уже есть и необходимо настроить runner вместе с CI.

Установка Gitlab-Runner​

Создадим папку под него, к примеру: C:\Gitlab-Runner, скачем бинарник: 64-bit или 32-bit, закинем в папку созданную ранее и сменим название на: gitlab-runner.exe (подробнее). Главное убедитесь что папка имеет доступ к записи и можно запускать из нее файлы. Запускаем cmd, для регистрации и установки Gitlab-runner.
Первым делом устанавливаем и стартуем runner, ниже пример с учетом случаев, когда для старта Windows service, нужен логин и пароль.
cd C:\Gitlab-Runner
.\gitlab-runner.exe install --user ENTER-YOUR-USERNAME --password ENTER-YOUR-PASSWORD
.\gitlab-runner.exe start

Регистрация нового Gitlab-runner.​

Заходим через веб-браузер на сервер Gitlab, переходим на наш новые проект. Далее Settings → CI/CD → Runners и разворачиваем закладку, в которой будут указаны настройки для нового сервера.
bed502578b9b5f5661a7b3f27ba36a75.png

Открываем командную строку на сервере с установленным Gitlab-runner и прописываем для регистрации нового runner и заполняем требования по пунктам, указав URL сервера, уникальный токен (его можно перегенерировать в случае необходимости), имя и теги, как идентификаторы сервера. Важной деталью является при помощи какого executor будем обрабатывать yml файл (я использую shell) подробнее.
cd c:\Gitlab-runner
.\Gitlab-runner.exe register
84dbb04fc8aba1f377608d6ba9e36dc5.png

Все, новый Runner зарегистрирован, обновив страницу мы сможем увидеть все доступные сервера. Важным моментом, для дальнейшей работы является перейти в настройки сервера и установить, без этой галочки, CI зависает в режиме pending:
921666c125d09b3e7d53c22ab4d964d1.png

Так же добавлю, что в "General pipelines" можно сменить timeout (по дефолту 2 часа) на большое значение (у меня 16h), по истечению этого времени CI процесс отключается.
Таким весьма нехитрым способом мы подготовили наш сервер к работе, как билд машину для CI/CD.

Настройка yml и первый запуск​

Для CI/CD, необходимо создать файл (.gitlab-ci.yml) в корне проекта и залить его в репозиторий, тем самым дав инструкции для работы. Gitlab проверит данный скрипт и если что-то пойдет не так, то выдаст ошибку (yaml invalid error) в CI/CD. Для того, что бы, не пушить десятки сломанных файлов, прямо на сайте в закладке CI/CD → Pipelines есть инструмент: "CI Lint", при помощи которого можно проверить скрипт на правильность.
Так как, мы ранее указали что используем Shell executor, то yml файл создается по принципу powershell (для других executor он может отличатся). Ниже я привел пример, сборки клиента в двух видах (дев\шип) и сервера, а так же заливка на Steam решений. Бонусом отправка в дискорд сообщения об успешной сборке.
Пример скрипта для .gitlab-ci.yml
# last update 10.04.2019 12:58PM
# BUILD_CONFIG - Shipping / Development / DebugGame / Debug

variables:
GIT_STRATEGY: none # we disable fetch, clone or checkout for every job.
GIT_CHECKOUT: "false" # as we only want to checkout and fetch in the preperation stage.
CI_DEBUG_TRACE: "false"
CLIENT_BUILD_CONFIG: Shipping
DEV_CLIENT_BUILD_CONFIG: Development
CLIENT_PLATFORM: Win64
SERVER_BUILD_CONFIG: Development
SERVER_PLATFORM: Win64
BUILD_DIR: D:\Soulhaim\Builds
CLIENT_DIR: D:\Soulhaim\Builds\client\ez-client
CLIENT_STEAM_PATH: $CLIENT_DIR\WindowsNoEditor\*
CLIENT_ARCH_NAME: $CLIENT_BUILD_CONFIG-$CI_COMMIT_SHA
DEV_CLIENT_DIR: $BUILD_DIR\dev_client\ez-client
DEV_CLIENT_STEAM_PATH: $BUILD_DIR\dev_client\ez-client\WindowsNoEditor\*
DEV_CLIENT_ARCH_NAME: $DEV_CLIENT_BUILD_CONFIG-$CI_COMMIT_SHA
SERVER_DIR: $BUILD_DIR\server\ez-server
SERVER_ARCH_NAME: $SERVER_BUILD_CONFIG-$CI_COMMIT_SHA
LOCAL_ARCH_PATH: D:\BuildsArchives
STEAM_PATH: D:\steamworks_sdk_148a\sdk\tools\ContentBuilder
UE4_ROOT: D:\UnrealEngine

stages:
- preperations
- build_path
- build_reflection
- build_light
- build_client
- load_to_steam
- upload_to_steam
- pack_client
- upload_client
- clean_steam_client
- dev_build_client
- dev_load_to_steam
- dev_upload_to_steam
- dev_pack_client
- dev_upload_client
- dev_clean_client
- build_server
- pack_server
- upload_server
- clean_server
- clean

job_preperations:
stage: preperations
variables:
GIT_STRATEGY: fetch
GIT_CHECKOUT: "true"
script:
- echo "$CLIENT_STEAM_PATH"
- echo "$STEAM_PATH\content\Soulhaim"
- (Remove-Item -Path $BUILD_DIR -Force -Recurse -ErrorAction Ignore)
- echo "Hello"
- echo "$UE4_ROOT"
- echo "$UE4_ROOT\Engine\Build\BatchFiles\RunUAT.bat"
- echo "$CLIENT_DIR"
- echo "$CLIENT_BUILD_CONFIG"
- echo "$CLIENT_ARCH_NAME"
- echo "$DEV_CLIENT_DIR"
- echo "$DEV_CLIENT_BUILD_CONFIG"
- echo "$DEV_CLIENT_ARCH_NAME"
- echo "$SERVER_DIR"
- echo "$SERVER_ARCH_NAME"
only:
- web

job_build_path:
stage: build_path
script:
- Start-Process -NoNewWindow -Wait "D:\Soulhaim_build_path.bat"
only:
- web

job_build_reflection:
stage: build_reflection
script:
- Start-Process -NoNewWindow -Wait "D:\Soulhaim_build_Reflection.bat"
only:
- web

job_build_light:
stage: build_light
script:
- Start-Process -NoNewWindow -Wait "D:\Soulhaim_build_light.bat"
only:
- web

job_build_client:
stage: build_client
script:
#-ForceDebugInfo -CrashReporter - for debug files
- Start-Process "$UE4_ROOT\Engine\Build\BatchFiles\RunUAT.bat" -NoNewWindow -Wait -ArgumentList "BuildCookRun", "-project=$CI_PROJECT_DIR\Soulhaim.uproject", "-nop4", "-build", "-cook", "-compressed", "-stage", "-ForceDebugInfo", "-allowcommandletrendering", "-platform=$CLIENT_PLATFORM", "-clientconfig=$CLIENT_BUILD_CONFIG", "-pak", "-archive", "-archivedirectory=$CLIENT_DIR", "-utf8output"
only:
- web

job_Load_To_Steam:
stage: load_to_steam
script:
cp -r "$CLIENT_STEAM_PATH" "$STEAM_PATH\content\Soulhaim"
only:
- web

job_Upload_To_Steam:
stage: upload_to_steam
script:
- Start-Process "D:\steamworks_sdk_148a\sdk\tools\ContentBuilder\run_build.bat" -NoNewWindow -Wait
only:
- web

job1_pack_client:
stage: pack_client
script:
- Start-Process -NoNewWindow -Wait "C:\Program Files\7-Zip\7z.exe" -ArgumentList "a", "$CLIENT_DIR.zip", "$CLIENT_DIR"
only:
- web

job2_copy_to_local_client:
stage: upload_client
script:
- cp "$CLIENT_DIR.zip" "$LOCAL_ARCH_PATH\client-$CLIENT_ARCH_NAME.zip"
only:
- web

job3_clean_Steam_Folder:
stage: clean_steam_client
script:
(Remove-Item -Path "$STEAM_PATH\content\Soulhaim\*" -Force -Recurse -ErrorAction Ignore)
only:
- web

dev_job_build_client:
stage: dev_build_client
script:
#-ForceDebugInfo -CrashReporter - for debug files
- Start-Process "$UE4_ROOT\Engine\Build\BatchFiles\RunUAT.bat" -NoNewWindow -Wait -ArgumentList "BuildCookRun", "-project=$CI_PROJECT_DIR\Soulhaim.uproject", "-nop4", "-build", "-cook", "-compressed", "-stage", "-ForceDebugInfo", "-CrashReporter", "-debug", "-allowcommandletrendering", "-platform=$CLIENT_PLATFORM", "-clientconfig=$DEV_CLIENT_BUILD_CONFIG", "-pak", "-archive", "-archivedirectory=$DEV_CLIENT_DIR", "-utf8output"
only:
- web

job_dev_Load_To_Steam:
stage: dev_load_to_steam
script:
cp -r "$DEV_CLIENT_STEAM_PATH" "$STEAM_PATH\content\Soulhaim"
only:
- web

job_dev_Upload_To_Steam:
stage: dev_upload_to_steam
script:
- Start-Process "D:\steamworks_sdk_148a\sdk\tools\ContentBuilder\run_build.bat" -NoNewWindow -Wait
only:
- web

job1_dev_pack_client:
stage: dev_pack_client
script:
- Start-Process -NoNewWindow -Wait "C:\Program Files\7-Zip\7z.exe" -ArgumentList "a", "$DEV_CLIENT_DIR.zip", "$DEV_CLIENT_DIR"
only:
- web

job2_dev_copy_to_local_client:
stage: dev_upload_client
script:
- cp "$DEV_CLIENT_DIR.zip" "$LOCAL_ARCH_PATH\client-$DEV_CLIENT_ARCH_NAME.zip"
only:
- web

job_clean_client:
stage: dev_clean_client
script:
(Remove-Item -Path $BUILD_DIR -Force -Recurse -ErrorAction Ignore)
only:
- web

job_build_server:
stage: build_server
script:
- Start-Process "$UE4_ROOT\Engine\Build\BatchFiles\RunUAT.bat" -NoNewWindow -Wait -ArgumentList "BuildCookRun", "-nocompileeditor", "-project=$CI_PROJECT_DIR\Soulhaim.uproject", "-nop4", "-build", "-cook", "-compressed", "-stage", "-noclient", "-server", "-serverplatform=$SERVER_PLATFORM", "-serverconfig=$SERVER_BUILD_CONFIG", "-pak", "-archive", "-archivedirectory=$SERVER_DIR", "-utf8output"
only:
- web

job1_pack_server:
stage: pack_server
script:
- Start-Process -NoNewWindow -Wait "C:\Program Files\7-Zip\7z.exe" -ArgumentList "a", "$SERVER_DIR.zip", "$SERVER_DIR"
only:
- web

job2_copy_to_local_server:
stage: upload_server
script:
- cp "$SERVER_DIR.zip" "$LOCAL_ARCH_PATH\server-$SERVER_ARCH_NAME.zip"
only:
- web

job3_unpack_local_server:
stage: upload_server
script:
- Start-Process -NoNewWindow -Wait "C:\Program Files\7-Zip\7z.exe" -ArgumentList "x", "$LOCAL_ARCH_PATH\server-$SERVER_ARCH_NAME.zip", "-oD:\"
only:
- web

job4_send_notify_server_to_slack:
stage: upload_server
script:
- Start-Process "D:\Soulhaim_Message_Discord.bat" "New Awesome build is ready" -NoNewWindow -Wait
only:
- web

job_clean_server:
stage: clean_server
script:
(Remove-Item -Path $BUILD_DIR -Force -Recurse -ErrorAction Ignore)
only:
- web

job_clean:
stage: clean
script:
(Remove-Item -Path "$STEAM_PATH\content\Soulhaim\*" -Force -Recurse -ErrorAction Ignore)
only:
- web
Первым этапом (preperation), очищаем папку от старого билда, а также забираем с репозитория все последние изменения. Желательно, первым запуском сделать только этот этап, так как следующие шаги связаны с проектом и нам нужен путь к нему.
Следующими этапами просчитываем navmesh\light\reflection, скрипты которых расположены в обычных *.bat файлах. Пример для просчета света на двух картах: Через "+" можно указывать список карт.
Отдельно необходимо добавить, что если вы работаете с бинарной версией, то просчет navmesh\light\reflection желательно делать так же на бинарной версии, в противном случае на версии из исходников, движок будет требовать сделать ребилд решения, и в процесс застрянет (возможно есть решение, но я к сожалению его не нашел).
"C:\Program Files\Epic Games\UE_4.26\Engine\Binaries\Win64\UE4Editor-Cmd.exe" "D:\GitLab-Runner\builds\ComtV2y9\0\Soulhaim\Soulhaim\Soulhaim.uproject" -nop4 -run=resavepackages -buildlighting -quality=Preview -allowcommandletrendering -map=LobbyMap+GameMap
Далее шаг за шагом, произойдет сборка Shipping client → Steam, Development client → Steam, Server архививируем все это и помещаем в отдельную папку в виде client/server-Dev/ship-hash.zip, если же билдов очень много, то время от времени нужно будет чистить папку с архивами, или просто убрать эти шаги из CI.
Важный момент, так как процесс автоматический, под Steam нужно создать отдельного пользователя с правами на заливку билда, и без какой либо двухфакторной защиты, иначе процесс будет висеть в ожидании кода подтверждения, который некуда будет вбивать.

Запуск​

Запуск происходит крайне просто, переходим на Ci/CD → Pipelines и жмем большую зеленую кнопку RunPipeline, выбираем с какой ветки хотим собрать и запускаем процесс. Дальше, если все хорошо, остается откинутся в удобном кресле с чаем и ожидать когда процесс дойдет до конца (или зафейлится). Любой этап можно открыть и изучить проблемы, если такие возникнут.
79e65bcab2be1b1476a3a65b24c5a9bd.png

Бонус отправки в дискорд сообщения​

Сперва заходим в настройки канала дискорда → интеграция → Вебхуки, создаете новый и копируете его URL, а дальше просто в bat вставляете сообщение и ссылку:
curl -d "content=Build is ready: Soulhaim" -X POST https://вебхук вашего канала в дискорде

Заключение​

Вот собственно и весь процесс настройки CI\CD в Gitlab, подробнее можно почитать на официальном сайте в документации, но я постарался подробно описать процесс с примерами. Надеюсь статья будет вам полезной, и я ничего важного не забыл в ней указать.
Всем спасибо за внимание и да прибудет с вами сила знаний.

 
Сверху