Тестирование с помощью Google Cloud CLI

Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.

В этом руководстве описывается, как запустить тест XCTest или Game Loop с помощью интерфейса командной строки gcloud.

Шаг 1 : Настройте локальную среду Google Cloud SDK

1. Загрузите Google Cloud SDK

Сюда входит инструмент командной строки gcloud.

2. Убедитесь, что ваша установка обновлена ​​и включает команду gcloud firebase :

         gcloud components update

3. Войдите в интерфейс командной строки gcloud, используя свою учетную запись Google:

         gcloud auth login

4. Настройте свой проект Firebase в gcloud, где PROJECT_ID — это идентификатор вашего проекта Firebase:

        gcloud config set project PROJECT_ID

Шаг 2 : Проведите тест

Запустите XCTest

1. Загрузите .zip-файл вашего теста, выполнив следующую команду (если вы еще не упаковали свое приложение, см. раздел Упаковка XCTest ):

   cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
   zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun

2. Выберите параметры теста.

   Test Lab позволяет вам запускать тесты на различных версиях iOS, устройствах, ориентациях экрана и локалях. Эти конфигурации известны как тестовые измерения теста. Чтобы увидеть параметры для каждого измерения (например, поддерживаемые версии Xcode для версии iOS устройства), замените models , versions или locales на dimension в следующей команде:

   gcloud firebase test ios dimension list

   Ориентация экрана несколько проще, поскольку доступны только portrait и landscape ориентация.

   Просмотрите список тестовых измерений и выберите несколько комбинаций, на которых вы хотели бы запустить тест. Посетите раздел «Ценовые планы», чтобы узнать максимальное количество комбинаций, которые вы можете запустить в день.

3. После того, как вы выбрали набор тестовых измерений, вы можете заставить Test Lab запустить ваши тесты с помощью команды firebase test ios run . Для каждой комбинации тестовых измерений, которые вы хотите протестировать, включите отдельный флаг --device :

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
    etc...

   Возможно, что ваш тест не будет пройден из-за несовместимости между версией Xcode, с которой был создан тест, и версией Xcode по умолчанию, используемой Test Lab . Чтобы указать поддерживаемую версию Xcode для вашего теста, используйте флаг --xcode-version :

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --xcode-version=15

   Чтобы вам было легче идентифицировать и находить ваши тестовые матрицы в консоли Firebase , вы можете пометить вашу тестовую матрицу с помощью флага --client-details matrixLabel="<label>" в следующем примере:

   gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --client-details matrixLabel="my label"

Запустите тест игрового цикла

Запустите команду gcloud beta firebase test ios run и используйте следующие флаги для настройки запуска:

Например, следующая команда запускает тест игрового цикла, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о gcloud CLI см. в справочной документации .

Шаг 3 (необязательно) : автоматизируйте будущие тесты, которые вы создаете

Написание команд gcloud с помощью Test Lab

Вы можете использовать скрипты оболочки или пакетные файлы для автоматизации команд тестирования мобильных приложений, которые вы в противном случае запускали бы с помощью командной строки gcloud. Этот пример скрипта bash запускает XCTest с двухминутным тайм-аутом и сообщает, успешно ли завершен тестовый запуск:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скрипта

Test Lab предоставляет несколько кодов выхода, которые можно использовать для лучшего понимания результатов тестов, запускаемых с использованием скриптов или пакетных файлов.

Шаг 4 : Изучите результаты теста

Когда тест начнется, вы получите ссылку на страницу результатов теста . Тесты могут выполняться в течение нескольких минут в зависимости от количества выбранных вами различных конфигураций и установленной для ваших тестов длительности тайм-аута. После запуска тестов вы можете просмотреть результаты тестов. Подробнее об интерпретации результатов тестов см. в разделе Анализ результатов Firebase Test Lab .

Следующий шаг

Ознакомьтесь с документацией Google Cloud SDK, чтобы изучить общедоступные или находящиеся в стадии бета- тестирования варианты тестирования.

В этом руководстве описывается, как запустить тест XCTest или Game Loop с помощью интерфейса командной строки gcloud.

Шаг 1 : Настройте локальную среду Google Cloud SDK

1. Загрузите Google Cloud SDK

Сюда входит инструмент командной строки gcloud.

2. Убедитесь, что ваша установка обновлена ​​и включает команду gcloud firebase :

         gcloud components update

3. Войдите в интерфейс командной строки gcloud, используя свою учетную запись Google:

         gcloud auth login

4. Настройте свой проект Firebase в gcloud, где PROJECT_ID — это идентификатор вашего проекта Firebase:

        gcloud config set project PROJECT_ID

Шаг 2 : Проведите тест

Запустите XCTest

1. Загрузите .zip-файл вашего теста, выполнив следующую команду (если вы еще не упаковали свое приложение, см. раздел Упаковка XCTest ):

   cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
   zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun

2. Выберите параметры теста.

   Test Lab позволяет вам запускать тесты на различных версиях iOS, устройствах, ориентациях экрана и локалях. Эти конфигурации известны как тестовые измерения теста. Чтобы увидеть параметры для каждого измерения (например, поддерживаемые версии Xcode для версии iOS устройства), замените models , versions или locales на dimension в следующей команде:

   gcloud firebase test ios dimension list

   Ориентация экрана несколько проще, поскольку доступны только portrait и landscape ориентация.

   Просмотрите список тестовых измерений и выберите несколько комбинаций, на которых вы хотели бы запустить тест. Посетите раздел «Ценовые планы», чтобы узнать максимальное количество комбинаций, которые вы можете запустить в день.

3. После того, как вы выбрали набор тестовых измерений, вы можете заставить Test Lab запустить ваши тесты с помощью команды firebase test ios run . Для каждой комбинации тестовых измерений, которые вы хотите протестировать, включите отдельный флаг --device :

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
    etc...

   Возможно, что ваш тест не будет пройден из-за несовместимости между версией Xcode, с которой был создан тест, и версией Xcode по умолчанию, используемой Test Lab . Чтобы указать поддерживаемую версию Xcode для вашего теста, используйте флаг --xcode-version :

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --xcode-version=15

   Чтобы вам было легче идентифицировать и находить ваши тестовые матрицы в консоли Firebase , вы можете пометить вашу тестовую матрицу с помощью флага --client-details matrixLabel="<label>" в следующем примере:

   gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --client-details matrixLabel="my label"

Запустите тест игрового цикла

Запустите команду gcloud beta firebase test ios run и используйте следующие флаги для настройки запуска:

Например, следующая команда запускает тест игрового цикла, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о gcloud CLI см. в справочной документации .

Шаг 3 (необязательно) : автоматизируйте будущие тесты, которые вы создаете

Написание команд gcloud с помощью Test Lab

Вы можете использовать скрипты оболочки или пакетные файлы для автоматизации команд тестирования мобильных приложений, которые вы в противном случае запускали бы с помощью командной строки gcloud. Этот пример скрипта bash запускает XCTest с двухминутным тайм-аутом и сообщает, успешно ли завершен тестовый запуск:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скрипта

Test Lab предоставляет несколько кодов выхода, которые можно использовать для лучшего понимания результатов тестов, запускаемых с использованием скриптов или пакетных файлов.

Шаг 4 : Изучите результаты теста

Когда тест начнется, вы получите ссылку на страницу результатов теста . Тесты могут выполняться в течение нескольких минут в зависимости от количества выбранных вами различных конфигураций и установленной для ваших тестов длительности тайм-аута. После запуска тестов вы можете просмотреть результаты тестов. Подробнее об интерпретации результатов тестов см. в разделе Анализ результатов Firebase Test Lab .

Следующий шаг

Ознакомьтесь с документацией Google Cloud SDK, чтобы изучить общедоступные или находящиеся в стадии бета- тестирования варианты тестирования.