Откат на версию 1.11

Обзор

Версии 1.12 и новее при первом запуске меняют данные, которые версии 1.11 до 1.11.9 не читают:

  • таблицы классов с хранением в ClickHouse (transactionlog): поля даты-времени получают тип DateTime64(3, 'UTC'), поле партиции — DateTime('UTC');

  • psk в local.cfg.json маскируется;

  • секреты настроек yandex_cloud, sber_salute, azure_cloud, record_asr_options, пароль в project_postgresql_connstr и secretKey хранилищ s3 шифруются при сохранении.

Версия 1.11.9 эти данные читает. Откат с 1.12 и новее возможен только на 1.11.9 и новее.

Порядок обновления

  1. Обновить систему до 1.11.9 теплым обновлением (в том же контейнере).

  2. Обновить до 1.12 теплым обновлением. С версий ниже 1.11.9 обновление на 1.12 и новее отклоняется.

  3. Обновление до 1.13 — по ее release notes (резервные копии перед обновлением обязательны).

После теплых обновлений каталоги обеих версий остаются в /usr/lib/era_platform, и откат выполняется переключением сим-линка.

Откат в том же контейнере

На каждом сервере кластера:

docker exec -it <ContainerName> ls -l /usr/lib/era_platform/
docker exec -it <ContainerName> ln -sfn /usr/lib/era_platform/<Каталог1.11.9> /usr/lib/era_platform/era_current
docker restart <ContainerName>

Скрипт запуска 1.12 и новее не запускает ноды, если в /usr/lib/era версия ниже 1.11.9. В журнале контейнера тогда строка ERA server is not started: platform in /usr/lib/era is older than 1.11.9.

Откат на другом контейнере

После холодного апгрейда на 1.12 и новее для отката запускается контейнер из образа 1.11.9 и новее, а не прежний контейнер более ранней версии: защиты от его запуска нет. При откате с 1.13 предварительно восстанавливаются резервные копии БД и /var/lib/era, сделанные перед апгрейдом.

Откат на версию ниже 1.11.9

Выполняется до запуска прежней версии.

psk (cookie нод). Cookie нод задается psk из /var/lib/era/_workdir/erainstaller/local.cfg.json. Версия 1.12 хранит psk замаскированным (ha_v=4;…​), а версии ниже 1.11.9 берут значение из файла как есть: центральная нода получает неверный cookie и неполную команду запуска. Задайте в файле на каждом сервере исходное значение psk (заданное при установке) вручную.

Секреты настроек и хранилищ s3. После отката значения, сохраненные в 1.12, видны как ha_v=4;…​: их нужно ввести заново.

ClickHouse. Касается только систем с классами с хранением в ClickHouse. Без преобразования в версиях ниже 1.11.9 такие классы не запускаются (изменение поля партиции отклоняется), данные не теряются. Преобразование возвращает типы полей к виду 1.11; миллисекунды отбрасываются. Повторное обновление на 1.12 снова переведет типы.

  1. Сделать резервную копию таблиц (например, ALTER TABLE <db>.<table> FREEZE).

  2. Сформировать команды преобразования запросом gen.sql:

    SELECT concat('ALTER TABLE `', c.database, '`.`', c.table, '` ',
                  arrayStringConcat(groupArray(concat('MODIFY COLUMN `', c.name, '` DateTime')), ', '),
                  ' SETTINGS mutations_sync = 2;')
    FROM system.columns AS c
    INNER JOIN system.tables AS t ON t.database = c.database AND t.name = c.table
    WHERE c.type IN ('DateTime64(3, \'UTC\')', 'DateTime(\'UTC\')')
      AND t.engine LIKE '%MergeTree'
    GROUP BY c.database, c.table
    FORMAT TSVRaw

    Для кластера ClickHouse в каждую команду после имени таблицы добавляется ON CLUSTER <Cluster>.

  3. Выполнить команды и проверить, что повторный запуск gen.sql возвращает пустой результат:

    CH="clickhouse-client --host <Host> --user <User> --password <Password>"
    $CH --multiquery < gen.sql > alter.sql
    $CH --multiquery < alter.sql
    $CH --multiquery < gen.sql

Распределенные таблицы, очереди Kafka и материализованные представления прежняя версия пересоздает сама.

Проверка после отката

  • Состояние системы нормализовалось (/system/state).

  • Классы с хранением в ClickHouse доступны: чтение коллекции через REST API возвращает данные.