Запускаем 120 000 одновременных пользователей мобильного приложения на платформе 1С

Меня зовут Наталья Овчинникова. Я – ведущий разработчик и соучредитель компании «Рассвет» из Екатеринбурга. Недавно мы запустили мобильное приложение на 120 тысяч одновременных пользователей с единой базой на платформе 1С. И сегодня я хочу поделиться опытом его разработки и запуска.

Мобильное приложение, которое мы запустили, называется «Справедливый наблюдатель». Оно работало на выборах в Государственную думу Российской Федерации, прошедших 17-19 сентября 2021 года. Если вам интересно, по ссылке вы можете скачать это приложение.

Этот проект у нас появился так же, как и любой другой: позвонил заказчик и спросил, можем ли мы за две недели разработать мобильное приложение для наблюдателей.

Приложение должно было быть готово ко дню выборов мэра Якутска, 28 марта.2021 года – на момент обращения заказчика до этой даты оставалось две недели.

Но мы понимали, что выборами мэра этот проект не ограничится, так как с 17 по 19 сентября 2021 года предстояли выборы в Государственную думу, а это уже масштабы всей страны. Поэтому согласились на разработку.

Мой вам совет: если у вас сжатые сроки, ограничьтесь минимальным количеством людей. Это сэкономит нервы и время, поверьте мне.

Основной объем работ мы выполнили вдвоем с напарником.

Прорисовка интерфейса

Прежде, чем приступить к разработке мобильного приложения, необходимо нарисовать интерфейс и согласовать его с заказчиком.

• Отрисовку интерфейсов наших приложений на 1С мы делаем в программе Figma. В ней мы за пару дней нарисовали наше будущее приложение, показали его заказчику и исправили то, что ему не понравилось. А согласованный интерфейс – это уже 50% технического задания для разработчика, после этого осталось добавить только технические моменты.

• Также Фигму мы используем для подбора и рисования иконок для наших приложений 1С. Как, например, меню в мобильном приложении или картинку строк динамического списка. Раньше я тратила много времени на рисование этих картинок. Сейчас у меня это занимает буквально пару минут.

• Кроме того, Фигма позволяет визуально подобрать цветовую гамму в корпоративном стиле заказчика, что очень важно именно для самого заказчика.

Так что Фигма – классный инструмент. Обратите на него внимание.

Дизайн разработан и согласован, приступаем к разработке.

Разработка и тестирование приложения

За две недели нам было важно реализовать минимум обязательных функций, которые показали бы работоспособность идеи. В этот минимальный набор вошли:

• авторизация в мобильном приложении;

• регистрация явки, нарушений и жалоб;

• и самое главное – отправка фото и итогов протоколов голосования.

В разработке мобильного приложения использовались:

• 95% объектов 1С – это поля ввода, динамические списки и т.д.;

• и только 5% – это поля html.

Разработанное приложение нужно было раздать пользователям, чтобы они могли его быстро устанавливать и обновлять. Для этого мы разместили публикацию в магазинах AppStore и GooglePlay.

Однако, если мы перенесемся в будущее, и посмотрим, что происходило в период подготовки к выборам в Государственную думу, то примерно за месяц до того, как начались массовые скачивания нашего приложения, выяснилось, что значительная часть наших пользователей используют смартфоны марки HONOR или Huawei. Из-за американских санкций на этих телефонах не установлен сервис GooglePlay, и эти пользователи не могли скачать и установить наше приложение, а значит, и выполнить свою работу.

В качестве быстрого решения мы выложили ссылку на файл .apk, которую переслали пользователям. Но справиться с самостоятельным скачиванием и установкой приложения смогли очень немного людей.

Тогда мы зарегистрировались на платформе AppGallery и опубликовали наше приложение там. Да, приложение, написанное на 1С, можно там опубликовать.

Единственный нюанс: когда мы тестировали приложение на этих смартфонах, выяснилось, что:

• без установленных сервисов Google приложение не может определить текущую геопозицию;

• а отправку PUSH-уведомлений необходимо делать через сервисы Huawei.

Естественно, эти проблемы мы сами решить не смогли, поэтому уже написали пожелания по доработке мобильной платформы в 1С.

Несмотря на это, пользователи все-таки смогли скачать приложение, установить его и выполнить свою работу на выборах.

Вернемся назад в прошлое и запустим наше приложение на выборах мэра в Якутске.

За три дня голосования мы протестировали его и даже успели выпустить несколько релизов. У нас было зарегистрировано 225 пользователей, за ними следили два координатора. Явки, нарушения, жалобы, фото и видео – все это летело на сервер, и никаких проблем не возникало.

В итоге было принято решение использовать наше приложение на выборах в Государственную думу.

Началась масштабная подготовка внедрения приложения в массы. Был объявлен набор десятков тысяч наблюдателей, началось обучение сотен координаторов, а мы начали разработку большого приложения.

Чтобы мобильное приложение работало, нам необходимо было разработать и настольное приложение – мы одновременно работали над мобильным и настольным вариантом.

Для координатора мы разработали специальную форму, в которой он работал. Здесь у него был динамический список с его избирательными участками. Он мог назначать на них наблюдателей, печатать на них все необходимые документы.

Также справа в поле «обзор» он видел все данные по УИКу:

• какие выборы там проходят;

• какие кандидаты избираются;

• и главное – здесь он видел всю сводную информацию, которая поступала от наблюдателя во время выборов.

Обмен данными между мобильным приложением и сервером

У нас использовалась классическая схема обмена между мобильным приложением и сервером, при которой в мобильном приложении и на сервере созданы планы обмена, где регистрируются объекты для синхронизации. А сама передача данных происходит с помощью http-сервисов.

• Такая архитектура была связана с одним из требований заказчика – о том, что мобильное приложение должно работать без подключения к интернету. Это связано с тем, что наблюдатели – полевые сотрудники. А они, так же как мерчендайзеры или сотрудники логистических центров, часто попадают в зоны без сети. Это требование мы и выполнили с помощью планов обмена.

• Головная боль, которая нас до сих пор мучает с мобильными приложениями, – это невозможность передать информацию на заблокированном телефоне. Решение – во всех мобильных приложениях мы создаем общую форму, на которой периодически запускается обработчик ожидания. Он и выполняет синхронизацию.

• Но есть один минус: так как синхронизация данных запускается на клиенте, пользователь иногда ловит лаги, у него тормозит телефон. Чтобы минимизировать эти лаги, прежде, чем делать синхронизацию, я проверяю, какая скорость соединения у пользователя. Если скорость достаточная, я передаю вместе со ссылками еще и медиаданные. Если скорость низкая, то на сервер улетают только ссылки, чтобы телефон не тормозил и не тратил все свои силы на то, что он так и не сможет отправить.

• Помимо автоматического обмена, у нас во всех приложениях есть специальная форма, в которой пользователь видит, что у него есть данные к обмену, сколько этих данных. И когда он попадает в зону вай-фай, он может все это легко отправить, нажав кнопку «Запустить обмен».

Очередь регламентных операций

Еще хочу рассказать, каким образом мы ускоряем процесс обработки огромного количества информации.

Когда на сервер большим потоком летит информация, которую нужно обработать – например, провести документ или что-то пересчитать, перезаписать – если все это обрабатывать в одном потоке, мы получаем блокировки, фризы. Т.е. обрабатывать все это в одном потоке непросто.

Около семи лет назад мы реализовали кейс под названием «Очередь регламентных операций» или «Потоковая обработка данных». Что она делает?

• Все задания, которые поступают на обработку с мобильных приложений или каких-то сторонних сервисов, записываются в очередь регламентных операций – у нас это просто регистр сведений.

• Далее запускается регламентное задание, которое распределяет все задачи из очереди, где висят сотни или даже миллионы заданий, по потокам и приоритетам. Оно определяет, какие задачи нужно выполнить здесь и сейчас, а какие могут подождать, когда освободится для них место. Именно приоритеты помогают распределить задачи так, как нам нужно их выполнять.

• После того как задания распределены, запускается второе регламентное задание, которое запускает выполнение этих задач в потоках.

• При необходимости, мы меняем количество потоков. Например, если возникла задача обработать сотни миллионов документов, мы увеличиваем наши потоки до тех пор, пока сервер не будет нагружен до 95%. Пользователи, конечно, увидят кратковременное торможение базы, зато мы сможем быстро обработать большой объем информации.

Советую всем обратить внимание на потоковую обработку данных. На Инфостарте представлено много готовых решений и вариантов, как это сделать. Но для нас 7 лет назад это был прорыв. И мы до сих пор этим пользуемся.

Быстрая авторизация пользователей в приложении

Вернемся к мобильному приложению. Чтобы наблюдатели могли включиться в работу оперативно, они должны быстро и просто авторизоваться в мобильном приложении.

Конечно, можно передавать логин и пароль по старинке, но когда количество пользователей переваливает за сотню, это становится проблематично и небезопасно. Поэтому во всех наших приложениях авторизация происходит по СМС.

Для пользователя это все очень просто: он вводит свой номер телефона, получает одноразовый код и попадает в приложение.

Особенность, которую мы используем: когда номер телефона отправляется на сервер, мы проверяем, что такой пользователь есть в списке наблюдателей. Если это условие выполняется, генерируется одноразовый код, который отправляется пользователю в СМС-сообщении.

После успешной авторизации на сервере формируется пакет с начальными данными для загрузки в мобильное приложение.

Начальные данные – это:

• УИК, на котором зарегистрирован наблюдатель;

• кандидаты, которые избираются на его УИКе;

• различная техническая информация, которая позволит начать работать здесь и сейчас.

Минус авторизации по СМС – стоимость: одно СМС-сообщение стоит порядка 3 рублей. Но именно благодаря СМС вы сможете однозначно понять, что у вас авторизовался именно этот пользователь, никаких повторов не будет. Поэтому обратите внимание на данный метод авторизации.

Обучение пользователей

Одним из самых интересных блоков на внедрении этого большого проекта стало обучение пользователей.

У нас 100 тысяч пользователей, которых надо обучать. Все пользователи занятые, обучаться никто не хочет.

Сначала мы писали инструкции с картинками – их никто не читал.

Потом мы снимали короткие видеоролики – их мало кто смотрел.

Тогда мы решили реализовать в мобильном приложении деморежим, который позволял неавторизованным пользователям выполнить все функции в тестовом формате – завести явку, нарушения, сделать фото.

Кстати, если вы скачали наше мобильное приложение, вы тоже можете зайти в деморежим и попробовать, что как работает.

Деморежим нам, конечно, помог, мы даже получили обратную связь от некоторых пользователей. Но все равно пользователи жаловались, что не понимают, как им работать.

Дальше мы решили существенно упростить жизнь наблюдателей и сделали дорожную карту.

Дорожная карта или чек-лист – это расписание каждого дня наблюдения от подъема с кровати до отправки итогового протокола голосования. Это расписание было оформлено в мобильном приложении в виде списка задач:

• в первые два дня у нас для каждого наблюдателя было сформировано 40 задач;

• и в последний день – 65 задач.

В каждой задаче было подробно написано:

• что и в какое время наблюдателю необходимо сделать,

• были указаны ссылки на законы Российской Федерации;

• если задача предполагала ввод данных в приложении, в ней был реализован переход в ту форму, где необходимо вводить данные.

Казалось бы, что еще проще: выбирай задачи в списке, выполняй. Но нет, большинство не захотели туда заходить и смотреть, что им нужно делать. Они говорили, что все равно не понимают, как работать.

Тогда мы пошли дальше и организовали для наших наблюдателей push-уведомления по каждой задаче чек-листа.

Сообщение всплывает даже на заблокированном телефоне, и при открытии уведомления пользователь сразу попадает в нужную форму, где подробно написано, что ему нужно сделать, и он эти действия выполняет.

С какими особенностями отправки пуш-уведомлений мы столкнулись:

• Поскольку Российская Федерация большая, 11 часовых поясов, нам нужно было обязательно учитывать, чтобы наблюдатель получил уведомление именно тогда, когда оно ему действительно нужно.

• Одновременно в приложении работало 120 000 наблюдателей, и нам за 3 дня голосования необходимо было отправить им 17 миллионов пуш-уведомлений.

• С учетом различий в расписаниях каждого и 11 часовых поясов это – 1500 волн отправки данных.

• В одном потоке это сделать нереально. Поэтому мы опять воспользовались нашей очередью и распараллелили отправку пушей в 200 потоков. Так все пуши прилетели вовремя и кому надо.

В итоге обучение свелось к минимуму, так как программа вела пользователя от начала и до конца, объясняла, что и когда ему нужно делать. Возьмите себе на заметку.

S3 совместимое хранилище и веб-серверы

Перейдем к самому главному и интересному – каким же образом за три дня получить на сервер 1С терабайты данных из сотни тысяч фото и видео?

Если слать гигабайты информации напрямую на сервер 1С, ни к чему хорошему это не приведет: канал дата-центра забивается, база распухает до необъятных размеров, и все начинает тормозить.

Мы пробовали и создавать отдельные сервера, и делать ftp интерфейсы, и хранить файлы в отдельных томах. Все это помогало решить проблему локально, но глобально мы никак не могли добиться, чтобы работа с файлами шла хорошо.

Несколько лет назад мы стали использовать S3 совместимое хранилище Яндекса, с помощью которого мы можем:

• хранить все медиаданные в облаках,

• а в 1С записывать только ссылки на эти файлы.

И итоге – никаких задержек и потерь.

• Яндекс гарантирует нам терабитные интернет-каналы, а это значит, что мы всегда имеем быстрый доступ к нашим файлам.

• А пользователи при чтении и отправке используют собственные каналы до ближайших дата-центров.

Расскажу процесс, как у нас это реализовано.

• Пользователь в мобильном приложении делает фото или видео, двоичные данные этого файла записываются в справочник.

• Далее во время синхронизации эти данные отправляются не на сервер 1С, а сразу в Яндекс.Облако.

• Как только Яндекс записал этот файл в своем хранилище, в мобилку тут же сообщается, что все ок, и из справочника мобильного приложения двоичные данные удаляются, чтобы не засорять память мобильного телефона. Вместо этого в мобильное приложение записывается ссылка на файл в Я.Облаке. Теперь доступ к этому файлу в Я.Облаке имеют уже и мобильное приложение, и сервер 1С, потому что к нему тоже ссылка улетела.

• Еще мы воспользовались функциями Яндекса по созданию для фотографии пиктограммы предпросмотра, которая показывается у пользователя при просмотре справочника, чтобы вообще никаких тормозов не возникало. Но при необходимости пользователь всегда может посмотреть оригинал, выбрав соответствующую функцию.

Как только мы отладили этот процесс, мы начали его использовать во всех наших приложениях – не только в мобильных, но и в настольных.

Например, сейчас у нас есть проект «Регистрация обращений граждан», где все сканы, документы – все, что можно, прикрепляется в 1С и хранится в облаке. Никаких проблем с этим не возникает.

Также есть продукт учета финансовых документов. Со всей страны пользователи сканируют чеки, кассовые или приходные ордера и отправляют их на согласование бухгалтерам. Бухгалтеры в центральном офисе смотрят эти документы, согласовывают или не согласовывают их, но все происходит в реальном времени очень быстро и без каких-либо тормозов.

Еще один плюс хранения файлов в облаках – это то, что доступ к этим файлам имеет не только 1С, но и любые сторонние сервисы.

Это очень хорошо продемонстрировал проект мерчендайзинга.

• Мерчендайзер делал фото полки, оно отправлялось в облако.

• Это фото из облака передавалось на обработку стороннему сервису, который делал распознавание товара.

• После того как товар был распознан, сервис присылал пользователю перечень того, что у него стоит на полке, и что ему необходимо добавить.

Весь процесс занимал меньше минуты, очень быстро. Но самое главное – сервер 1С был нагружен минимально, только когда получал списки товаров, которые уже были распознаны.

Именно проект мерчендайзинга показал нам, что S3 хранилище открывает огромные возможности для реализации любых бизнес-требований заказчика. Обратите внимание на этот классный механизм.

В 1С можно использовать любое S3 совместимое хранилище – даже код особо не придется переделывать.

Сегодня, кроме Яндекса, S3 совместимое хранилище предлагают разные сервисы: Amazon, Mail.ru, МТС, Мегафон. Выбирайте, что хотите.

Я использую Yandex Object Storage и хочу привести вам тарифы на S3 хранилище, чтобы вы обратили внимание на то, что, возможно, нет смысла держать свои сервера для хранения файлов. Например:

• хранение одного терабайта данных обойдется в 687 рублей в месяц;

• чтение 100 тысяч операций и запись 10 000 операций обойдется всего в 14 рублей.

В Яндекс.Облаке вы получите 4 тысячи рублей для создания своего облака и экспериментов с ним. Пользуйтесь, экспериментируйте, надеюсь, вам это пригодится.

Для разведения потоков данных мы создали несколько веб-серверов:

• один веб-сервер используется для авторизации через СМС;

• второй – для обмена между мобильным приложением и сервером. Естественно, это нужно выносить на отдельный веб-сервер;

• также мы вынесли веб-сервер для соединения пользователей через тонкий и веб-клиент, чтобы им ничего не мешало работать;

• отдельно мы создали веб-сервер для публикации Progressive Web Application – это специальная форма, где регистрировались наши потенциальные наблюдатели;

• и еще один веб-сервер был создан для выгрузки данных в Power BI. Там выгрузка была очень громоздкая и большая, поэтому вынесли в отдельный веб-сервер.

Не забывайте про закон 152-ФЗ

Вернемся к выборам в Государственную Думу.

За несколько дней до голосования мы решили проверить, сколько пользователей авторизовалось в мобильном приложении. И были неприятно удивлены, потому что пользователей оказалось не так много, как мы думали.

Чтобы ускорить вход пользователей в наше приложение, мы решили отправить СМС тем, кто зарегистрирован на сервере, но не авторизован, чтобы они вошли в мобильное приложение. В СМС-сообщении была короткая индивидуальная ссылка на мини-страничку, в которой рассказано:

• как скачать приложение;

• как зовут координатора и его номер телефона;

• как пройти онлайн обучение.

Таких страничек мы сгенерировали около тысячи – по количеству координаторов. И отправили около 70 тысяч СМС с приглашением войти в наше приложение.

В ответ мы получили одну претензию от сотового оператора о неправомерной рассылке СМС. Когда стали разбираться, оказалось, что координатор, когда вводил данные о наблюдателе, ошибся в одной цифре, и СМС улетела не туда.

Но мы с каждого наблюдателя берем согласие на обработку его персональных данных и сообщаем, что можем его уведомлять по СМС.

Поэтому делайте вывод: если вы работаете с персональными данными, не забывайте про закон 152-ФЗ, чтобы не нарваться на штраф в полмиллиона рублей. Кстати, мы его избежали.

День Х

Перейдем к 17 сентября – первому дню голосования.

• Наблюдатели вышли на места, начали регистрировать свои явки в приложении. Вроде все по плану. Я вообще еще сплю, у меня ночь.

• Но где-то в 7 утра по Москве начался шквал звонков в службу поддержки с сообщениями: все пропало, сервер висит, мобилка не работает, катастрофа, наблюдение провалено.

• Меня будят, начинаем разбираться, что пошло не так. Оказалось, что за пару дней до выборов заказчик попросил реализовать маленькую проверку, чтобы пользователи не могли ввести явку меньше предыдущей и больше следующей. Казалось бы, такая маленькая проверочка. Но в 7 утра по Москве, когда началась регистрация явок на всех участках, и повалились тысячи документов на сервер, они все стали проводиться одновременно, возникла взаимная блокировка, и все остановилось.

• Когда мы поняли, в чем проблема, то решили воспользоваться очередью наших регламентных операций. Все документы, которые летели с мобильного приложения, ставились в очередь на проведение. При этом мы решили все проблемы с тормозами. Обработка всех документов в очереди заняла буквально пару минут, и больше никаких блокировок не возникало. Очень рекомендую пользоваться отложенным проведением при обменах большими потоками информации.

Остальные дни выборов прошли без происшествий. В итоге наше мобильное приложение на 1С даже засветилось в прямом эфире на «Первом канале». Там журналист вел репортаж о ходе выборов, брал интервью у наблюдателя, выхватил у него телефон и стал тыкать в экран, транслируя на всю страну: что за жалобы были, как происходила явка. Сердце замерло в этот момент, но все прошло хорошо, и даже ничего не зависло.

Удобные инструменты разработки и управления

Хочу еще рассказать об одном инструменте, без которого невозможно вести большой проект, – это сервисы Atlassian. У нас это:

• Jira Service Management – наш сервис деск;

• Jira Software – доски канбан для разработчиков;

• Confluence – наша база знаний.

На слайде я указала стоимость этих сервисов на сотрудника в месяц (прим. ред. информация от ноября 2021 года).

В нашем офисе нет ни одного сервера. Мы в своей работе пользуемся только облачными технологиями, что и вам советуем, потому что вы всегда будете иметь доступ к своим данным.

Напоследок я решила поделиться подробным описанием и исходным кодом всего, о чем я рассказывала.

На странице вы можете скачать инструкции и исходные коды примеров:

• как авторизоваться по СМС;

• как передать данные в Yandex Object Storage;

• как настроить веб-сервера – я в докладе говорила, что мы их настраивали, но не говорила, как;

• также я рассказывала про Фигму – это очень классный визуальный инструмент для прототипирования. Но у него есть один минус – в нем нет готовых элементов для прототипирования интерфейсов 1С. Мы выложили готовый проект – качайте, пользуйтесь и рисуйте свои мобильные приложения.

Надеюсь, эта информация поможет вам создавать мобильные приложения на платформе 1С и воплощать их в жизнь как можно скорее.

*************

Статья написана по итогам доклада (видео), прочитанного на конференции Infostart Event.