Свободное программное обеспечение в крупной компании – миф или реальность? Как мы переводили 2500 пользователей на Linux

Меня зовут Сергей Харитонов. Я много лет руковожу технической поддержкой – у меня есть большой опыт внутренней поддержки и B2B-поддержки.

Я сертифицированный специалист по Microsoft. И полный кавалер ITIL: имею сертификаты ITIL Managing Professional и ITIL Strategic Leader.

Руковожу техподдержкой в группе компаний Агат – в моей команде более 40 человек.

Расскажу, как мы внедряли у нас в компании линуксы и свободное программное обеспечение, какие результаты получили и почему перешли.

Крупная дилерская сеть

Несколько слов о группе компаний АГАТ. Это – сеть дилерских центров. Мы продаем и обслуживаем автомобили. У нас пять тысяч сотрудников, из них три с половиной тысячи – пользователи информационных систем. Мы представлены в 15 регионах. И есть большие ответвления бизнеса:

• агробизнес;

• логистический бизнес;

• автовозы, которые перевозят автомобили – у нас один из самых крупных автопарков автовозов в России;

• и ИТ-компания, где я тружусь на благо нашей основной группы компаний.

Несколько слов о том, как построен бизнес.

• Есть центральный офис, в котором работает единый центр обслуживания – о нем я рассказывал на предыдущей конференции Инфостарта.

• И филиалы – это дилерские центры. У нас 61 дилерский центр, которые продают разные бренды. При этом сами дилерские центры плюс-минус типовые.

Суть в том, что у нас есть много типовых дилерских центров. И есть центральный офис, где собраны разные функции: кадры, ИТ, юридические функции и т. д. Плюс некоторые функции с мест из дилерских центров тоже перенесены в центр:

• Например, в дилерских центрах нет специалистов, которые занимаются кредитованием и страхованием – они все сидят централизовано в центральном офисе. И с клиентом, который пришел в дилерский центр где-нибудь в Ростове-на-Дону они общаются по внутренней конференцсвязи. Почему важна видеосвязь? Потому что я буду рассказывать, на каком продукте мы потом всю эту историю построили.

• Также в центр перенесена функция оценки автомобилей. Люди, которые оценивают автомобили, приезжающие на трейд-ин, тоже собраны в едином месте, чтобы было единое поле и единый результат при оценке автомобилей на разных дилерских центрах в разных регионах.

Важно понимать, что наши дилерские центры – плюс-минус одинаковые. И есть нетиповой офисный центр.

Предпосылки перехода на СПО

Расскажу, как мы пришли к СПО и как мы его внедряли.

Шел далекий 2019 год, когда мы узнали страшные новости:

• о том, что скоро закроются поставки всех мировых продуктов в Россию;

• что нам нужно переходить на российское программное обеспечение;

• что век того же Microsoft в России очень недолог.

Поэтому мы решили переходить на свободное программное обеспечение.

Вторая причина – это банальная экономия денег. Мы посчитали, что лицензии, которые мы тратим на продукты Microsoft в год, соответствуют годовому содержанию одного типового дилерского центра.

Т.е. поскольку у нас 61 дилерский центр, сэкономив на лицензиях, мы можем открыть 62-й без увеличения затрат.

Согласовали с руководством и начали двигаться.

Выбрали один из 61 дилерских центров, начали его исследовать и на нем экспериментировать.

Дальше я расскажу про две линейки поведения.

• Про то, как на наши линуксы реагируют пользователи – у них пять стадий принятия неизбежного. Там на слайдах будут коты – это пользователи.

• И про то, как на линуксы смотрят ИТ-профессионалы – системные администраторы и девопсы. Для них линукс – это совершенно легкоуправляемая и предсказуемая система, поэтому там будет мир плюшевых бабочек, розовых пони и так далее.

Итак, мы выбрали один дилерский центр и начали его прорабатывать.

Пять стадий принятия неизбежного. Выбор системы. Отрицание

Первая стадия у пользователей – отрицание. Не может быть, чтобы Linux был основной рабочей системой на компьютере. Это просто невозможно, потому что мы всю жизнь живем с продуктами Microsoft Windows. Они удобные, приятные, мы знаем, как в них работать. Вместо них не может быть Linux. Тем более мы пользуемся таким количеством разного софта – дилерскими программами, офисными пакетами, 1С-системами и т.д.

Мы взяли типовой дилерский центр и начали изучать, какой софт там установлен. И обнаружили, что там нет ничего такого специфического. Там все те же наши любимые 1С, MS Office, почты и порталы, на которых работают автодилеры. Но порталы все работают через веб. Кроме одного исключения, он будет в самом конце. И нет ничего такого, что бы мешало установить Linux основной системой. И начали заливать Linux.

Этот слайд – уже из жизни системного администратора. Он о том, какой Linux мы выбрали.

Вы прекрасно знаете, что линуксов существует миллионы и миллиарды вариантов. Ну ладно, около тридцати. И они делятся, как правило, на две большие категории.

• Первая – это платные, проприетарные Linux. А мы знаем, что одна из целей перехода была – сэкономить, соответственно, такие Linux нам не подходят.

• Вторая – это тестовые полигоны. Это Linux, где обновления выходят каждый месяц, день, час, минуту. Где они не тестируются, а приходят в продакшн ровно так, как их написали, ни разу не взглянув на них. Такие Linux нам тоже не подходят. Я не буду рассказывать, что это за Linux. Я думаю, вы их все прекрасно знаете. Не буду называть этих героев.

Мы остановились на чистом Debian. И стали устанавливать на машины Debian десятой версии. Начали это делать в 2019 году. А сейчас (прим. ред. октябрь 2022 года) уже устанавливаем Debian одиннадцатой версии.

Т.е. сейчас у нас половина на половину:

• На основную массу рабочих станций залиты Debian десятой версии – они прекрасно работают.

• И параллельно внедряется одиннадцатая версия. Но там тоже не без приключений – одиннадцатая версия принесла нам новые баги, новые проблемы и так далее.

Пять стадий принятия неизбежного. Работа в системе. Гнев

Теперь про жизнь пользователей, когда им установили Linux.

У них гнев – в этой LINUX ничего не работает!!!

Мы поняли, что без обучения пользователь не сможет работать с этим инструментом и начали внедрять обучение.

• Начали писать инструкции.

• Начали снимать видеоинструкции по полторы минуты о том, как сделать элементарнейшую вещь в Linux.

• Обучали пользователей.

• После обучения был тест, при несдаче которого человека не пускали за Linux. Говорили: «Ты не готов еще работать. Давай еще изучай. Мы тебя пока отстраняем от компьютера».

Со стороны ИТ какое было самое логичное движение? Первую линию закатать в Linux.

Те люди, которые работают с обращениями и телефонными звонками этих бедолаг на этой гифке, перешли на Linux. Перешли и стали улыбаться – показывать, подсказывать, отвечать на пользовательские вопросы, конструктивно выстраивать диалог с теми, у кого не получается.

И дело пошло. Пользователи начали пользоваться этим инструментом. Как бы им ни хотелось, как бы они ни злились, начали пользоваться.

Помимо просто Линукса на компьютер установлен еще софт. Мы стараемся, чтобы весь он был СПО.

• Мы используем LibreOffice – по нашим тестам он лучший из свободно распространяемых офисных пакетов. У вас может быть другое мнение. Мы тестировали, у нас получился этот.

• Thunderbird. У пользователей есть два варианта почтового клиента – либо Thunderbird, либо они могут работать с почтой через браузер.

• Корпоративные чаты у нас в Rocket.Chat.

• Jitsi – это софт для видеоконференций. Он достаточно функциональный и простой. Помните, я рассказывал про девушек, которые оказывают финансовые услуги кредитования и делают страхование – они с конечным клиентом созваниваются через Jitsi. Плюс все наши корпоративные совещания проходят через Jitsi. Даже топ-менеджмент подключился к этой истории, стал работать и улыбаться.

• Gandiva – это наша тикетная система. Это не СПО, я сразу говорю. Но я про нее должен сказать, потому что это – тикетная система, в которой происходит обращение в единый центр обслуживания, оценка удовлетворенности и прочее.

У пользователя на компьютере появился целый ряд программ. И, конечно, мы не забываем, что основная программа у пользователя – 1С. Иначе зачем мы здесь?

Пять стадий принятия неизбежного. 1С медленно работает. Торг

И началась третья стадия пользователя. Торг.

Пользователи нам говорят, что 1С работает медленно. И в чем-то они правы. Я сейчас подробнее расскажу.

Наша основная конфигурация для оперативной деятельности – это самописная конфигурация «Управление автодилером». И еще есть типовые Бухгалтерии, ЗУПы и прочие.

Про типовые я не очень хочу рассказывать. А про нашу самописную конфигурацию расскажу.

• Во-первых, переход с Microsoft SQL на PostgreSQL дал нам очень много проблем, потому что PostgreSQL очень требователен к правильным рукам разработчика. Если запрос написан, как нравится разработчику, PostgreSQL отказывается его выполнять. Соответственно, ребята пошли учить запросы, переписывать и так далее.

• Дальше хочу рассказать про версию платформы. Мы с очень большим трудом нашли платформу, которая работает под нашим Debian без каких-либо проблем и глюков – это версия 8.3.20.1789.

Сейчас у нас 1С работает стабильно, но нам пришлось поменять в своей 1С очень много модулей.

• Например, под Linux плохо работают модальные окна. Когда модальное окно выпрыгивает, фокус остается на нижнем окне. Для пользователя это взрыв мозга – он не понимает этого движения.

• Под Linux плохо работает обработчик печати. Мы отключили 1С-ный обработчик печати и сразу выкидываем на принтер. Стандартный обработчик печати ведет себя совершенно неадекватно – он при следующей печати выставляет настройки, которые были в предыдущей печати.

• Очень большая боль в Linux – это драйвера на принтеры. Чтобы все правильно напечаталось, они должны быть свежие, последней версии.

• Если говорить про печатные формы, там должны быть установлены все необходимые шрифты. На Windows все эти шрифты есть. А на Linux, конечно же, их нужно устанавливать, и не всегда они доступны, из-за этого мы переработали много печатных форм.

Сейчас мы живем в состоянии, когда от глобальных проблем, о которых нам говорит котик на слайде, мы избавились. Но остались небольшие нюансы, к которым в Linux нужно привыкнуть. Например, не сразу прогружается поиск – когда мы встаем на нужную ячейку, пишем «привет», то «п» пишется, несколько букв съедается, и дальше «вет» дописывается. Это 1С пока не поборола – мы считаем, что это то, к чему нужно просто привыкнуть.

Про чудеса 1С под Linux рассказал. Теперь про серверную инфраструктуру.

На слайде – красивая картинка нашей серверной инфраструктуры, того, как работает наша основная рабочая оперативная база. Немного поясню, что здесь нарисовано.

• Отдельно вынесены машины для веб-сервисов и мониторинга.

• Сервер приложений 1С собран в кластер из семи серверов. Все под Linux. Все базы данных на PostgreSQL.

• Один сервер из кластера серверов 1С полностью отдан под лицензирование.

• Еще один (1С-WORKER-4) полностью отдан под фоновые задания.

• И пять живых серверов, на которых идет нагрузка. Мы живем в парадигме КОРП-лицензий. В нашей основной базе у нас больше двух с половиной тысяч одновременных сеансов. Соответственно, серверные настройки, которые дают КОРП-лицензии, нам ой как нужны.

• И шесть серверов отведено под кластер СУБД.

Все это работает под Linux. С одним «но»… под Linux не работают COM-объекты. Вы это прекрасно знаете. И от большинства COM-объектов, которые мы использовали раньше, потому что это просто – взял и используешь – мы избавились.

Но есть COM-объекты, которые предоставляют сами заводы, когда завод-производитель автомобиля говорит, что для обмена с ним необходимо использовать исключительно его – больше никаких вариантов нет.

Здесь нам ничего не остается, кроме как вывести из этой всей инфраструктуры один сервер на Microsoft Windows, чтобы он обменивался данными с этими дилерами.

Но основной кластер у нас живет в парадигме КОРП-лицензий, PostgreSQL, Linux и СПО.

Пять стадий принятия неизбежного. Переходный период. Депрессия

Поехали дальше. Четвертая стадия пользователя – депрессия. Продуктивность упала, и больше никогда не будет прежней. Котик очень грустный сидит.

Что я хочу рассказать в этом месте? Linux – это инструмент. Это инструмент, к которому нужно привыкать. Мы все с детства живем в парадигме Microsoft, в парадигме их закладок, их проводников и прочего. И нужно переучиваться.

Пользователям реально приходится переучиваться. Реально шестереночки поворачиваются. И сначала продуктивность реально упала. Пользователю кажется, что он никогда больше не сможет отвечать на письма так же просто и легко, как он это делал раньше. Никогда больше он не сможет на печать отправить двухсторонний документ и т.д.

Но все учатся. К инструменту привыкают. Привыкают к ошибкам, которые возникают.

По опыту – где-то два-три месяца, и пользователь привыкает и начинает считать это своим основным неотъемлемым инструментом, с которым можно нормально работать.

Приходишь в дилерские центры, разговариваешь с людьми, спрашиваешь – они говорят: «Да нормально все работает. Вот здесь только это выскакивает, а так все нормально работает». А выскакивает это обычно из-за того, что очень много требований выполнили программисты ненужных.

Т.е. это – инструмент, и к нему люди реально привыкли. Или привыкают. Или будут привыкать.

Системы публикации и мониторинга были на прошлом слайде – я на них останавливаться не буду. Здесь тоже используется СПО – HAProxy, Apache, Zabbix, Grafana. Все инструменты вам известны.

Еще один хочу инструмент показать – это система мониторинга GLPI. Тоже свободный софт.

В ней очень много заложено функций. Мы пользуемся ей как измерителем, чтобы видеть:

• сколько рабочих станций у нас есть;

• сколько рабочих станций уже перешли на парадигму Linux;

• сколько рабочих станций еще остались в старой экосистеме Windows.

Самая главная цифра здесь – в розовом квадрате. Всего у нас 3600 компьютеров. Я на нее буду апеллировать дальше.

Пять стадий принятия неизбежного. Новая жизнь с СПО. Принятие

Пятая стадия у пользователя – это принятие. Сейчас пользователь выглядит так, как этот котик на слайде. Это – бухгалтер с Linux. Они приняли, работают. Документы сканируются, печатаются. В 1С все работает.

Но, конечно, инструмент новый. А если люди неприученные, то обязательно должны переживать по этому поводу.

Если говорить про проект внедрения, то он подходит к концу.

Всего, мы помним розовый квадрат на слайде – у нас 3600 компьютеров.

На сегодня около 2000 рабочих мест на Linux.

Все из 61 типовых дилерских центров переведены на Linux. Весь фронтлайн, все сервисные консультанты, все менеджеры по продажам. Все обучены. Все серьезные вопросы разрешены, все мелкие вопросы закрыты.

Но, конечно, в нашем портфеле брендов есть один бренд, который не разрешает установку Linux совсем.

Рассказываю, как это работает. Есть портал, который этот бренд придумал. И на этом портале должны работать все продавцы, все сервисные консультанты, заносить туда информацию каждый день, сколько машин там отремонтировали, продали, всю эту историю, никаких интеграций они не придумали, нужно заходить туда, на этот портал.

Чтобы зайти на портал, нужно использовать ключи. Это некий аналог ЭЦП, только это не ЭЦП, а ключи, которые написали программисты этого чудесного автопроизводителя.

И эти ключи работают через некую программу, которая очень похожа на ГОСТовый СКЗИ, ну, то есть на КриптоПРО и на VIPNet, но только это не КриптоПРО и не VIPNet.

Они написали свою программу, в которой работают их же ключи, чтобы попасть на их же портал.

Чудесные люди. Мы им пишем официальные письма: «Ребята, дайте нам инструмент на Linux, пожалуйста! Мы – компания, переходящая на СПО, у нас Microsoft ушел, мы не можем остаться на старой системе, мы должны перейти на новую, пожалуйста!» Они говорят: «Да, но не сегодня, и не завтра, и не когда-то в ближайшем обозримом будущем».

Мы своих поставщиков, конечно, любим, но уважаемые программисты, вас не так много, пожалуйста, задумайтесь о тех, кто живет в другой экосистеме. Не у всех Microsoft Windows.

Благо (или не благо) этот производитель автомобилей из России официально ушел, и к концу года мы их перезальем на Linux, потому что официально уже отпала необходимость работать на их порталах. Они официально сообщили, что уже не будут с нами работать.

Проект начался в 2019-м году, идет уже 4 года и продолжается по сегодняшний день – сейчас около 2000 рабочих мест имеют операционную систему Linux.

Результаты

Что хочу рассказать в конце.

• Нам удалось сэкономить содержание одного дилерского центра, то есть к 61 дилерскому центру еще один добавился смело, легко и без всяких проблем.

• Серверная инфраструктура 1С строится на Linux + PostgreSQL.

• Клиентская инфраструктура работает на Linux + 1С + софт, о котором я рассказывал.

• И Linux – это инструмент, к которому люди привыкают. Нет ничего критичного, сложного в использовании этого инструмента, но нужно научиться. И по опросам, по замерам производительности, которые производили мы и наша служба качества, работа на новой системе остается на прежнем уровне. Она не падает. Не меньше машин начинают принимать сервисные консультанты, не меньше документов за определенный промежуток времени начинают обрабатывать бухгалтеры. Да, в начале производительность падает, но, как я уже рассказал, за несколько месяцев человек осваивает новый инструмент и привыкает.

Не забыли ли мы про Единый Центр Обслуживания? Как там с СПО?

Почему не 100% компьютеров покрыты Линуксом?

Дилерские центры покрыты, но у нас остался бэк-офис. Бэк-офис – это боль. Каждое подразделение в бэк-офисе использует свой уникальный набор софта, который нужно проверять под Линуксом. И я не говорю про ИТ-шников, Бог с ними с ИТ-шниками, Бог с ними с руководителями проектов, которые тоже плачут без продуктов Microsoft.

В любом подразделении, в которое мы заходим: департамент закупок – отдельный софт; кадры – отдельный софт; юристы – отдельный софт…

Вход в корпоративный бэк-офис – очень долгий, очень сложный. Мы заходим в подразделение, начинаем проверять, какой софт установлен, начинаем отрабатывать все их проблемы, которые возникают, и так далее.

Мы движемся, но из статуса проекта это переросло в ежедневную работу у системных администраторов, которые каждый день получают заявки от подразделений по переходу на Линукс.

Плюс, если вы помните, в начале я рассказывал, что есть еще бизнесы, которые входят в конгломерацию группы компании Агат. Например, сельхоз-бизнес. Его мы пока не начинали. Там совершенно специфический софт и совершенно специфическое подключаемое оборудование. Там не обычное торговое оборудование, которое мы привыкли видеть на складах или на кассах, а совершенно изумительные железяки – сеялки, сушилки. Все это подключается к компьютеру и работает.

К ним мы тоже обязательно придем и обязательно будем с ними работать. Но это будет уже плановый режим.

*************

Статья написана по итогам доклада (видео), прочитанного на конференции Infostart Event.