nsq - еще один менеджер очередей

Публикация № 1206394

Разработка - Системная интеграция - Интеграция с WEB

nsq mq очереди обмен интеграция

В статье будет описан процесс запуска nsq. Данный mq достаточно прост в использовании по сравнению с другими. Самое главное для меня в этом менеджере, это возможность отправить данные так: http://127.0.0.1:4151/pub?topic=test-messages - вполне достаточно когда 1С выступает поставщиком данных.

Быстрый старт

Скачиваем бинарники. Далее описание будет под window, есть так же docker-compose, запускается с пол пинка

Разархивируем все в папку C:\nsq-1.2.0\, будем запускать приложения с учетом предварительного перехода в эту директорию 'cd /d C:\nsq-1.2.0'

  1. В первую очередь из командной строки запускаем nsqlookupd - это своего рода сервис дискавери, он в курсе обо всех запущенных экземплярах основного сервиса nsqd, официальная документация
cd /d C:\nsq-1.2.0 nsqlookupd 
  1. В новом экземпляре командной строки, запускаем nsqd - это основной сервис, который получает, кладет в очередь и отдает клиентам сообщения, официальная документация
cd /d C:\nsq-1.2.0 nsqd --lookupd-tcp-address=127.0.0.1:4160 --max-msg-size 52428800

--lookupd-tcp-address - это установка адреса nsqlookupd, в первую очередь nsqd сообщает nsqlookupd, что он запущен и адрес как к нему можно обратиться

--max-msg-size - максимальный размер принимаемых сообщений, по умолчанию 1048576 байт, около 1 мб. В примере ставим 52МБ.

  1. в новом экземпляре командной строки запускаем nsqadmin - это веб интерфейс администратора для выполнения различных задач с кластером
cd /d C:\nsq-1.2.0 nsqadmin --lookupd-http-address=127.0.0.1:4161

Теперь можно перейти в админку по адресу http://localhost:4171/

  1. В админ панели заходим в раздел Lookup
  2. Создадим новый топик с именем test-messages и в поле channel укажем group-app-1

В идеологии NSQ, понятие topik является потоком данных, а channel выступает в роли логической группы подписчиков. Балансировку нагрузки на несколько экземпляров сервиса-подписчика как раз можно реализовать с помощью channels.

  1. в новом экземпляре командной строки запускаем nsq_tail - это один из вариантов реализации подписчика, который выводит данные в stdout. Этот экземпляр будет подключен только к топику, без указания канала, т.е будет получать все сообщения по топику.
cd /d C:\nsq-1.2.0 nsq_tail --topic=test-messages --lookupd-http-address=localhost:4161

Существуют другие варианты реализации подписчиков:

  • nsq_to_file - клиент записывающий данные в файл
  • nsq_to_http - клиент, который перенаправляет сообщение по http (get или post) по другому адресу.
  • nsq_to_nsq - перенаправляет сообщения в другой nsqd по TCP, как вариант реализации федерации.

Про все утилиты в официальной документации

  1. в новом экземпляре командной строки еще раз запускаем nsq_tail, но добавим указание канала
cd /d C:\nsq-1.2.0 nsq_tail --topic=test-messages --channel=group-app-1 --lookupd-http-address=localhost:4161
  1. еще раз повторим пункт 7, что бы у нас было несколько экземпляров одной группы (channel)

В итоге, у нас запущено 6 командных строк, 3 сервисных, 3 клиента

  1. одно из преимуществ nsq в том, что из коробки мы имеем возможность опубликовать сообщение по http, выполним cURL запрос
curl -d 'evening in the hut 1' 'http://127.0.0.1:4151/pub?topic=test-messages'

После выполнения отправки сообщения, в 2х из 3х клиентов мы увидим наше сообщение, в экземпляр без канала, сообщение пришло 100%, а вот из группы group-app-1 сообщение получил только один из экземпляров.

  1. выполним еще одну отправку сообщения
curl -d 'evening in the hut 1' 'http://127.0.0.1:4151/pub?topic=test-messages'

Опять, без канала получил сообщение, а из группы скорей всего сообщение уже пришло другому экземпляру

Вместо итога

nsq легко разворачивать и сопровождать, что бывает очень важным условием. надо отметить что сообщений хранятся в памяти, а не на диске, но сохранение на диск есть как опция. Тут встает вопрос, зачем нам нужно хранение на диске, если у нас вообще возможны ситуации когда сообщение может и не прийти вовсе от поставщика. В случаи когда мы уже решили проблему переотправки от поставщика, нам нет необходимости использовать гарантию сохранности сообщения в сервисе очередей.

Есть официальные библиотеки на go и python, список из официальной документации

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. Steelvan 05.03.20 13:01 Сейчас в теме
Какой-то сумбурный набор предложений криво переведенных фраз из документации с постоянной отсылкой к документации.

Во всей публикации 1С упомянуто только 1 раз в заголовке.

Есть официальные библиотеки на go и python, список из официальной документации


Здорово !
Нам, 1Сникам, это очень важно !
DrAku1a; t278; +2 Ответить
3. pallid 226 05.03.20 13:04 Сейчас в теме
(1) Рад что Вы прочитали до конца.

Нам, 1Сникам, это очень важно !


Да, важно. Мы часто используем не только 1С.
2. Steelvan 05.03.20 13:02 Сейчас в теме
Инфостарт уже превращается в чьи-то записные книжки для хранения заметок ?
4. pallid 226 05.03.20 13:07 Сейчас в теме
(2) вот тут в точку, ранее это был гист https://gist.github.com/pallid/45fda5d91bc323df8d33486d9147054a

решил поделиться и тут
9. DrAku1a 1313 07.03.20 07:32 Сейчас в теме
1. Что такое nsq, для чего он нужен и на кой он 1С-никам?
2. Стиль описания и вёрстка текста - просто ужасны
3. Не говоря уже, что это копипаст с другого источника, упомянутого в (4), причем, в оригинале оформлено намного лучше.
4. Зачем вообще это выкладывать на Инфостарте?
5. orfos 39 05.03.20 17:29 Сейчас в теме
Вася привет !!! Как дела? Как поживаешь?
Скажи а какой практическое применения этой штуки?
Можно свой мессенджер запилить?
6. pallid 226 05.03.20 17:36 Сейчас в теме
(5) Месседжер или чат можно https://github.com/manhtai/golang-nsq-chat вот пример

Практическое применение у меня такое:
- регламентная отправка информации из >500 областей данных 1С в nsq
- забор информации группой клиентов из очереди

Ну как бы это компонента для etl процесса
7. orfos 39 06.03.20 00:09 Сейчас в теме
(6) Спасибо почитаю. У нас IRIS для таких целей используется
8. t278 35 06.03.20 03:38 Сейчас в теме
для чего нужен nsq ???
Нет аннотации статьи
Оставьте свое сообщение

См. также

Первичное взаимодействие с ФГИС МДЛП в аптечной сети на 1С 7.7 (для "чайников"!)

Статья Программист Нет файла v77::БУ 1С7:Бух Фармацевтика, аптеки Россия БУ Windows ЕНВД Бесплатно (free) WEB

Первичное взаимодействие с ФГИС МДЛП - Федеральной государственной информационной системой мониторинга движения лекарственных препаратов от производителя до конечного потребителя с использованием маркировки в аптечной сети на 1С 7.7 (для «чайников»!).

03.03.2020    573    umbra777    0       

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Получение html-кода страницы. JS из 1С

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования WEB

Получение исходника страницы, выполнение произвольного js-кода. Теперь с WebKit от 1С.

18.02.2020    2055    Yashazz    1       

Отладка конфигурации в режиме веб-клиента

Статья Программист Нет файла v8 Windows Бесплатно (free) WEB

После очередного обновления платформы при попытке запуска отладки в веб-клиенте стало появляться сообщение. Собственно, до этого момента никогда веб-клиентом особо не пользовался и необходимости в отладке как-то не возникало. Данное сообщение заставило задуматься, что не так с отладкой в веб-клиенте и как ее собственно включить? Тот самый неловкий момент, когда программа просит обратиться к администратору, а администратор - это вы.

12.02.2020    1996    gamletspb    1       

Базовый курс для начинающих 1С-программистов. Онлайн-интенсив со 2 июня по 2 июля 2020 г. Промо

Данный онлайн-курс является начальной ступенью по изучению базовых принципов программирования в системе “1С:Предприятие” и предназначен для обучения 1С-программированию “с нуля”.

4500-9500 рублей

Анализ работы внешней обработки сервиса МодульКасса применительно к задаче фискализации чеков при доставке

Статья Программист Нет файла v8 УТ11 Россия Бесплатно (free) Кассовые операции WEB

В статье разберу работу внешней обработки для работы с МодульКасса, опишу недочеты и применимость для организации доставки, предложу собственный вариант реализации.

11.02.2020    809    malikov_pro    0       

Вариант реализации REST API для 1С-Битрикс Управление сайтом

Статья Программист Нет файла v8 Россия Бесплатно (free) WEB

В статье опишу вариант обмена 1С УТ 11.4 и 1С-Битрикс УС 18.5 с иcпользованием компонентов Symfony, в качестве примера обмен данными по складам.

28.01.2020    1721    malikov_pro    2       

DevOps для 1С. Онлайн-курс проходит с 16 апреля по 11 июня 2020 года. Промо

Данный онлайн-курс предусматривает изучение процессов DevOps, их применение при разработке на платформе 1С. В результате прохождения онлайн-курса вы сможете: настроить ПО необходимое для проведения проверок и тестирования, создавать сценарии тестирования и объединять их в комплексные процессы, создавать скрипты для автоматизации процессов DevOps.

12000 рублей

Вариант реализации работы с сервисом Dadata применительно к конфигурации УТ 11.4 и подобным

Статья Программист Нет файла v8 УТ11 Россия Бесплатно (free) WEB

В статье описывается реализация получения данных с сервиса DaData при работе с формами справочников в конфигурации УТ 11 для дополнения информации по ФИО, ИНН, Адресу.

22.01.2020    1235    malikov_pro    2       

Двусторонний обмен с поставщиком через интернет-магазин для реализации товаров с ответственного хранения (с 01.02.2020 "Партии" не используются)

Статья Программист Нет файла v8 УНФ Оптовая торговля, дистрибуция, логистика Россия УУ Windows Бесплатно (free) Файловые протоколы обмена, FTP WEB

Рассмотрены реализация двустороннего обмена данными с использованием API-сервиса сайта поставщика при продаже товаров со склада ответственного хранения, алгоритм движения товаров и обмена документами на примере конфигурации 1С: УНФ у партнера, который взаимодействует с поставщиком "ООО Пауэр-Интернэшнл-шины" - одним из крупнейших в России поставщиков автомобильных шин и дисков.

16.01.2020    1992    chkurs    0       

Онлайн-курс «Автоматизация процессов управления МТО: методика сбора и формализации требований» с 1 апреля по 13 мая 2020 года. Промо

Цель курса - повысить полноту и качество сбора и формализации требований к автоматизации процессов управления материально-техническим обеспечением. Курс основан на процессном подходе, позволяет в полном объеме выявить и учесть все факторы, влияющие на специфику процессов управления МТО. Участники курса получают теоретические знания в области организации процессов управления МТО и готовый инструментарий для сбора и формализации требований по автоматизации этих процессов (шаблоны, опросники, модели).

40000 рублей

Проброс IP-адреса клиента в http-сервис 1С. Реализация для IIS

Статья Системный администратор Программист Нет файла Windows Бесплатно (free) WEB Администрирование веб-серверов IIS

Настраиваем веб-сервер IIS для передачи в 1С IP-адреса клиента, вызвавшего http-сервис. Разбираемся с этим же вопросом при использовании фронтэнд вебсервера на примере nginx.

01.12.2019    3771    -vito-    5       

Онлайн-интенсив "1C:Предприятие для программистов: Бухгалтерские задачи" с 22 июня по 8 июля 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, которые предназначены для решения задач бухгалтерского учета. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей прикладного решения “1С:Бухгалтерия” и прочих прикладных решений, в которых реализованы соответствующие механизмы для автоматизации бухгалтерских задач.

4900 рублей

Немного о интеграции с CRM AMO

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) WEB

Немного информации о том, как настроить интеграцию с CRM AMO. Пример функций для подключения к АМО и обновления заказа. Пример на основе API авторизации.

15.11.2019    2129    xxxAndricxxx    6       

Ещё немного о ИНН и сервисе DaData

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) WEB

Об использовании сервиса dadata и немного информации о возможностях получать данные по ИНН. Возможно, кому-то будет полезным.

14.11.2019    4584    xxxAndricxxx    21       

Онлайн-курс "Подготовка к экзамену 1С:Эксперт и 1С:Профессионал по технологическим вопросам" с 7 по 24 апреля 2020 г. Промо

На курсе вы получите практические навыки решения задач производительности 1С, в том числе характерных для высоконагруженных информационных систем (более 1000 пользователей). Подготовка к экзамену – только одна из составляющих курса. 70% слушателей приходят за знаниями, которые позволят расти и зарабатывать, делать сложные задачи на крупных проектах.

16450 рублей

Вариант реализации клиента SOAP на примере получения остатков из MERLION

Статья Программист Нет файла v8 1cv8.cf Россия Бесплатно (free) WEB

В статье приведу пример клиента к сервису SOAP, функции которого принимают несколько значений типа строка или массив строк.

14.11.2019    1911    malikov_pro    0       

Разбор любого JSON-объекта в соответствующую структуру

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Инструментарий разработчика WEB

Данная публикация предназначена разработчикам 1С, которым приходиться разбирать данные формата JSON. Выложенный пример кода создает объект типа Структура, полностью повторяющий структуру данных формата JSON.

13.11.2019    4196    user665435_al.windstorm    14       

Новый раздел на Инфостарте - Electronic Software Distribution Промо

Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.

  • Низкие цены, без скрытых платежей и наценок
  • Оперативная отгрузка
  • Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
  • Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)

Проверка reCAPTCHA от Google на стороне HTTP-Сервиса

Статья Программист Нет файла v8 Россия Бесплатно (free) WEB

Код проверяет переданный токен reCAPTCHA от Google при вызове HTTP-Сервиса. Таким образом проверяем, отправил ли данные на наш HTTP-Сервис робот или реальный пользователь.

06.11.2019    3492    AVR    0       

Swagger для 1С.

Статья Системный администратор Программист Нет файла Бесплатно (free) OneScript WEB

Решение для формирования Swagger спецификаций, описывающих HTTP сервисы конфигураций 1С.

21.10.2019    7680    botokash    32       

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

Простой способ опубликовать базу 1C из дома в интернет, когда Ваш провайдер этого не обеспечивает (3G, 4G модем и т.п.)

Статья Системный администратор Нет файла v8 1cv8.cf Бесплатно (free) WEB Облачные сервисы, хостинг

Если у Вас возникла потребность опубликовать из дома во всемирную паутину базу 1С (например, для тестирования), в т.ч. интерфейс OData, HTTP или Web-сервисы, а интернет-провайдер (например, 3G Мегафон) не предоставляет возможности инициировать соединения извне, то в конце статьи Вы найдете простой, быстрый и условно-бесплатный способ это сделать.

14.10.2019    7439    uno-c    25       

Самый примитивный HTTP-сервис в мире

Статья Программист Нет файла v8 Бесплатно (free) WEB

Пошаговый пример создания простейшего HTTP-сервиса, который генерирует HTML-страницу для поиска товара, а также реализует асинхронное получение данных из базы.

12.09.2019    14523    YPermitin    26       

Базовый курс по обмену данными в системе 1С:Предприятие. Онлайн-интенсив с 12 по 28 мая 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, обеспечивающих обмен данными между различными прикладными 1С-решениями и взаимодействие с другими информационными системами. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”.

5500 рублей

Работа из 1С с API PayPal

Статья Программист Нет файла v8::УФ 1cv8.cf Бесплатно (free) WEB

PayPal - международная платежная система является очень популярной за пределами СНГ для онлайн торговли и не только. API PayPal достаточно хорошо документирован. При попытке связать 1C с PayPal пришлось столкнуться с несколькими нюансами, которыми и хотелось бы поделиться в этой статье с примерами программного кода.

08.09.2019    3350    da_1c    0       

Свой веб интерфейс к 1С: побеждаем CORS на IIS, сохраняя авторизацию

Статья Системный администратор Программист Нет файла v8 Windows Бесплатно (free) WEB Администрирование данных 1С

Если "веб морда" расположена не по тому же адресу, что и публикация 1С (что часто бывает, например, при разработке, публикация 1С на http://localhost/1c, а разрабатываемое веб-приложение на http://localhost:8080) или, например, мы заходим на веб приложение то по ip адресу, то по имени сервера, или просто веб сервер и сервер, на котором опубликована 1С - это разные сервера, то для большинства запросов от браузера к 1С срабатывает политика CORS, которая заключается в том, что браузер сначала посылает запрос OPTIONS, на который сервер должен ответить определенным образом, заголовками, содержащими разрешения, а потом уже (если разрешение есть), браузер посылает основной запрос. В случае, когда в публикации 1С (default.vrd) жестко прописан логин и пароль, разрулить ситуацию можно средствами 1С. В случае же, когда нужно сохранить авторизацию (или используется стандартный интерфейс odata), начинаются проблемы.

20.08.2019    7554    Fragster    9       

Программы для исполнения 54-ФЗ Промо

С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.

Вывод отчетов из Штрих-М Торговое предприятие 5 на кассовое ПО Кассир 5 через веб-сервис

Статья Системный администратор Программист Нет файла v8 1cv8.cf Розничная и сетевая торговля (FMCG) Россия УУ Windows Розничная торговля Бесплатно (free) WEB

Универсальный механизм вывода отчетов товароучетной системы Штрих-М Торговое предприятие в кассовое ПО Кассир 5 посредством веб-сервиса.

14.08.2019    3639    Van2507    1       

Совсем простой обмен HTTP, 2 функции

Статья Программист Нет файла v8 Бесплатно (free) WEB

Функция для вызова рест-сервиса и функция для разбора результата. Быстро, просто, универсально.

12.08.2019    6452    Yashazz    15       

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

Использование HTTP-сервиса для создания "фронтенда" HTML/CSS/jQuery. Продолжение

Статья Программист Расширение (cfe) v8 1cv8.cf Бесплатно (free) WEB

Получение изображений из информационной базы и отправка файлов через "фронт" на HTML/CSS/JS.

08.08.2019    5883    Sedaiko    1       

1Script.Web. Интернет-приложения на языке 1С

Статья Программист Нет файла v8 Бесплатно (free) WEB OneScript Инструментарий разработчика

Запросы рынка таковы, что любое современное клиент-серверное приложение должно иметь веб-интерфейс. Почему бы не писать такие приложения на языке 1С? Андрей Овсянкин расскажет о возможностях разработки веб-приложений на базе 1Script, рассмотрит перспективы этого направления и в качестве демонстрации покажет «боевое» веб-приложение на новом движке – кроссплатформенную консоль администрирования парка кластеров 1С.

20.05.2019    16433    Evil Beaver    33       

Сдача регламентированной отчетности из программ 1С Промо

Сдача регламентированной отчетности из программ "1С" во все контролирующие органы без выгрузок и загрузок в другие программы. Для групп компаний действуют специальные предложения.

от 1500 руб.

Неверные остатки на сайте битрикс

Статья Программист Нет файла v8 УТ11 Бесплатно (free) WEB

Исправление процедуры выгрузки остатков на сайт битрикс из УТ 11

25.04.2019    4045    distorshion    4       

Отправка файлов через SOAP. SOAP with attachments, MTOM

Статья Программист Нет файла v8 1cv8.cf Россия Бесплатно (free) WEB

В продолжение «своеобразной» поддержки 1С протокола SOAP, описанной в https://infostart.ru/public/965259/, опишу еще одну особенность. 1С не поддерживает возможность отправки файлов-вложений. Для решения этой проблемы пришлось самостоятельно писать формирование пакетов SOAP и разбор ответов сервера.

18.04.2019    5913    mysm    2