Быстрая обработка данных / обработка информации на стороне GPU

Данное решение представляет вариант реализации расчета данных из 1С на стороне графической карты.

Общий принцип: На стороне 1С заполняем базу данных. ПО берёт данные на стороне базы данных и упаковывает их в буфер для чтения GPU. На стороне GPU используется специальный шейдер расчетов  (compute shader) который осуществляет обработку данных. После обработки, данные записываются обратно в БД.

Всё это позволяет говорить от обработке миллионов строк информации за кратчайшее время.

БД - это условная база данных, может быть реализована на SQL / Oracle / Postgresql  и т.д.
Реализация возможна на платформах Windows / Linux.

ЗНАКОМСТВО

Принцип работы системы основан на обработке данных в графических процессорах. GPU имеют сотни процессорных ядер общего назначения. Они намного проще, чем ядра в современном процессоре, но из-за того, что их так много, они могут выполнять параллельные вычисления на больших наборах данных очень быстро. Эти небольшие ядра сгруппированы в более крупные процессоры, которые совместно используют регистры, кэши, планировщик и т. д. и могут выполнять несколько пакетов работы в режиме hyper-threading.

БАЗОВЫЕ ПРИНЦИПЫ

Система построена с использованием библиотеки Vulkan. Данная технология используется уже более 10 лет, так что в современном оборудовании драйвера от Vulkan присутствуют по умолчанию. Compue shader - это механизм работы с графической картой. В отличие от более старых API, таких как OpenGL, поддержка вычислительных шейдеров в Vulkan обязательна. Это означает, что вы можете использовать вычислительные шейдеры в любой доступной реализации Vulkan, независимо от того, идет ли речь о высокопроизводительном настольном графическом процессоре или маломощном встраиваемом устройстве.

Это открывает мир вычислений общего назначения на графических процессорах (GPGPU) независимо от того, где выполняется ваше приложение. GPGPU означает, что вы можете выполнять общие вычисления на своем графическом процессоре, то, что традиционно было прерогативой центральных процессоров. Но поскольку графические процессоры становятся все более и более мощными и гибкими, многие рабочие нагрузки, требующие универсальных возможностей центрального процессора, теперь могут выполняться на графическом процессоре в режиме реального времени.

Вычислительные ресурсы можно использовать  для не визуальных вычислений, которые не требуют графического вывода, например, для обработки чисел или вещей, связанных с искусственным интеллектом. Это называется "headless compute".

ПРЕИМУЩЕСТВА

Выполнение ресурсоемких вычислений на графическом процессоре имеет несколько преимуществ. Самый очевидный из них — разгрузка работы с центрального процессора. Еще один способ не требует перемещения данных между оперативной памятью центрального процессора и памятью графического процессора. Все данные могут оставаться на графическом процессоре, не дожидаясь медленной передачи из основной памяти.

Кроме того, графические процессоры сильно распараллелены, а некоторые из них имеют десятки тысяч небольших вычислительных блоков. Это часто делает их более подходящими для рабочих процессов с высокой степенью параллелизма, чем ЦП с несколькими большими вычислительными блоками.

РЕАЛИЗАЦИЯ

Во вложении представлен пример реализации подобного механизма.

Данное решение реализовано на платформе Windows 10/11 x64. Используется внешняя БД: SQLite, что позволяет протестировать функционал без дополнительного оборудования. Также решение содержит библиотеки для использования на платформе Linux и является кроссплатформенным. 

На стороне 1С используется обработка на управляемых формах. Предполагается использование на платформе 1С:Предприятие 8.3. Конфигурация не важна. 

Тестировалось на: 1С:Предприятие 8.3 (8.3.13.1690)

Поле распаковки файла, мы должны установить ПО, которое находится в папке "sqliteodbc_w64.exe" - для COM соединения с БД SQLite. Также ПО можно скачать тут: http://www.ch-werner.de/sqliteodbc/

Также рекомендуется установить ПО для работы c SQLite https://sqlitebrowser.org/dl/

На этом настройка закончена. Приступаем к работе.

ПРИНЦИП РАБОТЫ

1. Запускаем 1С и выбираем файл обработки с расширением "epf"

2. Нажимаем на кнопку "Чтение видеокарт". Возможно, придётся нажать на неё несколько раз, т.к. 1С будет повторно запрашивать разрешения на запуск COM соединения и запуск bat файлов. 

После чего, в окошке справа появится список видеокарт, которые можно использовать для данной реализации.

Если на этом шаге возникнут проблемы, то ниже будут описаны варианты решения или возможного исправления ситуации.

3. Итак, после выбора видеокарты, мы нажимаем на кнопку "Запись начальных данных на SQLite". - Т.е. мы осуществляем первоначальное заполнение базы данных, данными для расчета.

4. "Жмём кнопку "Обработка данных на стороне GPU". - Система должна произвести расчет и выдать результат справа. Информация справа должна содержать в себе данные о времени чтения, обработки и перезаписи данных на стороне GPU.

5. Проверяем обработанные данные. Для этого служит кнопка "Прочитать данные из БД"

ВОЗМОЖНЫЕ ПРОБЛЕМЫ

Возможные причины, по которым ПО не будет работать: 

1. Видеокарта не поддерживает compute shader
2. Видеокарта не поддерживает Vulkan
3. Драйвера видеокарты устарели 
4. Платформа Windows устарела

Рекомендации по возможному исправлению ошибок следующие:

1. Обновите драйвера видеокарты.
2. Также могут помочь патчи для Windows начиная от: Visual C++ 2010.

Также важно помнить, что эксперименты с шейдерами могут повредить вашу видеокарту. По этому НЕ рекомендуется изменять шейдер программы.

Коллеги, буду рад критике, комментариям и пожеланиям. Также постараюсь помочь, если возникнут проблемы с ПО.