OSCB LogoOtascribe

Архитектура

Примечание

Сервисы могут размещаться как на одной, так и на нескольких computeNode. На каждый сервис рекомендуется выделять на менее одного графического ускорителя. При размещении сервисов на одном графическом ускорители очередь формируется автоматически. При Standalone установке клиент и сервисы размещаются на одном устройстве. После установки доступ к сети Интернет не требуется.

Schema

  1. При выборе варианта авторизации через SSO (OpenID) идёт обращение к используемой Системе авторизации в компании.
  2. Передача авторизационных данных в Диспетчер пользователей.
  3. Запрос пользовательских данных из Базы данных пользователей.
  4. Получение пользовательских данных и выдача токена в случае успешной аутентификации. Полученный токен доступа и все последующие запросы содержат в своих метаданных этот токен.
  5. Пользователь на клиенте (АРМ) загружает файл и выбирает параметры настройки, которые передаются по HTTP(S) в узел управления Отаскрайб, после чего запускается процесс подготовки входных данных.
  6. Через байтовый буфер памяти файлы сохраняются в файловую систему (Хранилище файлов (файловая система / объектное хранилище S3-совместимое). В случае применения объектного хранилища используется протокол HTTP(S).
  7. На клиенте пользователь нажимает кнопку запуска транскрибации или резюмирования с автоматической передачей выбранных пользователем параметров.
  8. Формируется задача со ссылкой на исходный файл и передаётся по API по протоколу RESP (Redis serialization protocol) в хранилище задач (в оперативной памяти и резервированием в постоянную память).
  9. Сервис опроса Хранилища задач на наличие задач Сервис автоматического распознавания речи обращается к Хранилищу задач.
  10. Хранилище задач выдаёт задачу из очереди.
  11. Вместе с задачей Сервис автоматического распознавания речи (asrWorker) получает файл, загруженный пользователем в шаге 4, на обработку. Далее работа Модуля удаления шумов, Модуля диаризации и Модуля оценки вероятности качества распознания при наличии переданного параметра обработки от пользователя в шаге 6. Модуль транскрибации работает по умолчанию.
  12. Результаты транскрибации и опциональных диаризации и оценки вероятности качества распознания передаются в Хранилище задач.
  13. Сервис опроса Хранилища задач на наличие задач по формированию резюме обращается к Хранилищу задач.
  14. Хранилище задач выдаёт задачу из очереди. Модуль предобработки входнях данных проверяет тип и преобразует к нужному формату, далее в формируется запрос к LLM С использованием промпта, запроса и необходимых переменных.
  15. Сформированный запрос направляется в LLM.
  16. Результат работы LLM Направляется обратно в Узел резюмирования в Модуле формирования выходных данных. 16-19. Сформированные выходные данные в необходимых форматах направляются в Хранилище задач, из которого передаются в сервис формирования очереди задач и опроса на наличие результатов в Хранилище задач (шаг 17), откуда данные передаются и в БД пользователей (включает в т.ч. задачи и результаты) (шаг 18), и самому пользователю на Клиент Отаскрайб (шаг 19).