Как ИИ упрощает корпоративную работу: опыт HPC Park и «Нейросети».

В декабрьском номере журнала CIS мы рассказали об опыте использования HPC Park Cloud Service компанией АО «Нейросети».

В рамках успешного сотрудничества HPC Park с компанией «Нейросети», одной из опций сервиса Index 5 является автоматическая генерация кратких и структурированных отчетов на основе аудиозаписей или транскриптов встреч. Продукт Index 5 — продвинутая нейросетевая модель для видеоконференций, которая анализирует уровень внимательности, вовлеченности, эмоциональности, усталости и рассеянности участников. Такие инструменты интегрируются в корпоративный цифровой контур, значительно упрощая документооборот и экономя время сотрудников. Для задач по векторизации текста и развертывания голосовых моделей, «Нейросети» протестировали 1/7 и 3/7 MIG ускорителя Nvidia A100 на платформе HPC Park. Результаты тестов подтвердили, что использование MIG позволяет эффективно использовать ресурсы и добиваться высокой производительности, что особенно важно при работе с мультизадачными моделями машинного обучения и делает технологию идеальной для задач, не требующих больших вычислительных мощностей. Например, на одном экземпляре 3/7 графического процессора NVIDIA A100 одновременно выполнялись несколько сложных операций: обрабатывались звуковые данные, вычислялись эмбеддинги и решались задачи, связанные с ранговыми операциями.

Искусственный интеллект (ИИ) — один из самых динамично развивающихся и перспективных секторов современных технологий.

Эмбеддинг, основанный на модели GPT-2, представляет собой процесс векторизации, преобразующий текстовые данные в компактные числовые представления, что значительно упрощает дальнейшую обработку и анализ. Это позволяет моделям эффективно работать с текстом, улавливая семантические связи и контексты.

В отношении ранговых операций используется модель ReRank – легкая архитектура с примерно миллиардом параметров, разработанная для оптимизации поисковой выдачи. Основная задача модели — перебалансировка запросов и оценка релевантности результатов поиска, что способствует более точному соответствию пользовательским запросам и повышает общую эффективность системы в реальных условиях.

Подводя итог, стоит сказать, что контейнеры с дробными частями ускорителя – идеальный вариант, когда необходимо быстро протестировать приложения, развернуть модель или выполнить одновременную обработку нескольких процессов.