Прямое сравнение LLM на финансовых задачах затруднено из-за закрытости моделей и вариативности тестовых данных, что делает актуальным разработку методов прогнозирования их производительности. Создана методика на основе матричной факторизации, отличающаяся применением алгоритмов рекомендательных систем для предсказания неизвестных метрик качества LLM на финансовых наборах данных. Методика обрабатывает разреженную матрицу, включающую 34 модели и 42 набора данных, и позволяет ранжировать модели по агрегированной метрике, что дает возможность оценивать производительность новых или закрытых моделей без проведения дорогостоящих тестов на всех возможных задачах, ускоряя выбор подходящего ИИ-инструмента для финансовой сферы.
Данная разработка соответствует задачам Стратегии научно-технологического развития Российской Федерации (Указ Президента РФ от 28.02.2024 г. № 145) в области развития технологий искусственного интеллекта и их внедрения в ключевые секторы экономики.
Вяткин А.А., Попцов А.В., Олисеенко В.Д., Абрамов М.В. Исследование применимости матричной факторизации для ранжирования больших языковых моделей // Информатика и автоматизация. 2026. Т. 25, № 2. С. 274–298. https://doi.org/10.15622/ia.25.2.1