Бенчмарк SLAVA
Большим языковым моделям (LLM) находят применение в самых различных областях благодаря их растущим способностям в ряде задач обработки естественного языка. Результаты бенчмарка позволили сформировать рейтинг мультиязычных LLM по их ответам на вопросы значимых тематик: история, политология, социология, политическая география и основы национальной безопасности. Мы надеемся, что наше исследование привлечёт внимание к указанной проблеме и будет стимулировать появление новых фактологических бенчмарков, которые через оценку качества LLM будут способствовать гармонизации инфопространства, доступного для широкого круга пользователей.
Задача: оценка фактуальности русскоязычных LLM
Решение: бенчмарк SLAVA - Sociopolitical Landscape and Value Analysis
14 тыс.вопросов по истории, обществознанию, политологии, географии и национальной безопасности