Проверка экзаменационных ответов с опорой на материалы курса

В открытом экзаменационном вопросе один и тот же смысл можно выразить разными словами. Задача системы — сопоставить ответ с материалами курса и подготовить объяснение результата проверки.

Разработали систему проверки экзаменационных ответов для колледжа ДГУ. Она получает экзамены и ответы из «Юрайта». Преподаватель выбирает источники: учебник, собственный документ или их сочетание. После подготовки и индексации материалов RAG-поиск подбирает фрагменты для конкретного вопроса, а языковая модель проверяет ответ в найденном контексте.

Для каждого ответа интерфейс показывает результат и объяснение. Комментарии можно отправить обратно в образовательную платформу. Финальная отметка автоматически не выставляется.

Языковая модель развёрнута on-premise — на локальном сервере. Настроили GPU-инференс через vLLM и дообучение модели под задачи проекта. Модель проверяет ответы в контексте учебных материалов, найденных RAG-системой.

Для поискового слоя используется отдельная локальная модель эмбеддингов на llama.cpp с CUDA, а векторные представления материалов хранятся в Qdrant. Инференс и поиск контекста разделены на сервисы.

• Ограничили поиск выбранными учебниками и документами. При объединении контекста материал преподавателя получает приоритет.
• Связали получение экзаменов, пакетную проверку, прогресс и повтор отдельных неудачных проверок.
• Разделили подготовку материалов, поиск и оценивание на сервисы; добавили очередь и повторное использование контекста для одинаковых вопросов.

Реализован программный процесс с локальной LLM: подготовка материалов, поиск контекста, проверка ответов, просмотр результатов и отправка комментариев в «Юрайт». Настроены серверный инференс и дообучение модели.

Интерфейс показан на демонстрационных данных.