Гибридная рекомендательная система на основе больших языковых моделей для структурированной классификации описаний таможенных товаров

Работа посвящена проектированию и эмпирическому исследованию автоматизированного конвейера (pipeline) для извлечения структурированных данных и автоматической классификации товаров из неупорядоченных текстов таможенных деклараций на русском языке с помощью дообученной нейросетевой модели. Ссылка на статью: https://doi.org/10.1145/3774905.37957  

Ниже представлен детальный научно-технический разбор основных компонентов системы, методологии и полученных результатов.

1. Архитектура модели и методы оптимизации

• Базовая модель: Использована декодерная архитектура Mixtral-8×7B, построенная на принципе редкой смеси экспертов (Sparse Mixture-of-Experts, MoE). При обработке каждого токена динамически активируются только 2 из 8 экспертных подсетей, что снижает вычислительную сложность при сохранении высокого объема параметров.

• Параметрически-эффективное дообучение (PEFT): Модель адаптирована под доменную специфику таможенного дела с помощью алгоритма LoRA (Low-Rank Adaptation). Это позволило модифицировать низкоранговые матрицы адаптации без полной перенастройки всех 47 млрд параметров.

• Длинный контекст: Система оптимизирована для работы с последовательностями длиной до 32 000 токенов (32k context window), что необходимо для анализа пространных и сложных описаний товаров.

2. Валидация вывода и детерминированная пост-обработка

Для интеграции LLM в критически важную нормативную инфраструктуру требовалась строгая гарантия синтаксической корректности выгружаемых данных:

• Форматирование: Модель генерирует структурированные объекты в формате JSON. В исходном виде синтаксическая валидность выгрузки составила 98.1%.

• Пост-обработка: Применение детерминированных алгоритмов постобработки и валидации на основе правил (rule-based validation) снизило уровень синтаксических ошибок в структуре ответа до 1.06% (JSON Invalid Rate).

3. Экспериментальная база и показатели обучения

• Корпус данных: Первичный датасет включает 847 записей с описанием товаров на русском языке из таможенных деклараций.

• Аугментация данных: Обучение проводилось как на исходном наборе, так и на расширенном (аугментированном) датасете объемом около 106 (1 млн) записей.

• Динамика потерь (Validation Loss):
  • При обучении на базовом датасете значение функции потерь на валидации составило 0.015–0.025.

  • Обучение на аугментированном датасете позволило снизить Validation Loss до уровня ниже 0.002, ценой пропорционального увеличения вычислительных затрат и времени обучения.

4. Бенчмарки и сравнение производительности

В инференс-тестах редкая MoE-архитектура продемонстрировала превосходство над плотными (dense) базовыми моделями при сопоставимом вычислительном бюджете:

• Качество рассуждений: В задачах, требующих логического вывода и понимания контекста (reasoning-oriented tasks), модель показала прирост точности на 10–15 процентных пунктов.

5. Ограничения модели и направления исследований

В исследовании зафиксирован ряд фундаментальных ограничений LLM при обработке регуляторных данных:

1. Семантическая корректность: Риск галлюцинаций и искажения смыслового содержания при сложной классификации.

2. Интерпретация чисел и единиц измерения: Погрешности при распознавании числовых значений, физических величин и их размерностей.

3. Стабильность маршрутизации (Routing Stability): Нестабильность работы механизма маршрутизации токенов между экспертами в MoE.

4. Оценка неопределенности (Uncertainty Estimation): Отсутствие надежных внутренних метрик уверенности модели в выданном результате.

Итоговый практический результат: Разработанный алгоритмический конвейер интегрирован в интерактивную систему поддержки принятия решений (СППР), помогающую таможенным инспекторам классифицировать товары по ТН ВЭД и снижать рутинную нагрузку при проверке деклараций.