Alibaba Group представила прорывную архитектуру больших языковых моделей — QwenLong-L1, способную эффективно обрабатывать тексты практически неограниченной длины. Эта разработка открывает широкие перспективы для применения искусственного интеллекта в таких отраслях, как финансы, юриспруденция, научные исследования и корпоративная аналитика.
Новый стандарт для LLM в обработке длинных документов
Ключевая особенность QwenLong-L1 — способность быстро анализировать многостраничные документы: от финансовых отчётов и юридических контрактов до исследовательских публикаций. Традиционно большие языковые модели испытывали сложности при работе с текстами, превышающими 4000 токенов. Новая архитектура устраняет это ограничение благодаря многоэтапному обучению и гибридной системе вознаграждения.
Инновационный процесс обучения
QwenLong-L1 проходит через три стадии:
- Контролируемая тонкая настройка (SFT) — обучение на выборках с длинными контекстами.
- Обучение с подкреплением (RL) — поэтапное увеличение длины входных данных для адаптации к усложняющимся задачам.
- Отбор сложных примеров — стимулирование модели к освоению продвинутых стратегий рассуждения и самопроверке.
Уникальная система оценки
Модель использует гибридную систему вознаграждения, которая сочетает: жёсткие формальные правила для проверки точности, и семантическую оценку, проводимую другой LLM, что позволяет учитывать допустимые вариации ответов в сложных контекстах.
В ходе тестирования на семи DocQA-наборах QwenLong-L1 показала выдающиеся результаты:
Модель QwenLong-L1-32B продемонстрировала эффективность, сравнимую с Claude-3.7 Sonnet Thinking от Anthropic, превзойдя OpenAI o3-mini и Qwen3-235B-A22B.
Более лёгкая версия QwenLong-L1-14B превзошла Google Gemini 2.0 Flash Thinking и даже более крупную модель Qwen3-32B.
Особое внимание эксперты уделяют тому, что модель приобрела навыки глубокого анализа длинных текстов:
точное соотнесение ответов с частями документа;
- формулировка промежуточных выводов;
- самостоятельное обнаружение и исправление ошибок;
- верификация и уточнение ответов.
Alibaba уже опубликовала исходный код и веса QwenLong-L1, предоставив разработчикам, исследователям и корпоративным пользователям доступ к передовой технологии. Это решение может радикально трансформировать такие сферы, как аудит, юридическое сопровождение, банковская аналитика и интеллектуальные ассистенты в сфере обслуживания.
