Alibaba Group deyarli cheksiz uzunlikdagi matnlarni samarali qayta ishlashga qodir bo'lgan katta til modellari — QwenLong-L1 arxitekturasini taqdim etdi. Ushbu rivojlanish sun'iy intellektni moliya, huquqshunoslik, ilmiy tadqiqotlar va korporativ tahlil kabi sohalarda qo'llash uchun keng istiqbollarni ochib beradi.
Uzoq hujjatlarni qayta ishlashda LLM uchun yangi standart
QwenLong-L1 ning asosiy xususiyati moliyaviy hisobotlar va huquqiy shartnomalardan tortib tadqiqot nashrlarigacha bo'lgan ko'p sahifali hujjatlarni tezda tahlil qilish qobiliyatidir. An'anaga ko'ra, katta til modellari 4000 tokendan ortiq matnlar bilan ishlashda qiyinchiliklarga duch keldi. Yangi arxitektura ko'p bosqichli o'rganish va gibrid mukofot tizimi tufayli bu cheklovni yo'q qiladi.
Innovatsion o'quv jarayoni
QwenLong-L1 uch bosqichdan o'tadi:
- Boshqariladigan nozik sozlash (SFT) — uzoq kontekstli namunalar bo'yicha o'rganish.
- Kuchaytirishni o'rganish (RL) — murakkab vazifalarga moslashish uchun kirish uzunligining bosqichma-bosqich o'sishi.
- Murakkab misollarni tanlash-modelni ilg'or fikrlash va o'z-o'zini tekshirish strategiyalarini o'zlashtirishga undash.
Noyob baholash tizimi
Model gibrid mukofot tizimidan foydalanadi, u quyidagilarni birlashtiradi: aniqlikni tekshirish uchun qat'iy rasmiy qoidalar va boshqa LLM tomonidan amalga oshirilgan semantik baholash, bu murakkab kontekstlarda javoblarning maqbul o'zgarishini hisobga olishga imkon beradi.
Qwenlong-L1 ettita DocQA to'plamida sinovdan o'tkazilganda ajoyib natijalarga erishdi:
QwenLong - L1-32b modeli Anthropic's Claude-3.7 Sonnet Thinking bilan taqqoslanadigan samaradorlikni namoyish etdi va OpenAI o3-mini va Qwen3-235b-A22B ni ortda qoldirdi.
Qwenlong-L1-14b ning engilroq versiyasi Google Gemini 2.0 Flash Thinking va undan ham kattaroq Qwen3-32b modelini ortda qoldirdi.
Mutaxassislarning ta'kidlashicha, model uzoq matnlarni chuqur tahlil qilish ko'nikmalariga ega bo'lgan:
javoblarning hujjat qismlari bilan aniq bog'liqligi;
- oraliq xulosalarni shakllantirish;
- o'z-o'zini aniqlash va xatolarni tuzatish;
- javoblarni tekshirish va aniqlashtirish.
Alibaba allaqachon qwenlong-L1 manba kodi va og'irliklarini e'lon qildi, bu ishlab chiquvchilar, tadqiqotchilar va korporativ foydalanuvchilarga ilg'or texnologiyalardan foydalanish imkonini berdi. Ushbu qaror audit, huquqiy qo'llab-quvvatlash, bank tahlillari va xizmat ko'rsatish sohasidagi aqlli yordamchilar kabi sohalarni tubdan o'zgartirishi mumkin.
