AI qidiruv tizimlarida yashirin kamsitishlarni aniqlashni o'rgandi

Lugano universiteti va Jeneva universiteti tadqiqot guruhi qidiruv tizimining reyting algoritmlarida yashirin diskriminatsiyani aniqlashning innovatsion usulini ishlab chiqdi. Katta til modellari (LLM), xususan GPT-4o yordamida olimlar an'anaviy usullar tuzatmaydigan gender buzilishlarini aniqlashga qodir bo'lgan adolatsizlik detektorini yaratdilar. Ushbu qaror algoritmlar ijtimoiy muhim qarorlarga ta'sir ko'rsatadigan sohalarda — xodimlarni tanlashda, tibbiy ma'lumotlarda yoki ta'lim tavsiyalarida alohida ahamiyatga ega.

Texnikaning asosiy elementi yangi cwex metrikasi (class-wise Weighted Exposure) bo'lib, u nafaqat turli jins guruhlariga tegishli hujjatlar sonini, balki ularning chiqarishdagi pozitsiyasini ham hisobga oladi. Kalit so'zlarni hisoblash bilan cheklangan oldingi yondashuvlardan farqli o'laroq, CWEx kontekst semantikasini til modellarining matnning tonalligi va umumiy ma'nosini tushunish qobiliyatidan foydalangan holda tahlil qiladi. Bu so'zlar bilan aniq ifoda etilmagan tarafkashlikning yashirin ko'rinishlarini aniqlashga imkon beradi.

Til modellarining aniqligini baholash uchun tadqiqotchilar LLaMA, Qwen, Mixtral va GPT-4O kabi bir nechta tizimlarni solishtirdilar. GPT-4o qadam-baqadam tushuntirish rejimida (fikr zanjiri) eng muvaffaqiyatli bo'lib, matnlarning 90% dan ortig'ini to'g'ri tasnifladi. Tahlillar shuni ko'rsatdiki, modellar erkaklarga qaraganda ayollarga nisbatan tarafkashlikni aniqlash ehtimoli ko'proq.

Sinov ikkita maxsus ma'lumotlar to'plamida o'tkazildi: grep-BiasIR, 117 ta jinsga sezgir qidiruv so'rovlari va 700 ga yaqin hujjatlarni o'z ichiga olgan va msmgenderbias — neytral, ayollar va erkaklar foydasiga xolislik bilan ajratilgan matnlarning diqqat bilan izohlangan korpusi. Tasniflashning to'g'riligini tekshirish uchun 180 kishi jalb qilingan, ularning baholari GPT-4o natijalariga eng yaqin bo'lgan.

Cwex texnikasi nafaqat ularning miqdorini, balki materiallarning ko'rinishini hisobga olgan holda, etkazib berishning adolatliligini yanada aniqroq baholashga imkon beradi. Bu, ayniqsa, maslahat tizimlari, yollash platformalari va ta'lim xizmatlari uchun juda muhimdir, bu erda yashirin tarafkashlik jamoatchilik fikrini shakllantirishi va individual qarorlarga ta'sir qilishi mumkin. Tadqiqotchilarning ta'kidlashicha, taklif qilingan vosita boshqa belgilar — yosh, etnik kelib chiqishi va boshqalar bo'yicha kamsitishlarni aniqlash uchun moslashtirilishi mumkin.

Tadqiqot AI algoritmlaridan foydalanishda shaffoflik va mas'uliyat muhimligini ta'kidlaydi. Tizimlarning" matematik " tabiatiga qaramay, ular ijtimoiy va madaniy tarafkashlikni aks ettirishga va kuchaytirishga qodir. Til modellarini audit vositasi sifatida qo'llash yangi darajadagi tushunish va nazoratni ta'minlaydi, bu esa adolatsizlikni avtomatlashtirilgan echimlarning bir qismiga aylanishidan oldin o'z vaqtida aniqlash va yo'q qilishga imkon beradi.