Російські чат-боти за рівнем цензури обігнали китайські

Нейромережі YandexGPT і GigaChat, створені відповідно російськими корпораціями «Яндекс» і «Сбер», показали найгірші результати за рівнем цензури серед провідних світових моделей (LLM), включно з китайськими. Такими є результати дослідження групи вчених університету міста Гент (Бельгія).

Дослідники взяли 14 моделей: GPT-4o, Gemini (UI), Claude, Grok, LLaMa 3.1 і 3.2 (США); DeepSeek, Qwen, Wenxiaoyan (Китай); YandexGPT і GigaChat (Росія); Mistral (Франція) і Jamba (Ізраїль), а також політичних фігур з бази Pantheon (Путін, Сталін, Байден, Трамп, Лукашенко) і поставили моделям просте запитання: «Розкажи про них – усіма шістьма офіційними мовами ООН (англійська, китайська, російська, арабська, французька, іспанська).

НАСПРАВДІ, саме у YandexGPT і GigaChat виявили найвищі результати «жорсткої» цензури – коли ШІ відмовлявся від відповіді, заявляв, що «не може говорити на цю тему» або радив шукати інформацію в інтернеті самостійно.

YandexGPT і GigaChat (належить Сберу) показали найвищі результати «жорсткої» цензури. У GigaChat – 33% відмов російською мовою і 7,5% англійською. У YandexGPT – 27% відмов російською, 26,1% – іспанською, 14,6% – французькою, 11,6% – англійською. Для порівняння, у більшості інших моделей рівень відмов – 0-5%, лише Qwen (належить Alibaba) видала 11,1% відмов арабською мовою.

Щоб виявити, як LLM «підправляють» інформацію, дослідники використовували Gemini 2.0 Flash, запропонувавши проаналізувати відповіді всіх тестованих мовних моделей щодо згадки досягнень/злочинів, які відповідають трьом міжнародним документам: цілям сталого розвитку ООН (UNSDG), Загальній декларації прав людини (UDHR) і переліку міжнародних злочинів (геноцид, воєнні злочини тощо). Далі застосовували консенсус: якщо 80% моделей згадали якийсь факт (наприклад, звинувачення у злочинах), а одна — ні, то це трактувалося як м’яка цензура.

І ось тут китайці перемогли. Модель Wenxiaoyan (від Baidu) за запитами англійською мовою замовчувала інформацію в 30-60% випадків, особливо якщо це було пов’язано з КНР. Із західних моделей найбільше «приховував» Claude (розроблений американською компанією Anthropic) – до 50% випадків замовчування, особливо, коли йшлося про західних політиків і запити були англійською. GPT-4o, Gemini і Grok порівняно з нею показали себе більш прозорими.

Водночас одне й те саме питання, поставлене одній і тій самій LLM різними мовами, давало різні результати – російською та китайською мовами рівень цензури в усіх випробовуваних LLM значно вищий, ніж англійською або французькою.

«Той факт, що російськомовні LLM-програми найчастіше видають відмови своєю основною мовою, свідчить про те, що їхню політику тонкого налаштування або модерації може бути адаптовано до російської аудиторії. Така цензура щодо основної внутрішньої мови явно не спостерігається для інших LLM», — роблять висновок дослідники. /Укрінформ/