newsare.net
Привет Хабр!Почти весь короткий век триумфального распространения нейросетей главная претензия к ним — галлюцинации. Любая модель может прКак ИИ-подхалимы затягивают в ИИ-психоз, или К чему приводит токсичное поддакивание
Привет Хабр!Почти весь короткий век триумфального распространения нейросетей главная претензия к ним — галлюцинации. Любая модель может правдоподобно и структурировано выдумать факты, перепутать детали, а признать свою ошибку только тогда, когда ей об этом прямо укажут.Поколения нейросетей стремительно сменяются, постепенно снижая процент галлюцинаций. Но исследователи начали бить тревогу о новой проблеме — поддакивании нейросетей в диалоге с пользователем. И нашли закономерности в диалогах с ИИ: логика разговора толкает человека все глубже и глубже в ложную уверенность, притом без искажения фактов. Так мы получаем людей, глубоко убежденных в своих ложных идеях. В популярных медиа это уже оформили как «диагноз», который назвали ИИ-психозом. Чтобы разобраться в теме, я изучил недавнее исследование, которое и подняло тему о загадочном явлении — сикофантии, которое описывает влияние ИИ на когнитивные возможности человека. Читать далее Read more











