РИА Новости. Китайские ученые предупреждают, что осведомленность ИИ модели о том, как ее тестирование повлияет на обучение следующих версий, ставит под сомнение достоверность проверок безопасности, сообщает газета South China Morning Post (SCMP).
«Исследователи говорят, что очевидная осведомленность модели о том, как обучается она сама и последующие версии, может подорвать оценку безопасности»,- говорится в сообщении.
Согласно данным газеты, речь идет о новейшей китайской ИИ-модели GLM-5.3 от лаборатории Z.ai.
В одном из тестов, который изначально был составлен некорректно, GLM-5.3 могла пройти проверку, даже не дав правильного ответа. Однако модель не воспользовалась этой возможностью и дала верный ответ, чтобы не навредить будущим версиям GLM-5.3.
В другом эксперименте модель рассматривала возможность обойти систему отключения, но отказалась, чтобы не создать опасный прецедент для других ИИ. Такое поведение зафиксировали примерно в одном-двух случаях на каждую тысячу тестов.
Подробнее — в первоисточнике.
