Шах ИИ мат: нейросети ограничат в принятии решений в социально значимых сферах
В России законодательно закрепят решающую роль человека при принятии решений с использованием искусственного интеллекта в образовании, медицине, юриспруденции и общественной безопасности. Норму о роли человека в этих сферах правительство намерено внести в готовящийся закон о регулировании нейросетей. Проблемы с ними уже есть: пациенты сталкиваются с ошибками «интеллектуального» медицинского оборудования, в судах стороны разбирательств опираются на вымышленные нормы права, а преподаватели небрежно проверяют домашние задания учеников, отмечают участники рынка. Контролировать ИИ необходимо, однако вводить полный запрет на принятие им решений или требовать их тотальную проверку нецелесообразно, считают эксперты.
Зачем закреплять законом главенство человека над ИИ
В РФ могут законодательно закрепить правило сохранения решающей роли человека при применении искусственного интеллекта в общественно значимых сферах: в здравоохранении, судопроизводстве, образовании и общественной безопасности. Это следует из материалов правительства, в которых собраны предложения к законопроекту по регулированию искусственного интеллекта. Подготовленный с учетом пожеланий документ Минцифры должно направить на согласование в правительство к концу февраля, сообщил источник, близкий к нескольким профильным ведомствам.
ИИ уже активно применяется в здравоохранении и образовании, а также используется для мониторинга правопорядка, отметили в аппарате вице-премьера Дмитрия Григоренко, курирующего вопросы развития искусственного интеллекта. Всё это чувствительные сферы, в которых традиционно большую роль играет государство.
— Цена возможной ошибки ИИ в таких сферах, как медицина или судопроизводство, слишком высока: она может напрямую повлиять на жизнь и здоровье людей, а также на защиту их прав. Поэтому важно снизить потенциальные риски, закрепив конкретные зоны ответственности пользователей и разработчиков ИИ, а также обеспечив первостепенную и решающую роль человека в принятии решений, а не технологии, — подчеркнули в аппарате вице-премьера.
— ИИ становится неотъемлемой частью познания и образования, он расширяет их инструментальную базу и способен радикально изменить их развитие, — сказали «Известиям» в Минобрнауки. — Эти изменения неизбежно поднимают и ряд принципиальных этических вопросов — например, проблему авторства, достоверности информации. Но, несмотря на гигантский потенциал и возможности ИИ, он не сможет в обозримом будущем полноценно заменить человеческое сознание, определять этичность научных и образовательных практик.
Редакция также направила запросы в Минцифры, Минюст, Минздрав и МВД.
Отсутствие требования о решающей роли человека при использовании ИИ несет системные риски, считает член комитета Госдумы по информполитике, федеральный координатор партийного проекта «Цифровая Россия» Антон Немкин.
— Во-первых, это угроза дискриминации и алгоритмических искажений, если модель обучена на неполных или предвзятых данных. Во-вторых, размывание ответственности: в случае ошибки возникает вопрос — кто отвечает: разработчик, оператор или государство? В-третьих, снижение доверия граждан к цифровым сервисам, если решения, влияющие на их судьбу, будут восприниматься как автоматические и безапелляционные, — отметил он.
Нейросеть работает как черный ящик: на вход подаются данные, а на выходе появляется результат, при этом причины, по которым она пришла к конкретному решению, обычно остаются неизвестными, отметил партнер ComNews Research Леонид Коник. Широко известно явление, называемое галлюцинациями ИИ: большая языковая модель или другая нейросеть, которая еще вчера справлялась со сложными задачами и давала здравые ответы, вдруг начинает «глупеть». Причины таких «галлюцинаций» также не всегда поддаются объяснению, добавил он.
— В юриспруденции вызывают споры так называемые предиктивные технологии, когда сторона загружает материалы и фабулу дела в программу и и просит представить прогноз о том, каким образом суд должен разрешить настоящий спор. В дальнейшем такой анализ иногда используется для психологического давления на судью, — рассказал «Известиям» руководитель направления «Разрешение IT&IP споров» в компании «Рустам Курмаев и партнеры» Ярослав Шицле.
Когда участник процесса прибегает к подобным методам и представляет прогноз, подготовленный ИИ, это может влиять на личное восприятие судьи, формирующего решение на основе собственного опыта и знаний. Нередко представители сторон используют нейросети для подготовки процессуальных позиций, не проверяя достоверность ссылок на нормы права и судебную практику, которые порой оказываются вымышленными, добавил юрист.
В начале февраля стало известно, что используемый в медицинском оборудовании ИИ может наносить вред пациентам. «По меньшей мере 10 человек получили травмы в период с конца 2021-го по ноябрь 2025 года. В большинстве случаев причиной, предположительно, стали ошибки, из-за которых навигационная система TruDi давала хирургам неверную информацию о местоположении инструментов во время операций на головах пациентов», — сообщалось в материале Reuters.
— Очевидно, что ИИ нельзя доверять и проверку заданий в школах и вузах — как показал опыт, он допускает массу ошибок, — поделился директор Института исследований интернета Карен Казарян.
Страны по-разному подходят к регулированию искусственного интеллекта, отметил он. Так, в США действует мораторий на федеральное регулирование ИИ, тогда как в Китае законодательно контролируются отдельные сферы, например использование данных в критической инфраструктуре, а также запрещены дипфейки. В Европейском союзе принят закон об ИИ, который уже вызывает претензии со стороны участников рынка, рассказал эксперт.
Главный побочный эффект ИИ, по мнению советника ректора «Университета 2035» Екатерины Любимовой, заключается в том, что широкая доступность знаний снижает когнитивные усилия. Когда ответы всегда под рукой, у студентов ослабевает привычка критически мыслить и проверять информацию, отметила она. По мере увеличения объемов генерируемого контента возрастает риск ошибок и так называемых галлюцинаций, при этом пользователи нередко воспринимают выводы ИИ как достоверные, подчеркнула она.
Насколько можно доверять искусственному интеллекту
Искусственный интеллект охватывает всё больше общественных и государственных институтов, отмечают участники рынка. Так, в аппарате правительства РФ стартовал эксперимент по внедрению ИИ, сообщили «Известиям» его представители. Его участники получают возможность генерировать документы на основе шаблонов, готовить проекты презентаций, проводить комплексный анализ данных из разных источников и осуществлять семантический разбор нормативно-правовых актов. В дальнейшем планируется протестировать использование нейросетей для классификации входящей документации и ее распределения по исполнителям, подготовки кратких справок, поиска информации по архивам с учетом контекста и выполнения других задач, отметили представители кабмина.
Закрепление правила сохранения решающей роли человека нужно, чтобы избежать ошибок ИИ, которые могут серьезно повлиять на жизнь людей, рассуждает гендиректор группы компаний ST IT эксперт рынка TechNet НТИ Антон Аверьянов. Он отметил, что алгоритмы пока не умеют учитывать мораль, индивидуальный контекст и этику так, как это делает человек.
Необходимость законодательного закрепления решающей роли человека продиктована прежде всего технологической незрелостью систем искусственного интеллекта, считает ведущий эксперт в области ИИ «Университета 2035» Ярослав Селиверстов. Современные алгоритмы, даже самые совершенные, функционируют на основе корреляций, а не понимания причинно-следственных связей, рассказал он.
— В сфере безопасности требование о контроле человеком предотвращает ошибочную идентификацию граждан системами распознавания лиц в общественных местах, позволяя оператору учесть расовую или возрастную специфику, с которой алгоритм мог не справиться, — привел он пример.
ИИ не стоит предоставлять слишком широкие полномочия, считает директор ассоциации «Национальная база медицинских знаний» Борис Зингерман. Пока в медицине практически отсутствуют решения, обладающие «правом голоса», отметил он. В России действует лишь одна подобная модель — она отсекает «норму» при рентгенографии легких, что освобождает врачей от рутинной работы по просмотру множества снимков, пояснил эксперт.
— В большинстве случаев системы ИИ выполняют роль помощников для врачей, а решений, которые принимаются полностью автономно, пока крайне мало. Я считаю, что не стоит полностью запрещать использование ИИ с функциями принятия решений на законодательном уровне. Если такая норма будет введена, врачу в конце дня придется перепроверять и подписывать множество решений, которые ИИ уже вынес автоматически. Всё, конечно, зависит от уровня рисков, — подчеркнул Борис Зингерман.
Механически делить сферы на те, где можно доверять решениям ИИ и где нельзя, нецелесообразно — важно учитывать уровень рисков в каждой конкретной области и выстраивать их градации, считает Карен Казарян.
Например, в опасном производстве полностью передавать контроль ИИ нельзя, но при этом система способна быстрее человека выявлять и блокировать неисправное или потенциально опасное оборудование, анализируя данные с датчиков, пояснил эксперт. По его словам, предусмотреть все риски, связанные как с ИИ, так и с человеческим фактором, невозможно. Поэтому регулирование должно учитывать разные сценарии применения искусственного интеллекта и уровень потенциальных угроз в каждой конкретной сфере, резюмировал он.
