Технократия вместо ценностей: чем опасно внедрение ИИ в управление государством

[Цифровой Интеллект 196]

Фото VCG / VCG via Getty Images

 

1.Технократия вместо ценностей: чем опасно внедрение ИИ в управление государством

 

Новый Департамент государственной эффективности США говорит о важности искусственного интеллекта (ИИ) в деле оптимизации госрасходов, OpenAI объявляет о выходе ChatGPT Gov, а правительство России заявляет о приоритетности внедрения ИИ в свою работу. Этот тренд, кажется, уже стал необратимым. Однако технологии не могут подменять само госуправление, так как в его основе лежат ценности и обстоятельства, неочевидные для «машины». Последствиями слепого доверия ИИ могут быть неверные решения и подрыв доверия к управлению, не учитывающему интересы граждан

 

 

Особенность политического управления — разрешение общественных конфликтов и противоречий на основе ценностей: справедливости, равенства, патриотизма, демократии. В условиях дефицита ресурсов управленец делает выбор, например, между прибылью и сохранением окружающей среды, между инвестированием и социальным обеспечением, между безопасностью и свободой. В исторических речах политиков, будь то лидеры России, Китая или США, мы также увидим обращение к важным объединяющим ценностям для конкретного народа. 

Выбор ценностей в каждом случае обусловливает разные решения. Например, для правоохранителей так называемые «трудные подростки» — это проблемные дети, которые могут стать преступниками, поэтому их нужно «мониторить», в то время как социальные службы настроены социализировать подростка с помощью наставничества, нового круга общения и досуга. 

 

Развитие территорий — еще один пример. Попавший под реновацию промышленный район города, находящийся близко к центру, может быть просто застроен новым жильем, а может стать рекреационной точкой на городской карте. В первом случае городской бюджет получит деньги, а во втором — вырастет комфорт жителей. 

 

Получается, что и избиратель — это не просто «параметр в модели», а полноценный участник политического процесса, у которого могут быть свои ценности и цели, отличные от тех, которыми руководствуются представители госаппарата.  

Как Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  данные ВЦИОМ, в России технологиям ИИ скорее доверяют 52% граждан, не доверяют — 38%. Но это «вообще», а если говорить конкретно о применении ИИ в госуправлении, то цифры меняются местами: 53% Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  к этому негативно, и только 37% — позитивно. Россияне среди прочих отмечали следующие потенциальные риски: принятие ошибочных решений (58%) и отсутствие ответственных за принимаемые решения (57%). В целом ИИ готовы видеть как «помощника», но не конечную инстанцию принятия решений. 

 

Черный ящик

В дискуссиях выделяют четыре основных проблемы в работе ИИ-технологий. 

1. Прозрачность использования. Сам по себе процесс принятия политических решений неочевиден для «простого избирателя» — как в силу сложности процесса, так и его закрытости. Что уж говорить о ситуации, когда решения принимает ИИ, мотивы которого почти невозможно объяснить. Даже разработчики нейросетей не всегда знают, почему и на основании каких параметров алгоритм сделал конкретный вывод. Именно поэтому ИИ часто называют «черным ящиком» — наблюдатель видит только начальный запрос и ответ на него.
2. Усиление предвзятости. ИИ обучается на человеческом контенте и невольно «наследует» стереотипы, существующие в обществе. Это особенно хорошо видно при сравнении моделей, созданных в разных страновых и культурных контекстах. Предвзятости и умолчания, заложенные в каждой культуре, могут усилить существующий дисбаланс и дискриминацию через ИИ. Можно было бы говорить о «дообучении» алгоритмов. Но если политика ценностно обусловлена, то эта проблема может быть в принципе нерешаема в пространстве алгоритмов.
3. Проблема подотчетности и ответственности. Факт применения ИИ может быть использован для переноса ответственности с лиц, принимающих решения на «машину». Положительные эффекты от использования ИИ попадут в отчеты об эффективной работе, а провалы и ошибки будут списываться на несовершенство ИИ-моделей.   
4. Техническое несовершенство ИИ, например: 

• наличие в работе нейросетей «галлюцинаций», то есть фактических ошибок;
• проблема воспроизводимости исследования — можно получить два разных ответа на один вопрос, заданный в разное время одной модели;
• ограниченный объем материала для обучения алгоритма, которое требует огромных баз данных. 

Таким образом, на текущем этапе развития ИИ нельзя быть уверенным в принятии прозрачных и беспристрастных решений, так как поведение алгоритма неочевидно. ИИ лишь в названии имеет упоминание интеллекта, при этом имеет совершенно иную от человеческого интеллекта природу, поэтому должен использоваться в понятных и выверенных «границах».

Пределы доверия

Принятие решений на основе технологий («гипертехнократия») уделяет мало внимания ценностям и убеждениям людей. Все формы человеческого опыта становятся просто «поведенческими данными», которые превращаются в продукт для анализа, прогнозирования и управления.

 

Выбор в пользу внедрения ИИ в госуправление является сам по себе политическим решением, хотя это может аргументироваться через призму технократической эффективности. Любая форма власти, в том числе и бюрократия, всегда политизирована, о чем еще более ста лет назад предупреждал классик социальных наук Макс Вебер.  

Тем не менее ИИ, скорее всего, будет внедряться в госуправление и без согласия избирателей. Сам по себе сложный характер технологии и небольшое количество участников процесса — государство и IT-гиганты, владеющие патентами и технологиями, — способствуют тому, что внедрение пойдет строго «сверху вниз», хотя и не без проблем.

В США использование правительством ИИ для выявления потенциальных угроз в социальных сетях уже Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое. . Эта кампания вызвала опасения по поводу неприкосновенности частной жизни, особенно среди иммигрантов. 

Еще в 2012 году в Польше был разработан и Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  профилирования безработных с учетом ряда характеристик. Отнесение к одной из трех категорий определяло, может ли человек получать господдержку и на какие типы программ может рассчитывать: трудоустройство, профессиональная подготовка или совсем ничего. Многие безработные жаловались в административные суды, утверждая, что категоризация несправедлива и непрозрачна. Итогом стало признание механизма неконституционным.

В США и Испании Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  применения ИИ судами для принятия решений об условно-досрочном освобождении для оценки вероятности рецидива. Исследования показали, что использование ИИ лишь усиливало предвзятость и дискриминацию, которые уже присутствовали в этих решениях до использования технологий. 

 

Неразборчивое использование ИИ не только не повысило эффективность государства, но и снизило доверие общества к ИИ, а соответственно, и ко всем мерам государственной власти, направленных на внедрение ИИ.

Таким образом, наличие доверия — необходимое условие для внедрения ИИ в государство. В противном случае граждане могут ответить ростом не только пассивного сопротивления, но и активным протестом, ростом популярности политиков-популистов, которые помогут им «спастись» от ИИ.

 

 

Российский опыт

В России внедрение ИИ является частью программы цифровой трансформации, которая есть у каждого ведомства. Для поддержки госорганов правительство Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  о планах по созданию проектного офиса по внедрению ИИ, а для выработки законодательного подхода к развитию ИИ создаются специализированные рабочие группы. Подобную Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  в Совете Федерации в конце января 2025 года, а до этого был создан Консорциум исследований в области доверенного защищенного ИИ.

В России пока нет единого регулирования ИИ, есть законы и подзаконные акты, относящиеся к различным отраслям. Предполагается, что принятый в 2023 году Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.  является достаточной юридической рамкой для успешного внедрения ИИ. Но экспертное сообщество еще в процессе подготовки закона обращало внимание, что сценарии применения ИИ многообразны, а данный документ их не покрывает. В то же время госслужащие работают по четким регламентам и инструкциям, в которых нет места неопределенным сценариям. Поэтому пока массово внедряются наиболее простые решения, например чат-боты. Подобная неопределенность не дает государству использовать ИИ в полной мере — но в то же время пока и купирует риски.

 

Единый подход к применению ИИ мог бы быть сформулирован в виде полноценного Цифрового кодекса, о внедрении которого говорится уже несколько лет. Подобный документ мог бы раскрыть принципы использования ИИ в госсекторе и одновременно защитить цифровые права граждан от уже понятных рисков. Но, к сожалению, тема интересов общества при внедрении ИИ в госуправление находится на периферии экспертной дискуссии и лишь изредка обсуждается заинтересованными сторонами.

 

 

 

2.Булат Ганиев: «ИИ поможет повысить качество принимаемых государством решений»

Сооснователь ГК «Технократия» рассказал, как власти Татарстана внедряют искусственный интеллект в системе управления

 

 

 

IT-индустрия Татарстана за последние годы выросла более чем втрое — совокупная выручка компаний достигла 225 млрд рублей по итогам прошлого года. Все больше татарстанских компаний выбирают отечественные программные продукты, а республиканские органы власти с 1 января этого года перешли на использование российской операционной системы и офисного ПО. Впереди новый вызов — внедрить технологии искусственного интеллекта в госуправлении в рамках республиканского проекта «ГосПромт». О том, почему без ИИ не обойтись, чем привлекательны российские решения на рынках Центральной Азии, рассказал сооснователь ГК «Технократия» Булат Ганиев.

 

«ГосПромт» — новая культуры принятия государственных решений

— Булат, в России растет тренд на использование искусственного интеллекта. За год до этого Минцифры РТ начало заниматься внедрением генеративного ИИ в госуправлении и в марте запустило цифрового помощника «ГосПромт». Как вы оцениваете потенциал внедрения ИИ и функциональные возможности нового сервиса для органов власти?

— Генеративный искусственный интеллект активно используется в нашей жизни, но в госуправлении его возможности огромны. Речь идет не только об избавлении от рутинной работы, а о переходе на качественно иную ступень подготовки и принятия управленческих решений. Обладая ресурсами для аналитики большого массива данных, руководитель получает возможность принимать взвешенные и продуманные решения. В этом я вижу пользу от внедрения генеративного ИИ в системе государственного управления.

Правда, у многих распространено представление об ИИ как о загадочном гении «из коробки», который способен решать абсолютно любые задачи. Пока это не так, но мы на пути к этому. С невероятно быстрым прогрессом в рассуждающих задачах требовательность к человеку, использующему ИИ, растет. Нужно иметь очень широкую компетенцию, чтобы уметь валидировать выводы. В любом случае ответственность за принимаемое решение будет лежать на человеке.
Источн

Динар Фатыхов / realnoevremya.ru

В любом случае ответственность за принимаемое решение будет лежать на человеке.
Источник

Не до конца побеждена проблема «галлюцинаций» в генеративном ИИ. Кроме того, использование зарубежных LLM в работе с чувствительными данными опасно утечками. Поэтому хорошо, что создаются и внедряются российские решения с акцентом на безопасность. Проект «ГосПромт» положил начало формированию новой культуры принятия государственных решений в республике, его нужно активно масштабировать, встраивать в разные уровни госуправления. Огромное количество рутинных задач можно доверить ИИ: работу, которую выполняли 10 человек, теперь могут выполнять один-два сотрудника, но вооруженные хорошим ПО на базе ИИ. Их задача — перепроверять и валидировать исходные данные, которые лягут в основу принятия управленческих решений. В отличие от человека, ИИ может удерживать в памяти большое количество данных и анализировать большее количество параметров.

Внедрена платформа «Лилия» для создания чат-ботов на базе технологий искусственного интеллекта. На ней в госорганах Татарстана сделано уже более 50 чат-ботов, которые обработали свыше 1 млн вопросов.

— Как применяете ИИ в своей работе?

— Революция новой волны ИИ сильно меняет то, как создаются цифровые продукты и как люди их потребляют. ИИ проник в большинство процессов нашей компании. Мы используем его как копилот в разработке кода, создании дизайна, анализе документов и работе с кадрами. Хорошим тоном стало проверять с помощью ИИ расчеты и анализ. Это не поверхностная трансформация, а технологический прорыв, который меняет саму суть цифровых продуктов.

— Над какими проектами в области ИИ работает ваша компания?

— В применении ИИ внутри корпораций есть своя специфика. Большие языковые модели ничего не знают про контекст конкретного бизнеса. Чтобы решить эту проблему, мы разработали свою RAG-платформу PanteonOS. Наш подход позволяет работать с генеративным ИИ, погруженным в контекст бизнеса, и строить умных агентов вокруг этой платформы. Сейчас мы видим колоссальный бизнес-эффект от внедрения этой технологии в службах поддержки и сервиса, работе с кадрами, юридических и финансовых службах. Забегая немного вперед, ждите от нас интересных пилотов в сфере медицины.

— Как вы оцениваете уровень цифровизации в Татарстане?

— Татарстан — один из передовых регионов России по внедрению цифровых технологий во все аспекты жизни. Республика одной из первых в стране перевела все государственные и муниципальные услуги в электронный вид. В 2024 году уровень цифровой зрелости Татарстана достиг 95%. В августе 2024 года Министерство цифрового развития РТ анонсировало «Госуслуги 2.0», которые упростят предоставление услуг — их можно будет получить при помощи одной кнопки через видеозвонок.
Источник : 

 

 

Татарстан системно инвестировал в инфраструктуру, кадры, продвижение бренда республики. Это приводит к тому, что к нам тянутся крупные компании, открывая здесь офисы: «Сбер», «Яндекс», ВК. Сюда переезжают и появляются стартапы. Например, IT-парки сегодня объединяют более 700 компаний-резидентов с выручкой свыше 40 миллиардов рублей в год.

— Чем сейчас занимается «Технократия»?

— За последние 3 года мы пересобрали бизнес. Наше международное направление продолжило заниматься цифровизацией банковского сектора, а в России мы сфокусировались на ИИ (Technokratos AI) и кибербезопасности (Xilant).

Страны с амбициями на суверенитет начали диверсифицировать продукты

— Как «приживаются» отечественные IT-продукты в странах СНГ? Ведь они свободны в выборе решений?

— Это провинциальный синдром — считать наши решения вторичными. Российские продукты в некоторых областях превосходят западные. Но им нужны не просто продукты, а комплексная экспертиза для банков Центральной Азии. Это не просто взять и поставить коробочное решение. Тут нужно учитывать пользовательский опыт продукта, уметь правильно настроить «коробки», верно организовать сбор аналитических данных. Это сплав технологий и продуктов.

Это провинциальный синдром — считать наши решения вторичными.

— Почему они выбирают российские продукты?

— Введение санкций против РФ послужило уроком. Руководства стран увидели, что IT-инфраструктура — не просто технология, а инструмент влияния. Когда в России начали отключать западные продукты, многие поняли, что, может, не стоит складывать яйца в одну корзину и полностью садиться на иглу западных компаний. По указке сверху их могут выключить.

Страны с амбициями на суверенитет начали диверсифицировать продукты, а Россия становиться интересным поставщиком решений для тех стран, которые не хотят полностью зависеть от США и Китая. Мы можем предложить вариант технологического сотрудничества без политических рычагов влияния. — Идет ли борьба за проникновение на рынках СНГ? Конечно. В странах СНГ работают мировые лидеры — Amazon, Google, Oracle, просто потому что они работают на глобальных рынках. Тут идет абсолютно рыночное столкновение. Российские продукты конкурируют с мировыми. Тот же «Яндекс» активно выходит на рынки СНГ и хорошо себя проявляет в конкурентной борьбе.

Есть попытки помешать и замедлить рост проникновения российских компаний на глобальном рынке. Это случилось с Positive Technologies, одним из лидеров кибербезопасности на международных рынках. Ее внесли под санкции. Сейчас стали всплывать подробности обвинений, оказалось, многое было сфабриковано, но компания так и остается под санкциями. Элементы грязной игры против российских продуктов есть. Но мы, работая в Центральной Азии, пока не сталкивались с сильным противодействием. Все всё понимают.
Источник 

 

 

— Какие запросы есть на кибербезопасность?

— В составе нашей группы есть дочерняя компания Xilant, которая ориентирована на безопасную разработку (Application Security или DevSecOps). Мы помогаем выстраивать безопасный процесс разработки, делая безопасность базовым и неотъемлемым качеством современных продуктов. Сейчас айтишники создают сервисы, а ребята из кибербеза их «обороняют».

Выглядит как концепция замка, окруженного стенами. Но стены учатся обходить, и если крепость дырявая, то ее взломают. Мы же за то, чтобы продукты сразу создавались защищенными. Понятно, что сейчас Россию атакуют максимально часто, но в других странах атак не меньше. Там процветает мошенничество, кражи, поэтому наша экспертиза ценна. За последние три года Россия накопила опыт отражения самых опасных хакерских атак. Этот опыт помогает создавать одни из лучших в мире продуктов в сфере кибербезопасности и имеет огромный экспортный потенциал.

 

 

При написании статьи использовались следующие материалы:

1.Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

2.Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

3.Войдите или зарегистрируйтесь, чтобы увидеть скрытое содержимое.

[Chestr 17,271]

Палка о двух концах конечно. Я бы не внедрял на данном этапе, пока еще он не достаточно развит и отточен. Но в целом процесс необратим как видится. 

[Olgard 14,393]

1 час назад, Chestr сказал:

Палка о двух концах конечно. Я бы не внедрял на данном этапе, пока еще он не достаточно развит и отточен. Но в целом процесс необратим как видится. 

А когда поумнеет, то станет еще опаснее

 

[Chestr 17,271]

1 минуту назад, Olgard сказал:

А когда поумнеет, то станет еще опаснее

 

Скайнет маловероятно что случится.