Бутерин призывает Info Finance прекратить эксплойты в управлении ИИ

• Виталик предупреждает, что наивное управление AI уязвимо для манипуляций и эксплуатации.
• Info finance создает разнообразие моделей и быстрые корректировки, делая управление AI более безопасным.
• Рынки предсказаний и выборочные проверки помогают обеспечить безопасность принятия решений и финансирования AI.

Соучредитель Ethereum Виталик Бутерин предупредил, что наивные модели управления AI представляют серьезные риски, и отметил, что структуры, полагающиеся на AI для финансирования или принятия решений, остаются уязвимыми для манипуляций и эксплуатации. По его мнению, такие системы позволяют злоумышленникам перенаправлять ресурсы, однако он выступает за подход под названием “info finance”, который призван обеспечить подотчетность и предотвратить злоупотребления с помощью рынков, человеческого контроля и проверок.

Аргументы против наивного управления AI

Бутерин подчеркнул, что наивное управление AI рискованно, и добавил, что если AI используется для распределения средств, люди могут манипулировать им с помощью выбранных ими подсказок и получать избыточные деньги. Он далее пояснил, что если модели работают без каких-либо ограничений или руководящих принципов, ими могут злоупотреблять, что поощряет хакеров использовать подсказки и обманывать AI, заставляя его выделять неверные ресурсы. 

Такие уязвимости ставят AI в потенциально опасную ловушку. Кроме того, Бутерин выявил системные слабости, которые, если их не контролировать, могут быть использованы для манипуляций. Незаметные атаки, внедрение подсказок — примеры того, как злоумышленники могут легко воспользоваться ситуацией.

Info Finance как альтернатива

Бутерин выбирает информационные финансы вместо наивного управления, описывая это как подход “institution design”, сочетающий открытую рыночную конкуренцию с человеческой верификацией. Он сказал:

В качестве альтернативы я поддерживаю подход info finance, где существует открытый рынок, на котором любой может внести свою модель, которая подлежит механизму выборочной проверки, инициируемой любым и оцениваемой человеческим жюри.

Он отметил, что Info Finance позволяет внешним участникам интегрировать большие языковые модели (LLM) без жесткой привязки к одной системе. Это обеспечивает разнообразие моделей, снижая вероятность массового сбоя. Также это создает стимулы для разработчиков и спекулянтов внимательно следить за недостатками и быстро реагировать при возникновении проблем.

Один из предлагаемых механизмов включает рынки предсказаний или рынки решений. Несколько моделей будут конкурировать, а участники смогут делать ставки на результаты, сигнализируя, какие модели кажутся наиболее надежными. Человеческие жюри или аудиторы будут периодически проводить выборочные проверки результатов, особенно в случаях с высокими ставками.

Связано: ETH Treasuries увеличились до $12B, пока Виталик предупреждает о рисках кредитного плеча

Последствия для криптовалют и рынков

Info finance опирается на многоуровневую подотчетность, и это особенно заметно в условиях открытой конкуренции, которая позволяет оспаривать или заменять ошибочные модели. Человеческий контроль добавляется через жюри и аудиты. Экономические стимулы не позволяют манипулировать, а прозрачность делает злонамеренное поведение видимым.

Связывая управление AI с блокчейном и трейдингом, Бутерин предполагает, что недостатки централизованного AI могут повысить интерес к децентрализованным решениям, в основном построенным на Ethereum. Кроме того, такие токены, как RNDR от Render Network и GRT от The Graph, предоставляют инфраструктуру для AI-вычислений, что приносит им выгоду от развития. Более того, трейдеры также могут использовать ETH и эти токены для арбитража на фоне волатильности рынка. 

On-chain данные показывают, что количество транзакций ETH, связанных с AI-смарт-контрактами, увеличивается, а вопросы управления AI могут влиять и на технологические акции, такие как NVIDIA и Microsoft, которые также инвестируют в AI. В целом, Бутерин отметил, что Info Finance позволяет быстрее исправлять ошибки, заменяя ошибочные модели и наказывая нарушителей. Он также добавил, что проверки жюри и выборочные проверки предотвратят распространение эксплуатации.

Публикация "Buterin Pushes Info Finance to Stop Exploits in AI Governance" впервые появилась на Cryptotale.