Скрытые за алгоритмами: почему ИИ-помощники при покупках маскируют товары американского производства

По мере того, как потребители все чаще обращаются к интерактивным помощникам по покупкам на основе искусственного интеллекта, чтобы ориентироваться на огромных цифровых торговых площадках таких гигантов, как Amazon и Walmart, возникла тревожная тенденция. Новое исследование Центра права и экономики юридической школы Колумбийского университета предполагает, что эти сложные инструменты ИИ, хотя и полезны для общих запросов, действуют как цифровые привратники, которые могут скрывать от обычного покупателя товары, произведенные в Америке.

«Невидимая» предвзятость в рекомендациях ИИ

В отчете под названием «Сделано в Америке, скрыто ИИ» подчеркивается значительное несоответствие в том, как модели ИИ расставляют приоритеты в результатах поиска. Когда исследователи задавали этим помощникам ИИ вопросы о товарах, произведенных в Соединенных Штатах, они часто сталкивались с отказами или расплывчатыми ответами.

Удивительно, но те же самые чат-боты легко предоставляли подробную информацию, когда их спрашивали о товарах, произведенных в Китае. Эри Мейер, старший научный сотрудник центра и соавтор исследования, отметил, что системы технически способны определять данные о происхождении, но, похоже, разработаны таким образом, чтобы не выделять их. «Мы тестировали эти системы так, как это сделал бы инженер, и отказы рассыпались при базовом тестировании», — заявил Мейер. «Данные были, но конструкция была создана так, чтобы их скрыть». В настоящее время ни Amazon, ни Walmart не предоставляют специальный фильтр «Сделано в США» для своих ИИ-помощников, несмотря на наличие обширных систем фильтрации почти для всех других атрибутов продукта. Отсутствие искусственного интеллекта вынуждает покупателей полагаться на его внутреннюю логику, которая, по мнению исследователей, в значительной степени определяется корпоративными стимулами, а не объективным, ориентированным на потребителя отбором товаров. Лина Хан, директор Центра права и экономики и бывший председатель Федеральной торговой комиссии, подчеркнула более широкие последствия для справедливости рынка. «Бизнес-стимулы будут определять, как будут внедряться эти достижения», — отметила она. «Политики и правоохранительные органы играют жизненно важную роль в обеспечении того, чтобы общественность не оказалась в невыгодном положении». Может ли ИИ действительно обнаруживать мошенничество? Возможно, самым ироничным выводом исследования является то, что лежащий в его основе ИИ, возможно, «слишком умен» для собственного блага. Исследователи обнаружили, что как помощники Amazon, так и Walmart способны выявлять подозрительные заявления «Сделано в США» в описаниях товаров — различая проверенные товары отечественного производства и вводящие в заблуждение этикетки. Это говорит о том, что платформы обладают техническими возможностями для определения приоритета подлинных американских товаров, но решили не внедрять эту функцию в целях обеспечения прозрачности для потребителей.

Реакция отрасли

В ответ на исследование представитель Amazon выступил в защиту компании, заявив, что информация о стране происхождения доступна на страницах с подробным описанием товара, и что компания активно работает над улучшением доступности этих данных с помощью своих инструментов для покупок на базе Alexa. Walmart, тем временем, пока не дал официального комментария по поводу результатов исследования.

Поскольку ИИ продолжает становиться основным интерфейсом для наших покупательских привычек, непрозрачность этих рекомендательных систем представляет собой реальную проблему. На данный момент потребителям следует сохранять скептицизм в отношении рекомендаций, основанных на ИИ, и продолжать проводить ручные проверки, когда страна происхождения является приоритетом при принятии решения о покупке.