Темная сторона обучения по программе LLM: как, по сообщениям, «Проект Панама» компании Anthropic уничтожил миллионы книг.

Литературная резня для машинного обучения

В неустанном стремлении к превосходству в области искусственного интеллекта жажда высококачественных обучающих данных достигла апогея. Хотя большинство пользователей взаимодействуют с ИИ через понятные интерфейсы и полезные ответы, за кулисами выявилась тревожная тенденция. Появились сообщения о том, что Anthropic, компания, занимающаяся разработкой ИИ и создавшая серию книг о Клоде, провела масштабную операцию по приобретению и систематическому уничтожению миллионов физических книг для ускорения обучения своих больших языковых моделей (LLM).

Операция, предположительно получившая кодовое название «Проект Панама», подчеркивает растущий конфликт между сохранением человеческой культуры и индустриализацией сбора данных для эпохи ИИ.

Раскрытие «Проекта Панама»: механика разрушения

Согласно сообщениям, включая подробное расследование Washington Post, «Проект Панама» был не просто попыткой оцифровки, а разрушительной операцией. Процесс был разработан для максимальной эффективности и скорости, отдавая приоритет производительности, а не сохранению.

Сообщается, что рабочий процесс включал несколько безжалостных этапов:

• Массовое приобретение: Тратить миллионы долларов на приобретение огромных объемов печатной литературы на коммерческих рынках.
• Деструктивная подготовка: Вместо тщательного сканирования переплетенных томов компания, как утверждается, обрезала корешки книг. Это позволило пропускать отдельные страницы через высокоскоростные промышленные сканеры со скоростью, значительно превышающей скорость традиционных методов сканирования книг.
• Оцифровка: Отдельные страницы были преобразованы в машиночитаемый текст, который затем был интегрирован в огромные массивы данных, используемые для совершенствования когнитивных способностей Клода.
• Утилизация: После извлечения текста оставшиеся физические фрагменты — теперь лишенные переплета — были выброшены как отходы.

Внутренний плановый документ, как утверждается, описывал проект с пугающей ясностью: «Проект «Панама» — это наша попытка разрушительно отсканировать все книги в мире», добавляя: «Мы не хотим, чтобы кто-либо знал, что мы работаем над этим».

Юридические последствия и дебаты о «добросовестном использовании»

Споры вокруг проекта «Панама» неразрывно связаны с более широкой юридической борьбой за авторские права в эпоху ИИ. Компания Anthropic недавно урегулировала крупный судебный иск о нарушении авторских прав на сумму 1,5 миллиарда долларов. Хотя суд постановил, что обучение моделей ИИ в целом подпадает под понятие «добросовестного использования» — сравнивая процесс обучения ИИ с работой писателя-человека, изучающего существующие произведения для создания чего-то нового, — суд также установил, что Anthropic нарушила авторские права, поддерживая библиотеку из 7 миллионов пиратских книг.

В то время как другие гиганты ИИ, такие как OpenAI, Google и Meta, сталкивались с аналогичными судебными исками, касающимися использования цифровых библиотек, Anthropic в настоящее время является единственным крупным игроком, который, как сообщается, физически уничтожал физические копии книг для достижения своих целей в области данных.

Ответ Anthropic

В ответ на вопрос Tom's Guide представитель Anthropic защитил практику поиска книг, отметив, что это распространенный подход в индустрии ИИ.

Компания подчеркнула, что не нацелена на редкие или антикварные книги, заявив: «Ни одна из наших программ сбора данных не покупает и не уничтожает «редкие» или «антикварные» книги. Мы покупаем книги на обычных коммерческих рынках». Что касается юридических споров, компания сослалась на соглашение с Бартцем, утверждая, что суды подтвердили законность обучения ИИ в соответствии с авторским правом.

Этический вывод

Раскрытие информации о проекте «Панама» поднимает глубокие этические вопросы. Хотя компания утверждает, что она нацелена только на обычные коммерческие книги, систематическое уничтожение миллионов физических объектов ради цифровой копии создает шаткий прецедент. Потеря физической литературы, даже в больших количествах, представляет собой сдвиг в сторону мира, где оригинальные артефакты человеческой мысли приносятся в жертву ради подпитки алгоритмов, которые однажды могут заменить самих авторов.

По мере дальнейшего развития ИИ, противоречие между потребностью в данных и уважением к физической и интеллектуальной собственности остается одной из важнейших проблем для технологического сектора.