Разработчики ИИ-моделей закупают и уничтожают миллионы книг ради обучения нейросетей

Крупнейшие компании в сфере ИИ, вроде Anthropic, закупают миллионы книг ради обучения своих нейронных моделей, уничтожая сами книги в процессе. Об этом сообщает 404 Media.

Для успешного обучения ИИ-модель должна опираться на высококачественные данные. Но поскольку интернет уже долгое время заполнен посредственным ИИ-контентом, разработчики решили повысить качество своих баз, закупая бумажные книги.

Онлайн-база данных ISBNdb содержит более 110 миллионов книг и с некоторых пор предлагает услуги по оптовой закупке книг для ИИ-компаний вплоть до миллиона экземпляров за заказ. Многие продавцы, опрошенные изданием, сообщили о многократном росте продаж бумажных книг. По ряду косвенных признаков издание сделало вывод, что наиболее масштабные закупки книг осуществляются именно со стороны компаний вроде Anthropic.

Во время одного из судебных исков против компании бывший глава Google Books Том Харви подтвердил, что Anthropic использует метод переработки книг, разделяя их и подавая постранично в высокопроизводительный сканер. В результате были уничтожены миллионы книг.

Издание обеспокоено, что многие редкие и ценные издания могут оказаться навсегда утраченными, а простые люди могут об этом даже не узнать. При этом сами базы данных компаний остаются недоступными для пользователей, поэтому прочитать эти книги как-то иначе может не представиться возможным.