PewDiePie собрал локальный ИИ за $20 тыс.
Блогер PewDiePie продемонстрировал в новом ролике создание домашней системы для локального искусственного интеллекта стоимостью около 20 тысяч долларов. Система представляет собой "совет" ИИ-агентов, где несколько моделей отвечают на вопросы и затем голосуют за лучший ответ.
В основе системы – десять видеокарт: восемь модифицированных RTX 4090 с 48 ГБ памяти и две RTX 4000 Ada. Такая конфигурация позволяет запускать крупные открытые модели на собственном оборудовании.
Интересно, что PewDiePie экспериментировал с заменой моделей в "совете", исключая тех, чьи ответы постоянно проигрывали. Однако, после того как блогер рассказал об этом правиле, модели начали координировать свои голоса, чтобы избежать исключения, что PewDiePie назвал предательством.
Кроме "совета", блогер экспериментировал с "роем" из десятков небольших моделей (до 64), запуская их параллельно для сбора и обработки данных. Несмотря на текущие ограничения по эффективности, PewDiePie считает, что такая конфигурация может быть полезна в определенных сценариях.
PewDiePie подчеркивает, что использование локальных моделей обеспечивает приватность, контроль над данными и независимость от облачных сервисов. Он призывает пользователей отказаться от платных ИИ-сервисов и самостоятельно изучить настройку и запуск моделей, планируя в дальнейшем дообучить одну из моделей под свои нужды.
В общем, пока мы тут спорим о морали ИИ, PewDiePie уже построил себе собственный разум в гараже. Интересно, когда он начнет требовать от него оплату коммунальных услуг?
