Новая метрика оценит 'интеллект' языковых моделей

Учёные разработали новую метрику для оценки языковых моделей – плотность способностей (capability density). Она определяет соотношение количества навыков, таких как точность, логическое рассуждение, кодирование и общие знания, к числу параметров модели. Исследование охватило 51 открытую языковую модель, начиная с ранних разработок и заканчивая самыми современными.

Исследование выявило закономерность, названную законом нарастания плотности (densing law). Плотность способностей моделей быстро увеличивается: каждые 3,5 месяца на один параметр приходится всё больше интеллекта. Это означает, что со временем даже небольшие модели могут достичь эффективности крупных, что позволяет запускать сложные ИИ-системы на менее мощном оборудовании и снижать вычислительные затраты.

Модели с меньшим числом параметров всё быстрее демонстрируют результаты, сравнимые с лидерами отрасли, сразу после обучения. Это открывает перспективы использования передовых ИИ-технологий на персональных компьютерах, ноутбуках и смартфонах, делая их более доступными. При этом, учёные отмечают, что увеличение количества параметров само по себе не является гарантией успеха, ключевую роль играют продуманные архитектуры, эффективная оптимизация обучения и высокое качество данных.

Ну что ж, теперь ИИ станет настолько умным, что сможет самостоятельно придумывать, как нам жить дальше, а мы будем просто наблюдать и удивляться, как же хорошо, что он всё решил за нас.