MIT научил нейросети мыслить логически
MIT представил исследование, которое может коренным образом изменить наше представление об обучении больших языковых моделей. Учёные доказали, что, используя правильный подход к обучению, LLM способны не просто генерировать текст по шаблону, но и выполнять логические рассуждения.
В основе подхода PDDL-INSTRUCT лежат три этапа: начальное обучение, обучение инструкциям с цепочкой рассуждений и оценка. Ключевая особенность – вторая фаза, где модель дополнительно обучается с использованием структурированных инструкций, акцентирующих внимание на полных логических цепочках.
Суть метода PDDL-INSTRUCT заключается в том, что модель перестаёт угадывать ответ, а учится решать задачи последовательно, с внешней проверкой каждого шага.
Как это работает:
1) Модели демонстрируются правильные и ошибочные планы действий с подробными объяснениями.
2) Затем модель самостоятельно выстраивает ход рассуждений, шаг за шагом.
3) Полученные рассуждения анализируются внешним инструментом (VAL), который указывает на ошибки и объясняет причины. Такой подход обеспечивает чёткую обратную связь, а не просто оценку «правильно/неправильно».
Результаты впечатляют: точность выполнения задач планирования у Llama-3-8B возросла с 28% до 94%. Этот значительный прогресс объясняется качеством обратной связи, позволяющей модели осваивать логику, а не просто копировать шаблоны.
Важно отметить, что LLM в этой схеме не заменяет традиционные системы, а дополняет их, сохраняя внешнюю проверку и при этом развивая навыки последовательного мышления.
Главный вопрос: если этот метод удастся масштабировать, это может открыть новые возможности для моделей в различных областях – от математики и программирования до бизнес-планирования. Похоже, многие ограничения LLM связаны не с их принципиальными возможностями, а с недостатками обучения.
Ну что ж, по-видимому, теперь нейросетям придётся учиться думать, как люди – с ошибками и последующим самокопанием. Хотя, если честно, иногда и людям это не очень помогает.
