HierarchicalTopK: Новый метод для интерпретируемого ИИ
На конференции EMNLP 2025 представили метод HierarchicalTopK, который совершает прорыв в обучении интерпретируемых моделей с переменной разреженностью. Традиционно, уровень разреженности задается заранее и не может быть изменен в процессе обучения. Слишком низкая разреженность приводит к излишней грубости модели, а слишком высокая – к потере интерпретируемости. HierarchicalTopK предлагает обучать модель, способную оперировать сразу несколькими уровнями разреженности.
В отличие от классического подхода, требующего создания отдельных моделей для каждого уровня разреженности, HierarchicalTopK обучает единое пространство, объединяющее различные уровни детализации, от максимальной до обобщенной.
Это позволяет модели динамически переключаться между уровнями разреженности после обучения, сохраняя при этом связь между ними. Даже при высокой разреженности, модель сохраняет понимание взаимосвязи с более детальными слоями, обеспечивая стабильную интерпретируемость.
Главное преимущество – замена множества отдельных сетей на одну гибкую модель, способную адаптироваться к различным задачам и уровням сложности. Это снижает вычислительные затраты, упрощает анализ и повышает прозрачность моделей, открывая возможности для аудита и контроля.
HierarchicalTopK объединяет точность, экономичность и понятность, ускоряя внедрение интерпретируемого ИИ в крупные организации и государственные системы.
