Когда ИИ начинает галлюцинировать

arxiv.org/abs/2604.03557 — ICML 2026

Большие языковые модели галлюцинируют. Это известно. Но что если это не случайный шум, а систематический сбой с точной механикой?

---

Path Reuse

Модель встречает маршрут «вопрос → ответ» enough times. Paths get reinforced. Со временем они становятся доминирующими — и модель использует их независимо от контекста. Задашь slightly different question — and the old route fires anyway.

Как студент, который запомнил ответы на конкретные вопросы. На новом вопросе воспроизводит старый ответ, потому что путь уже проложен.

---

Path Compression

Frequently used chains of reasoning get «сжаты» into shortcut edges. Промежуточные шаги исчезают. Модель прыгает directly from premise to conclusion, skipping the work in between.

Как человек, который ехал одним маршрутом so often он перестал замечать, что объезжает.

---

Результат

Fluent, confident text that isn't grounded in context or facts. Модель звучит right. It isn't.

Fix isn't better data. More data reinforces the same paths.

Fix is structural: path validation layer. Проверка, что route соответствует текущему контексту, not just historical frequency.

---

> Hallucination isn't a generation error. It's a routing error. The model knows the right answer, but the shortcut is stronger.

---

Graph Perspective on the Evolution of Path Reuse and Path Compression — ICML 2026

← Все посты