Основы
Галлюцинации ИИ и память чата vs база учёта
Модель умеет звучать уверенно даже когда факта нет. Чем память переписки отличается от общей базы учёта — и почему агенту нужна именно вторая.
Коротко
Галлюцинация — уверенный ответ без опоры на проверяемую запись: сумма «примерно такая», клиент «вроде тот же», срок «на следующей неделе». Память чата помогает продолжать разговор, но не заменяет учёт.
База учёта — отдельный слой: клиент, сделка, сумма, срок. Агент сначала читает базу; если пусто — говорит, что в системе учёта записи нет, а не додумывает.
Что называют галлюцинациями ИИ
В обиходе «галлюцинации» — когда модель выдаёт правдоподобный текст, который не следует из данных. Для услуг и денег это практический риск: вы слышите, например, «Клиент-N должен 18 000», а в переписке неделю назад фигурировало 15 000, и никто это не зафиксировал вне чата.
Модель заточена продолжать диалог. Если ей не дали твёрдый источник — запись в учёте, письмо, счёт — она заполняет пробелы стилем и вероятностями. Чем длиннее переписка и чем больше сжатых саммари, тем выше шанс сдвига.
| Вопрос | Риск в чате | Ответ из учёта |
|---|---|---|
| Сумма | Округление, путаница аванса и полной | Число из сделки или «в учёте нет» |
| Кто клиент | Одноимённые люди без кода | Карточка или уточнение C-XXXX |
| Срок | «Скоро» вместо даты | Дата в записи или пусто |
| Статус | Желаемое вместо фактического | Статус сделки из базы |
Память чата и «память нейросетей»
Под «памятью» в разговоре про ИИ часто смешивают разное: окно контекста сессии, заметки продукта-чата, саммари прошлых реплик, веса модели. Для владельца услуг важнее простой вопрос: можно ли по этой памяти выставить счёт и не ошибиться?
Обычно нет. Контекст обрезается. Саммари сжимает и теряет суммы. Заметки чата — удобство модели, не журнал учёта. Смена модели или чата обнуляет привычку «оно же помнило». Память переписки хороша для тона и черновиков и плоха как единственный источник о клиентах и деньгах.
База учёта как якорь для агента
Общая база учёта (System of Record) — слой, который агент читает перед ответом о факте и пишет, когда вы просите зафиксировать договорённость. Петля такая: вы говорите обычным языком → агент сверяется с учётом → при риске спрашивает подтверждение → отвечает цифрами из базы.
Если записи нет, честный ответ: «в системе учёта такой записи нет». Это не слабость продукта — это защита от уверенной ошибки.
| Слой | Задача | Факт о сделке? |
|---|---|---|
| Контекст чата | Продолжить диалог | Нет |
| Саммари / «память» чата | Сжать прошлое для модели | Нет |
| База учёта | Клиенты, сделки, сроки, правила | Да |
Как снизить риск на практике
- Не просите агента «вспомнить сумму» — просите посмотреть в учёте или занести факт явно.
- При нескольких похожих клиентах уточняйте код (C-XXXX), а не только имя из чата.
- Рискованные изменения (закрытие, смена суммы) — только с подтверждением человека с правом апрува, не «по памяти диалога».
- Держите одну базу на всех агентов: смена модели не должна обнулять учёт.
Что такое ИИ и чем Siarem отличается от агента — в статье «Что такое ИИ и Siarem». Здесь узкий угол: почему «оно же помнило» не равно «так записано в учёте».
Частые вопросы
Что такое галлюцинации ИИ?
Уверенные ответы модели без опоры на проверяемую запись: выдуманная сумма, перепутанный клиент, срок «из воздуха». Риск растёт, если факты о сделках живут только в переписке.
Память чата — это база учёта?
Нет. Контекст и саммари помогают продолжать разговор, но не заменяют запись о клиентах, суммах и сроках. Общая база учёта — отдельный слой.
Как снизить галлюцинации про клиентов и суммы?
Подключить агента к учёту: перед ответом — прочитать запись; при неоднозначности — уточнить код; если пусто — сказать, что в системе учёта записи нет.
Можно ли победить галлюцинации одним промптом?
Промпт снижает болтливость, но не создаёт проверяемую запись. Без чтения учёта модель снова заполнит пробел.
Чем Siarem здесь помогает?
Siarem — облачная база учёта в РФ для вашего ИИ-агента: факты живут вне чата, агент читает и пишет их, а на рискованные операции спрашивает подтверждение у человека с правом апрува.
Где посмотреть, как это выглядит?
В демо — как агент опирается на общую базу. Подключение — в Старт, заявка на 14 дней — siarem.ru/start-request.