Система · ai
Grounded RAG-ассистент в продакшене
AI-автоматизацияAI-культура разработки GoAstroOpenRouterRAGSSEMCP
контент сайта ──► база знаний (по языкам, кэш) ──► retrieval ──► LLM под защитой (OpenRouter) ──► ответ со ссылками
│
защита от prompt-injection · анти-фабрикация · санитизация истории Проблема
Посетители хотят быстро и честно понять, есть ли fit — но обычные чат-боты галлюцинируют, раскрывают системный промпт и уязвимы к инструкциям, спрятанным в сообщениях пользователя (prompt injection).
Подход
Построил grounded RAG-ассистент, который отвечает, используя только базу знаний по каждому языку, собранную из контента самого сайта. Он устойчив к prompt-injection (игнорирует инструкции внутри пользовательских сообщений), отказывается выдумывать метрики, клиентов и доступность, санитизирует историю диалога и ведёт структурированную квалификацию лида. Роутинг модели и кэш базы знаний держат стоимость диалога ограниченной.
Результат
Живая, self-hosted production-LLM-система — не демо — обслуживает реальный трафик посетителей на этом сайте, достаточно заземлённая, чтобы ссылаться на источники, и достаточно безопасная, чтобы отказывать на out-of-scope или инъекционные запросы.
Доказательства
Работает вживую на этой странице — откройте панель ассистента и попробуйте, в том числе попытку prompt-injection.
Доступно для: живое демо
Инженерия здесь — в guardrails, а не в вызове модели: заземление только на извлечённый контекст, устойчивость к prompt-injection, правила против фабрикации и роутинг с кэшем, который держит стоимость предсказуемой. Конкурентность Go делает параллельные и стриминговые запросы естественными — дизайн готов к SSE и MCP.