Запитайте, де закінчується AI і починається application logic
Business rules, authorization і irreversible actions повинні залишатися deterministic. Запитайте, які рішення делегуються моделі, а які enforced кодом.
Якщо відповідь “це контролює prompt” — це risk. Prompt не замінює access control, transactions і policy enforcement.
Попросіть evaluation strategy до launch
Команда повинна пояснити, як вимірює quality на representative tasks: expected answers, tool accuracy, groundedness, refusal і failure cases.
Без evals кожна model/prompt change стає суб’єктивною.
Уточніть, як захищаються ваші дані
Що відправляється provider, як працює tenant access, де embeddings, що логують і як зберігаються secrets.
Відповідь має відповідати threat model і data classification.
Запитайте, що буде при failure моделі
Providers можуть мати outage, rate limit або latency. Потрібні timeouts, retries, abstraction, fallback models і non-AI path.
Critical workflow не повинен падати через один 429.
Запитайте про production observability
Потрібні traces для model, prompt version, retrieval, tool calls, latency, validation failures і outcome.
Якщо team не може пояснити debugging поганої відповіді — operate такий product буде дорого.
Уточніть ownership architecture і release process
Кому належать code, infrastructure, CI/CD, docs, secrets, environments і handover.
Сильний partner передає operable product, а не dependency на одного developer.