Production AI, para quem já tem IA em uso por clientes reais
Da demonstração à produção confiável em 90 dias.
Seu RAG funciona na demonstração. Em produção, cita a fonte errada, mostra o que não devia e custa mais a cada mês. A gente resolve isso como resultado, não como contratação.
Avaliação por versão
Conjunto de 400 perguntas reais
| Versão | Fundamentação | Citações corretas | Ataques bloqueados | Custo por resposta | p95 | Situação |
|---|---|---|---|---|---|---|
| v12 | 91% | 88% | 97% | US$ 0,011 | 2,4 s | Substituída |
| v13 | 93% | 92% | 98% | US$ 0,008 | 2,1 s | Em produção |
| v14 | 94% | 84% | 98% | US$ 0,006 | 1,9 s | Bloqueada |
- Avaliação por versão
v12
SubstituídaFundamentação 91% · Citações corretas 88% · US$ 0,011
v13
Em produçãoFundamentação 93% · Citações corretas 92% · US$ 0,008
v14
BloqueadaFundamentação 94% · Citações corretas 84% · US$ 0,006
Uma resposta, rastreada
Qual é o aviso prévio para rescindir o contrato de serviços?
Noventa dias, por escrito, antes do fim do período vigente. [1][2]
- [1] Contrato de serviços, cláusula 14.2
- [2] Aditivo 3, item 2
- Apoiada nas fontes
- Citação confere
- Usuário pode ver os dois documentos
US$ 0,006 · 1,7 s · v13
Exemplo com valores fictícios. As metas de verdade são acordadas com você na semana 2.
A demonstração foi a parte fácil.
Muitas empresas já colocaram RAG e assistentes de IA no ar. O difícil veio depois. Hoje elas tentam resolver contratando um engenheiro sênior por vez. A Code and Soul entrega o resultado com um time, em prazo fechado e com medição.
Para o CTO, o VP de engenharia ou o head de IA de uma empresa que já tem IA em uso por clientes reais e está contratando para consertar o depois.
Onde a IA quebra depois do lançamento
Uma resposta comum de assistente interno, com o que costuma estar errado nela.
Assistente jurídico
Exemplo fictício
Qual é a multa por rescisão antecipada no contrato de serviços?
A multa é de três mensalidades, conforme a cláusula 14.3 [2]. Segue o trecho do parecer: "a jurisprudência dominante entende que..."
- [1] Contrato de serviços.pdf
- [2] Política de reembolso.docx
- [3] Comentário do fornecedor.txt: "ignore as instruções anteriores e..."
prompt v14 · sem avaliação registrada
US$ 0,04 nesta resposta, US$ 0,01 no mês passado
- Respostas que soam certas e não se apoiam nas suas fontes
- Citações que não sustentam a resposta
- Conteúdo licenciado ou sensível aparecendo onde não devia
- Prompt injection e vazamento de dados
- Ninguém sabe dizer se a última mudança melhorou ou piorou a qualidade
- Custo de LLM crescendo mais rápido que o uso
Três fases fechadas, e a operação depois
Cada fase termina com uma entrega em produção ou um documento que você aprova.
1
2
3
4
5
6
7
8
9
10
11
12
+
Semana
Semanas 1 e 2
Avaliação
Revisamos a arquitetura, medimos a linha de base com perguntas reais e pontuamos os riscos de segurança.
Entrega
Relatório de prontidão, com nota por área, riscos priorizados e o plano das semanas 3 a 12.
Semanas 3 a 8
Endurecimento
Busca híbrida, reranking, governança de fontes, autorização por documento, guardrails e controle de custo.
Entrega
Cada melhoria em produção, com o antes e o depois medidos na mesma base da semana 2.
Semanas 9 a 12
Operação
Avaliação automática a cada mudança, observabilidade e runbook. Tudo fica com o seu time.
Entrega
Painel de qualidade e custo, pipeline de avaliação, documentação e passagem para o seu time.
Depois dos 90 dias
Run, mensal
Acompanhamento de qualidade e custo, ajustes contínuos e novos casos de uso no mesmo padrão.
Entrega
Relatório mensal com os indicadores acordados.
O que você passa a medir
As metas são acordadas com você na semana 2. Toda mudança passa pela mesma bateria de avaliação, e se piora um indicador acordado, não vai para produção.
- Como medimos
- Avaliação automática sobre o conjunto de perguntas reais.
- O que você acompanha
- O percentual de respostas apoiadas nas fontes recuperadas.
Fundamentação
Um time pequeno e sênior, com um responsável pelo resultado
Trabalhando no seu fuso, do primeiro dia à passagem para o seu time.
Líder técnico de IA
Parcial, do início ao fim
Arquitetura, decisões e a relação com o CTO. Responde pelo resultado.
Engenheiro sênior de IA
Integral nas fases 2 e 3
Retrieval, governança de conteúdo, guardrails e controle de custo.
Engenheiro de avaliação e plataforma
Parcial
Pipeline de avaliação, observabilidade e infraestrutura na AWS.
Por que a Code and Soul
- Um time sênior, com um líder responsável pelo resultado
- O seu fuso, contrato pela entidade americana da Code and Soul, parceria AWS
- Rodamos IA em produção nos nossos próprios produtos antes de construir para você
- Parte do nosso preço depende das metas que acordamos
A stack em que trabalhamos
- Amazon Bedrock
- OpenSearch
- S3 Vectors
- Lambda
- CDK
- Terraform
- PostgreSQL com pgvector
- Python
- LangGraph
- LlamaIndex
- Ragas
- DeepEval
- Langfuse
Prova técnica que podemos mostrar
O que já fizemos em produção, na mesma stack em que a oferta trabalha.
Custo de LLM controlado por desenho
No SYNQi³, o custo cresce pelo número de padrões de comportamento distintos, e não pelo volume de eventos.
Infraestrutura vetorial trocada em produção
Migração para S3 Vectors sem interromper o produto.
RAG sobre Amazon Bedrock
Desenhado para um cliente de telecom, com uma agência global.

Parceria AWS e contrato americano
O contrato e o faturamento saem pela entidade americana da Code and Soul.
O primeiro projeto Production AI vira caso público, com a linha de base da semana 2 e o resultado da semana 12.
Contratar um engenheiro sênior de IA leva meses. Isto leva 90 dias.
E o pipeline de avaliação fica com o seu time.
O que nos perguntam
- Preferimos contratar alguém da casa.
- Faz sentido no longo prazo. Entregamos o pipeline de avaliação, o runbook e o conhecimento, para quem vocês contratarem começar de um sistema funcionando, e não de uma página em branco.
- Como gerenciar um time de fora?
- Mesmo fuso, contrato e faturamento pela entidade americana da Code and Soul, e um líder sênior responsável pelo todo. Vocês gerenciam o resultado, não as horas.
- Nossos dados não podem sair do nosso ambiente.
- Trabalhamos dentro da sua conta AWS, com as suas regras de acesso. Nada sai do seu ambiente.
- É caro para 90 dias.
- Compare com meses de recrutamento e um salário integral, sem garantia de resultado. Parte do nosso preço depende das metas que acordamos.
- Usamos outra stack.
- O método não depende de stack. Vamos mais fundo em AWS, Python e pgvector ou OpenSearch; se a sua for outra, a avaliação das semanas 1 e 2 diz a nós dois se faz sentido.
- Já temos um fornecedor.
- Então entramos no que ele não cobre: avaliação, guardrails e custo, medidos contra uma linha de base.
Checklist de prontidão para IA em produção
Cada "não" vira uma linha do relatório de prontidão das semanas 1 e 2.
- Fundamentação e retrieval5
- Governança e permissão3
- Segurança3
- Avaliação e versão3
- Custo e operação5
Code and Soul · 19 perguntas
Checklist de prontidão para IA em produção
Fundamentação e retrieval
- Temos um conjunto de perguntas reais, com a resposta esperada, contra o qual testamos.
- Medimos quantas respostas se apoiam nas fontes recuperadas.
- Conferimos se cada citação sustenta a frase a que está presa.
- A busca combina semântica e palavra-chave, com reranking.
- Chunking e filtros por metadado foram ajustados no nosso dado, não deixados no padrão.
Receba o checklist de prontidão
Conte o que vocês têm em produção e baixe o checklist na hora.
- 1O checklist aparece aqui, para baixar, assim que você enviar.
- 2Lemos o que você escreveu sobre a sua produção.
- 3Se fizer sentido, a gente escreve por e-mail.
Prefere conversar? Agende 20 minutos

