Stack de IA: bases de dados vetoriais + servidores GPU

Tudo o que precisa para IA em produção — Qdrant, ChromaDB, NVIDIA RTX PRO 4000, RTX PRO 6000. Ambiente pronto com CUDA, PyTorch, TensorFlow.

Infraestrutura de IA de nível profissional

As bases de dados vetoriais e os servidores GPU são os dois pilares das stacks de IA modernas. Temos ambos. Qdrant ou ChromaDB para embeddings, RAG e pesquisa semântica; servidores GPU para treino, fine-tuning e inferência dos seus próprios modelos. Os seus dados permanecem na UE, as faturas incluem IVA da UE com autoliquidação B2B e a conformidade com o RGPD está garantida desde o primeiro minuto.

Bases de dados vetoriais — RAG, embeddings, pesquisa

As bases de dados vetoriais são o alicerce das aplicações com LLM. Guardam os embeddings dos documentos e encontram semelhanças em milissegundos. Escolha a base de dados que preferir — alojamo-las todas na UE, com faturação com IVA da UE. Cada uma vem com cliente Python pré-instalado e notebooks Jupyter de exemplo.

Qdrant

Escrito em Rust, de alto desempenho, pronto para produção. Ideal para aplicações RAG com milhões de embeddings. Índice HNSW, filtragem por metadados, snapshots.

ChromaDB

A base de dados vetorial mais fácil de usar. Excelente para protótipos e aplicações de IA mais pequenas. Orientada para Python, com embeddings automáticos da OpenAI ou de Sentence Transformers.

Weaviate

Esquema de dados com metadados. Pesquisa híbrida (vetor + filtro por etiquetas). Módulos de IA generativa integrados, API GraphQL.

pgvector

Extensão do PostgreSQL. Se já usa Postgres, adicione vetores sem uma nova base de dados. Integração total com as tabelas existentes e as transações SQL.

Servidores GPU — RTX PRO 4000 e RTX PRO 6000

Placas NVIDIA profissionais com ambiente CUDA pronto a usar. Para fine-tuning, inferência de LLM, visão por computador e renderização 3D. Faturação mensal ou anual, com 10 horas de DevOps incluídas todos os meses. Todas as GPU vêm com CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX e Hugging Face Transformers pré-instalados.

NVIDIA RTX PRO 6000
96 GB GDDR7 · modelos grandes (cerca de 70B parâmetros) · fine-tuning de modelos grandes · inferência multiutilizador + renderização
NVIDIA RTX PRO 4000
24 GB GDDR7 · inferência de modelos pequenos e médios (até cerca de 14B parâmetros) · fine-tuning ligeiro (LoRA/QLoRA) de modelos pequenos

Custo de cargas de trabalho de IA típicas

Cenários de exemplo e o respetivo custo mensal na nossa infraestrutura. Os preços vêm em direto dos nossos planos atuais, sem IVA. Comparando com as tarifas da OpenAI / AWS Bedrock / Anthropic, em muitos casos a infraestrutura própria compensa a partir de 50-100 mil pedidos por mês.

Carga de trabalho de IAConfiguraçãoCusto/mês
RAG para 1M de documentos (chat com documentos)VPS 32G + Qdrant + API OpenAIdesde 240 EUR
Pesquisa semântica para uma loja (50k SKU)VPS 16G + pgvector + Sentence Transformersdesde 100 EUR
Inferência Llama 3 70B (~5k consultas/dia)Servidor GPU RTX PRO 6000 + vLLMdesde 4.000 EUR
Treino de um modelo OCR próprio (CV)Servidor GPU RTX PRO 4000 (mensal)desde 800 EUR
LLM 70B em produção com balanceamento de carga2× servidor GPU RTX PRO 6000 + Kubernetesdesde 8.000 EUR

Pipeline de IA em produção — 5 etapas

Eis o aspeto de um projeto de IA em produção típico, do conceito à aplicação em funcionamento. Para cada etapa temos infraestrutura e padrões prontos, sem que precise de inventar tudo de raiz.

1

Preparação dos dados

Indexação de documentos, limpeza de texto, normalização. Scripts Python num VPS, com saída para MinIO (compatível com S3) ou PostgreSQL.

2

Geração de embeddings

OpenAI text-embedding-3-large, Cohere ou um modelo local (Sentence Transformers, BGE-M3). Embeddings gravados no Qdrant ou no pgvector.

3

Recuperação + RAG

Uma aplicação FastAPI/Next.js envia uma pergunta, a base de dados vetorial devolve os top-K documentos e o contexto é acrescentado ao prompt do LLM.

4

Inferência do LLM

À escolha: Claude/GPT por API (arranque mais rápido) ou um LLM local em GPU (controlo total, custo mais baixo em grande escala).

5

Monitorização e avaliação

Registos de consultas no Loki, latências no Prometheus, custo da OpenAI no Grafana. Avaliação da qualidade com LangSmith ou com o seu próprio benchmark.

O que pode construir

Assistente da empresa (RAG)

Indexe os documentos da empresa no Qdrant, ligue o Claude ou o GPT por API e devolva respostas com contexto. Baixa latência de resposta. Embeddings multilingues, tokenizador ajustado à sua língua.

Pesquisa semântica

Em vez da pesquisa por palavras-chave, pesquise por significado. Os clientes de lojas online registam aumentos de conversão de mais de 30%. Lida bem com línguas flexionadas.

LLM alojado (Llama, Mistral)

O seu próprio modelo num servidor GPU. Sem enviar dados à OpenAI/Anthropic. Controlo total, em conformidade com o RGPD. vLLM ou Ollama para uma inferência simples.

Visão por computador em produção

Deteção de defeitos, OCR, reconhecimento de objetos. Treine com o seu próprio conjunto de dados numa RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.

Conformidade com o RGPD para aplicações de IA

A IA é uma área sensível para o RGPD — dados de treino, embeddings, registos de consultas. A nossa solução minimiza o risco ao manter todos os dados na UE e ao dar-lhe controlo total sobre o tratamento.

  • Todos os dados (documentos, embeddings, registos) em centros de dados da UE — sem transferência para os EUA, o Reino Unido ou a Ásia
  • Possibilidade de usar LLM locais (Llama, Mistral) em vez da OpenAI/Anthropic — sem transferência de dados para os EUA
  • Registos de consultas conservados no máximo 90 dias, com eliminação antecipada a pedido
  • Os embeddings são dados derivados — é possível a eliminação total através da reindexação após a anonimização da fonte
  • Registo de auditoria de cada acesso à base de dados vetorial (quem, quando, que consulta)
  • Acordo de Subcontratação de Dados (DPA) gratuito, em conformidade com o artigo 28.º do RGPD

Perguntas frequentes

Posso usar a OpenAI / Anthropic com uma base de dados vetorial na UE?

Sim. Mantém a base de dados vetorial (Qdrant/ChromaDB) connosco, na UE. Ao LLM envia apenas o contexto top-K e a pergunta do utilizador. Os nossos exemplos mostram como minimizar a transferência de dados.

Que dimensão de modelo posso executar na vossa GPU?

O Llama 3 8B / Mistral 7B funcionam sem problemas na RTX PRO 4000 (24 GB), adequada a modelos até cerca de 14B parâmetros. O Llama 3 70B precisa da RTX PRO 6000 (96 GB). Mixtral 8x22B e maiores: vários servidores GPU. Ajudamos a escolher.

Quanto tempo demora a configuração do ambiente de IA?

O ambiente vem pré-instalado — CUDA, PyTorch, TF, vLLM, Ollama. Primeira inferência em 5 minutos. Para configurações à medida (modelo específico, fine-tuning), normalmente 1-3 horas com a nossa ajuda.

Suportam o fine-tuning de modelos próprios?

Sim. A RTX PRO 6000 (96 GB de VRAM) trata do fine-tuning de modelos até 70B com LoRA/QLoRA. A RTX PRO 4000 (24 GB) cobre o fine-tuning ligeiro de modelos pequenos. O treino completo de modelos da classe GPT não cabe num único servidor GPU.

Posso usar o Pinecone se o Qdrant está convosco?

Sim. O Pinecone é um serviço externo faturado por utilização; o Qdrant corre no seu próprio VPS na UE, os dados nunca saem do seu servidor e o custo é o preço mensal fixo do VPS. Tratamos da migração do Pinecone para o Qdrant com as suas horas de DevOps incluídas.

Escolha uma GPU ou um VPS com base de dados vetorial

Servidores GPU com RTX PRO 4000 ou RTX PRO 6000 e VPS com Qdrant pré-instalado; os preços atuais estão na página de planos. GPU com faturação mensal ou anual, com 10 horas de DevOps por mês.

Ver planos GPU →

Guias para empresas em Portugal