Інфраструктура для AI промислового рівня
Векторні бази даних і GPU-сервери — два стовпи сучасних AI-стеків. У нас є і те, і те. Qdrant або ChromaDB для ембедингів, RAG і семантичного пошуку; GPU-сервери для навчання, донавчання та інференсу ваших власних моделей. Ваші дані залишаються в ЄС, рахунки містять ПДВ ЄС із механізмом reverse charge для B2B, а відповідність GDPR забезпечена з першої хвилини.
Векторні бази даних — RAG, ембединги, пошук
Векторні бази даних — фундамент застосунків на основі LLM. Вони зберігають ембединги документів і знаходять схожість за мілісекунди. Оберіть улюблену базу — ми розміщуємо кожну з них в ЄС з рахунками з ПДВ ЄС. До кожної додається попередньо встановлений клієнт Python і приклади ноутбуків Jupyter.
Qdrant
Написана на Rust, висока продуктивність, готова до продакшену. Ідеальна для RAG-застосунків із мільйонами ембедингів. Індекс HNSW, фільтрація за метаданими, снапшоти.
ChromaDB
Найпростіша у використанні векторна база даних. Чудово підходить для прототипів і невеликих AI-застосунків. Орієнтована на Python, автоматичні ембединги від OpenAI або Sentence Transformers.
Weaviate
Схема даних із метаданими. Гібридний пошук (вектор + фільтр за тегами). Вбудовані модулі генеративного AI, API GraphQL.
pgvector
Розширення PostgreSQL. Якщо ви вже користуєтеся Postgres, додайте вектори без нової бази даних. Повна інтеграція з наявними таблицями та транзакціями SQL.
GPU-сервери — RTX PRO 4000 і RTX PRO 6000
Професійні карти NVIDIA з готовим середовищем CUDA. Для донавчання, інференсу LLM, комп'ютерного зору та 3D-рендерингу. Помісячна або річна оплата, із 10 годинами DevOps щомісяця в комплекті. На всіх GPU попередньо встановлено CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers.
Вартість типових AI-навантажень
Приклади сценаріїв і їхня місячна вартість на нашій інфраструктурі. Ціни підтягуються наживо з наших актуальних тарифів, без ПДВ. Порівняно з тарифами OpenAI / AWS Bedrock / Anthropic — у багатьох випадках власна інфраструктура окупається за 50–100 тис. запитів на місяць.
| AI-навантаження | Конфігурація | Вартість/міс |
|---|---|---|
| RAG для 1 млн документів (чат із документами) | VPS 32G + Qdrant + OpenAI API | від 240 EUR |
| Семантичний пошук для магазину (50 тис. SKU) | VPS 16G + pgvector + Sentence Transformers | від 100 EUR |
| Інференс Llama 3 70B (~5 тис. запитів на добу) | GPU-сервер RTX PRO 6000 + vLLM | від 4 000 EUR |
| Навчання власної моделі OCR (CV) | GPU-сервер RTX PRO 4000 (помісячно) | від 800 EUR |
| LLM 70B у продакшені з балансуванням навантаження | 2× GPU-сервер RTX PRO 6000 + Kubernetes | від 8 000 EUR |
Конвеєр AI у продакшені — 5 етапів
Ось як виглядає типовий AI-проєкт у продакшені від ідеї до працюючого застосунку. Для кожного етапу в нас є готова інфраструктура та перевірені підходи, які не потрібно вигадувати з нуля.
Підготовка даних
Індексація документів, очищення тексту, нормалізація. Скрипти Python на VPS, результат — у MinIO (сумісне з S3) або PostgreSQL.
Генерація ембедингів
OpenAI text-embedding-3-large, Cohere або локальна модель (Sentence Transformers, BGE-M3). Ембединги записуються в Qdrant або pgvector.
Пошук + RAG
Застосунок на FastAPI/Next.js надсилає запитання, векторна база повертає top-K документів, а контекст додається до промпту LLM.
Інференс LLM
На вибір: Claude/GPT через API (найшвидший старт) або локальна LLM на GPU (повний контроль, нижча вартість у великому масштабі).
Моніторинг і оцінювання
Журнали запитів у Loki, затримки в Prometheus, витрати на OpenAI в Grafana. Оцінювання якості через LangSmith або ваш власний бенчмарк.
Що можна створити
Корпоративний асистент (RAG)
Проіндексуйте внутрішні документи компанії в Qdrant, підключіть Claude або GPT через API і отримуйте відповіді з урахуванням контексту. Низька затримка відповіді. Багатомовні ембединги, токенізатор, налаштований під вашу мову.
Семантичний пошук
Замість пошуку за ключовими словами — пошук за змістом. Клієнти інтернет-магазинів дають зростання конверсії понад 30%. Добре справляється з флективними мовами.
LLM на власному хостингу (Llama, Mistral)
Ваша власна модель на GPU-сервері. Жодних даних не надсилається до OpenAI/Anthropic. Повний контроль, відповідність GDPR. vLLM або Ollama для зручного інференсу.
Комп'ютерний зір у продакшені
Виявлення дефектів, OCR, розпізнавання об'єктів. Навчайте на власному датасеті з RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Відповідність GDPR для AI-застосунків
AI — чутлива сфера з погляду GDPR: дані для навчання, ембединги, журнали запитів. Наше рішення мінімізує ризики, зберігаючи всі дані в ЄС і надаючи вам повний контроль над обробкою.
- Усі дані (документи, ембединги, журнали) — у дата-центрах ЄС, без передавання до США, Великої Британії чи Азії
- Можливість використовувати локальні LLM (Llama, Mistral) замість OpenAI/Anthropic — без передавання даних до США
- Журнали запитів зберігаються максимум 90 днів, із можливістю дострокового видалення на вимогу
- Ембединги — похідні дані: повне видалення можливе через повторну індексацію після анонімізації джерела
- Журнал аудиту кожного звернення до векторної бази (хто, коли, який запит)
- Безкоштовна угода про обробку даних (DPA), що відповідає статті 28 GDPR
Поширені запитання
Чи можна використовувати OpenAI / Anthropic разом із векторною базою в ЄС?
Так. Векторна база (Qdrant/ChromaDB) залишається у нас в ЄС. До LLM ви надсилаєте лише top-K контекст і запитання користувача. Наші приклади показують, як звести передавання даних до мінімуму.
Яку за розміром модель можна запустити на ваших GPU?
Llama 3 8B / Mistral 7B працюють без проблем на RTX PRO 4000 (24 GB), яка підходить для моделей до близько 14B параметрів. Для Llama 3 70B потрібна RTX PRO 6000 (96 GB). Mixtral 8x22B і більші — кілька GPU-серверів. Допоможемо з вибором.
Скільки часу займає налаштування AI-середовища?
Середовище встановлено заздалегідь — CUDA, PyTorch, TF, vLLM, Ollama. Перший інференс — за 5 хвилин. Для індивідуальних налаштувань (конкретна модель, донавчання) зазвичай 1–3 години з нашою допомогою.
Чи підтримуєте ви донавчання власних моделей?
Так. RTX PRO 6000 (96 GB VRAM) справляється з донавчанням моделей до 70B за допомогою LoRA/QLoRA. RTX PRO 4000 (24 GB) покриває легке донавчання малих моделей. Повне навчання моделей класу GPT на одному GPU-сервері не вміщується.
Чи можна використовувати Pinecone, якщо Qdrant розміщено у вас?
Так. Pinecone — зовнішній сервіс із оплатою за використання; Qdrant працює на вашому власному VPS в ЄС, дані ніколи не залишають ваш сервер, а вартість — це фіксована місячна ціна VPS. Міграцію з Pinecone на Qdrant ми виконуємо в межах ваших годин DevOps, що входять у тариф.
Оберіть GPU або VPS із векторною базою даних
GPU-сервери з RTX PRO 4000 або RTX PRO 6000 і VPS із попередньо встановленим Qdrant; актуальні ціни — на сторінці тарифів. GPU з помісячною або річною оплатою, із 10 годинами DevOps на місяць.
Переглянути GPU-тарифи →