AI инфраструктура от продукционно ниво
Векторните бази данни и GPU сървърите са двата стълба на съвременните AI стекове. При нас има и двете. Qdrant или ChromaDB за ембединги, RAG и семантично търсене; GPU сървъри за обучение, дообучение (fine-tuning) и инференция на собствени модели. Данните ви остават в ЕС, фактурите включват ДДС на ЕС с обратно начисляване за B2B, а съответствието с GDPR е налице от първата минута.
Векторни бази данни — RAG, ембединги, търсене
Векторните бази данни са основата на приложенията, задвижвани от LLM. Те съхраняват ембедингите на документите и откриват прилики за милисекунди. Изберете предпочитаната от вас база — хостваме всички в ЕС с фактуриране с ДДС на ЕС. Всяка идва с предварително инсталиран Python клиент и примерни Jupyter notebook-и.
Qdrant
Написана на Rust, с висока производителност и готова за продукция. Идеална за RAG приложения с милиони ембединги. HNSW индекс, филтриране по метаданни, снапшоти.
ChromaDB
Най-лесната за използване векторна база данни. Отлична за прототипи и по-малки AI приложения. Python-first, автоматични ембединги от OpenAI или Sentence Transformers.
Weaviate
Схема на данните с метаданни. Хибридно търсене (вектор + филтър по етикети). Вградени модули за генеративен AI, GraphQL API.
pgvector
Разширение за PostgreSQL. Ако вече използвате Postgres, добавете вектори без нова база данни. Пълна интеграция със съществуващите таблици и SQL транзакции.
GPU сървъри — RTX PRO 4000 и RTX PRO 6000
Професионални NVIDIA карти с готова CUDA среда. За fine-tuning, инференция на LLM, компютърно зрение и 3D рендиране. Месечно или годишно таксуване, с 10 часа DevOps, включени всеки месец. Всички GPU идват с предварително инсталирани CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers.
Цена на типични AI натоварвания
Примерни сценарии и месечната им цена върху нашата инфраструктура. Цените идват на живо от текущите ни планове, без ДДС. В сравнение с тарифите на OpenAI / AWS Bedrock / Anthropic — в много случаи собствената инфраструктура се изплаща при 50–100 хиляди заявки на месец.
| AI натоварване | Конфигурация | Цена/месец |
|---|---|---|
| RAG за 1 млн. документа (чат с документи) | VPS 32G + Qdrant + OpenAI API | от 240 EUR |
| Семантично търсене за магазин (50 хил. артикула) | VPS 16G + pgvector + Sentence Transformers | от 100 EUR |
| Инференция на Llama 3 70B (~5 хил. заявки/ден) | GPU сървър RTX PRO 6000 + vLLM | от 4000 EUR |
| Обучение на собствен OCR модел (CV) | GPU сървър RTX PRO 4000 (месечно) | от 800 EUR |
| LLM 70B в продукция с балансиране на натоварването | 2× GPU сървър RTX PRO 6000 + Kubernetes | от 8000 EUR |
AI конвейер в продукция — 5 етапа
Ето как изглежда типичен AI проект в продукция — от идеята до работещото приложение. За всеки етап имаме готова инфраструктура и шаблони, които не е нужно да измисляте от нулата.
Подготовка на данните
Индексиране на документи, почистване на текст, нормализация. Python скриптове на VPS, резултатът отива в MinIO (съвместим със S3) или PostgreSQL.
Генериране на ембединги
OpenAI text-embedding-3-large, Cohere или локален модел (Sentence Transformers, BGE-M3). Ембедингите се записват в Qdrant или pgvector.
Извличане + RAG
Приложение на FastAPI/Next.js изпраща въпроса, векторната база връща топ-K документи, а контекстът се добавя към промпта на LLM.
Инференция на LLM
Изберете: Claude/GPT през API (най-бърз старт) или локален LLM на GPU (пълен контрол, по-ниска цена при мащаб).
Мониторинг и оценка
Логове на заявките в Loki, латентности в Prometheus, разходи за OpenAI в Grafana. Оценка на качеството чрез LangSmith или собствен бенчмарк.
Какво можете да изградите
Фирмен асистент (RAG)
Индексирайте фирмените документи в Qdrant, свържете Claude или GPT през API и връщайте отговори в контекста. Ниска латентност на отговора. Многоезични ембединги, токенизатор, настроен за вашия език.
Семантично търсене
Вместо търсене по ключови думи — търсене по смисъл. Клиентите на онлайн магазини отчитат ръст на конверсията с над 30 %. Справя се добре с езици с богата флексия.
Хостван LLM (Llama, Mistral)
Собствен модел на GPU сървър. Без изпращане на данни към OpenAI/Anthropic. Пълен контрол, съответствие с GDPR. vLLM или Ollama за лесна инференция.
Компютърно зрение в продукция
Откриване на дефекти, OCR, разпознаване на обекти. Обучавайте върху собствен набор от данни с RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Съответствие с GDPR за AI приложения
AI е чувствителна област за GDPR — данни за обучение, ембединги, логове на заявките. Нашето решение свежда риска до минимум, като държи всички данни в ЕС и ви дава пълен контрол върху обработването.
- Всички данни (документи, ембединги, логове) в дата центрове в ЕС — без пренос към САЩ, Обединеното кралство или Азия
- Възможност за използване на локални LLM (Llama, Mistral) вместо OpenAI/Anthropic — без пренос на данни към САЩ
- Логовете на заявките се пазят най-много 90 дни, с по-ранно изтриване при поискване
- Ембедингите са производни данни — пълно изтриване е възможно чрез повторно индексиране след анонимизиране на източника
- Одитен лог за всеки достъп до векторната база (кой, кога, каква заявка)
- Безплатно Споразумение за обработване на данни (DPA) в съответствие с член 28 от GDPR
Често задавани въпроси
Мога ли да използвам OpenAI / Anthropic с векторна база в ЕС?
Да. Векторната база (Qdrant/ChromaDB) остава при нас в ЕС. Към LLM изпращате само топ-K контекста и въпроса на потребителя. Нашите примери показват как да сведете преноса на данни до минимум.
Колко голям модел мога да пусна на вашите GPU?
Llama 3 8B / Mistral 7B работят безпроблемно на RTX PRO 4000 (24 GB), която е подходяща за модели до около 14B параметъра. Llama 3 70B изисква RTX PRO 6000 (96 GB). Mixtral 8x22B и по-големи: няколко GPU сървъра. Помагаме с избора.
Колко време отнема настройването на AI среда?
Средата е предварително инсталирана — CUDA, PyTorch, TF, vLLM, Ollama. Първа инференция за 5 минути. За специфични конфигурации (конкретен модел, fine-tuning) обикновено 1–3 часа с наша помощ.
Поддържате ли fine-tuning на собствени модели?
Да. RTX PRO 6000 (96 GB VRAM) се справя с fine-tuning на модели до 70B с LoRA/QLoRA. RTX PRO 4000 (24 GB) покрива леко дообучение на малки модели. Пълното обучение на модели от клас GPT не се събира на един GPU сървър.
Мога ли да използвам Pinecone, докато Qdrant е при вас?
Да. Pinecone е външна услуга, таксувана според използването; Qdrant работи на ваш собствен VPS в ЕС, данните никога не напускат сървъра ви, а цената е фиксираната месечна цена на VPS. Миграцията от Pinecone към Qdrant я извършваме от включените ви часове DevOps.
Изберете GPU или VPS с векторна база данни
GPU сървъри с RTX PRO 4000 или RTX PRO 6000 и VPS с предварително инсталиран Qdrant; актуалните цени са на страницата с плановете. GPU се таксуват месечно или годишно, с 10 часа DevOps на месец.
Вижте GPU плановете →