Современный прикладной ИИ — это стек, а не одна LLM модель: рассуждающие LLM (o3, GPT‑4.1/4o, Claude Opus 4) + доступ к данным через RAG, + агенты с инструментами и правами в ваших системах.
- OpenAI o3, GPT‑4.1/4o; Anthropic Claude Opus 4.
- On‑prem: Llama 3.1, Mistral Large, Mixtral.
- Структурированные ответы: JSON Schema, tool/func calling.
- Тактики: CoT, self‑consistency, reflection, verifier.
- Оптимизация: prompt cache, batching, speculative decoding, vLLM.
Вектора: text‑embedding‑3‑large, bge‑m3, e5‑large‑v2, Voyage‑large‑2.
Векторные БД: Pinecone, Weaviate, Milvus, pgvector, Elasticsearch/OpenSearch.
Поиск: гибрид BM25 + dense, multi‑vector (коллекции), query expansion.
Реранкеры: Cohere Rerank, bge‑reranker, ColBERT.
Качество: citations‑first, chunking по схеме, дедуп, PII‑редакция (Presidio).
Оркестрация: LangChain / LangGraph, LlamaIndex, DSPy; мультиагент: CrewAI, AutoGen.
Инструменты: CRM/ERP (1С, SAP, Salesforce, Bitrix24), Jira/ServiceNow, e‑mail, Slack/Teams, SQL/REST/GraphQL.
Наблюдаемость: LangSmith, Arize Phoenix, OpenTelemetry, TruLens.
Evals и guardrails: OpenAI Evals, Ragas, DeepEval, promptfoo, NeMo Guardrails/Guardrails AI.