Guia de Introdução

• Instalação
  • Transformers engine
  • vLLM engine
  • Llama.cpp engine
  • Mecanismo SGLang
  • MLX Engine
  • Outras plataformas
• usar
  • Executar o Xinference localmente
  • Implantação do Xinference em cluster
  • Use Docker para implantar o Xinference.
  • Mais
• Log
  • Nível de log
  • Arquivo de log
  • Environment Variables
• Imagem Docker
  • Preparação
  • Imagem Docker.
  • Imagem personalizada
  • Use a imagem.
  • Montar o diretório do modelo
• Instale o Xinference em um cluster Kubernetes.
  • Baseado no método nativo Helm.
  • Baseado na abordagem de terceiros KubeBlocks
• Solução de problemas
  • Sem permissão do repositório huggingface
  • O driver NVIDIA e a versão do PyTorch não são compatíveis.
  • O sistema externo não pode acessar o serviço Xinference através de <IP>:9997.
  • O início do modelo embutido leva muito tempo, e às vezes o download do modelo falha.
  • Ao usar a imagem oficial do Docker, o RayWorkerVllm morre devido a OOM, impedindo o carregamento do modelo.
  • Erro ao carregar modelo LLM: parâmetro model_engine ausente.
  • Resolvendo conflitos na camada de threads MKL
  • Configurar o espelho PyPI para acelerar a instalação de pacotes de software
  • Falha ao instalar o Xinference 1.12.0 usando uv (até novembro de 2025)
  • vLLM + Torch + Xinference Problema de Compatibilidade (Erro de Segmentação)
• Variáveis de ambiente
  • XINFERENCE_ENDPOINT
  • XINFERENCE_MODEL_SRC
  • XINFERENCE_HOME
  • XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD
  • XINFERENCE_HEALTH_CHECK_INTERVAL
  • XINFERENCE_HEALTH_CHECK_TIMEOUT
  • XINFERENCE_DISABLE_HEALTH_CHECK
  • XINFERENCE_DISABLE_METRICS
  • XINFERENCE_DOWNLOAD_MAX_ATTEMPTS
  • XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE
  • XINFERENCE_SSE_PING_ATTEMPTS_SECONDS
  • XINFERENCE_MAX_TOKENS
  • XINFERENCE_ALLOWED_IPS
  • XINFERENCE_BATCH_SIZE
  • XINFERENCE_BATCH_INTERVAL
  • XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU
  • XINFERENCE_LAUNCH_STRATEGY
  • XINFERENCE_MAX_CONCURRENT_LAUNCHES
  • XINFERENCE_ENABLE_VIRTUAL_ENV
  • XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED
  • XINFERENCE_CSG_TOKEN
  • XINFERENCE_CSG_ENDPOINT
  • XINFERENCE_QWEN3_RERANK_TEMPLATE
  • XINFERENCE_LAUNCH_HISTORY_DB_PATH
• Notas de lançamento da versão