Instalação na NPU Ascend

Xinference pode ser executado no Ascend NPU, use o seguinte comando para instalar.

Aviso

A versão de código aberto depende do Transformers para inferência, o que pode causar lentidão em chips como o 310p3. Oferecemos uma versão empresarial que suporta o mecanismo MindIE, com desempenho superior e melhor compatibilidade para Ascend NPU. Consulte Xinference Enterprise para mais detalhes.

Instale o PyTorch e a extensão Ascend.

Instale a versão CPU do PyTorch e a extensão Ascend correspondente.

Usando PyTorch v2.1.0 como exemplo.

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

Em seguida, instale a Extensão PyTorch Ascend.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

Execute o seguinte comando para verificar. Se funcionar corretamente, o número de NPUs Ascend será exibido.

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

Instalar o Xinference

pip3 install xinference

Agora você pode consultar a documentação para usar o Xinference. Transformers é o único mecanismo de código aberto que oferece suporte para NPU Ascend.

Suporte empresarial

Se você encontrar qualquer problema de desempenho ou outros com a Ascend NPU, entre em contato conosco sobre a versão empresarial do Xinference em aqui.