Bem-vindo ao Xinference!#
Xorbits Inference (Xinference) é uma plataforma de código aberto projetada para simplificar a execução e integração de diversos modelos de IA. Com o Xinference, você pode executar inferência de qualquer LLM de código aberto, modelo de embeddings e modelo multimodal em ambientes de nuvem ou locais, e criar aplicações de IA poderosas.
Usando o Xinference para desenvolver aplicações de IA em cenários reais#
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
# Chat to LLM
model.chat(
messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
generate_config={"max_tokens": 1024}
)
# Chat to VL model
model.chat(
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
},
},
],
}
],
generate_config={"max_tokens": 1024}
)
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.create_embedding("What is the capital of China?")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_image("An astronaut walking on the mars")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
with open("speech.mp3", "rb") as audio_file:
model.transcriptions(audio_file.read())
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
query = "A man is eating pasta."
corpus = [
"A man is eating food.",
"A man is eating a piece of bread.",
"The girl is carrying a baby.",
"A man is riding a horse.",
"A woman is playing violin."
]
print(model.rerank(corpus, query))
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_video("")
Guia de Introdução#
Instale o Xinference no Linux, Windows e macOS.
Primeiro, execute o Xinference na máquina local.
Explorando vários modelos suportados pelo Xinference.
Registre os pesos do modelo e converta-os em API.
Explorar API#
Aprenda como conversar com um LLM no Xinference.
Aprenda a conectar LLMs com ferramentas externas.
Aprenda como criar embeddings de texto no Xinference.
Aprenda como usar modelos de reordenamento no Xinference.
Aprenda a usar o Xinference para gerar imagens.
Aprenda a usar LLMs para processar imagens e áudio.
Aprenda a usar o Xinference para converter áudio em texto ou texto em áudio.
Aprenda como usar o Xinference para gerar vídeos.
Saiba como usar o Xinference para inferir modelos tradicionais de aprendizado de máquina.
Participe conosco.#
Últimas Notícias
Siga-nos no Twitter
Pedindo ajuda.
Comunidade Discord
Junte-se ao grupo do Telegram
Abra uma issue no Github
contribuição
Abra um PR no Github