Exemplo

Aqui você pode encontrar exemplos e recursos de aprendizado sobre como usar o Xinference.

Exemplo

Usando a aplicação ponta a ponta do Xinference:

• Podcast de conversa por voz com agente de IA no M2 Max

• Interagindo com o modelo LLM: Exemplo de linha de comando

• Interagindo com modelos LLM: Exemplo de página de chat Gradio

• Chatbot de PDF com LLM local e modelo de embedding

• Usando LangChain e Streamlit para diálogo com documentos locais

Se você encontrar outros exemplos em seu próprio fluxo de trabalho, encorajamos você a contribuir com um PR!

Tutorial

O tutorial a seguir cobre os fundamentos do uso do Xinference em diferentes cenários:

• [Notebook] Usando Xinference, Milvus e LangChain para aplicação de perguntas e respostas (QA)

• Usando LLMs locais do Xinference no LlamaIndex

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

Integração de bibliotecas de terceiros

Xinference é capaz de integrar e implantar modelos de IA de código aberto de forma contínua, suportando assim os principais kits de ferramentas da área de IA. O Xinference pode ser utilizado com as seguintes bibliotecas de terceiros:

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM