Exemplo: Chatbot de linha de comando 🤖️#

Descrição:

Demonstre como interagir com o Xinference, utilizando a funcionalidade de chat baseada em LLM no terminal para interagir com agentes de IA. 💻

Tecnologia envolvida:

@ ggerganov ggml

@ Xinference como plataforma

Todos os modelos LLaMA e Chatglm suportados pela inferência Xinference.

Explicação detalhada sobre a função de demonstração:

  1. Recebe a entrada de linha de comando do usuário no terminal e obtém os parâmetros necessários para iniciar o modelo.

  2. Inicie o framework Xinference e implante automaticamente no cluster o modelo solicitado pelo usuário.

  3. Inicializar um histórico de chat vazio para armazenar todo o contexto da sala de chat.

  4. Solicite recursivamente a entrada do usuário como prompt, permitindo que o modelo gere uma resposta com base no prompt e no histórico da conversa. Exiba a saída da resposta no terminal.

  5. Armazenar a entrada do usuário e a resposta do agente no histórico do chat, como contexto para as próximas rodadas da conversa.

Código-fonte