Exemplo: Chatbot de PDF šŸ“š#

DescriĆ§Ć£o:

Este exemplo mostra como construir um chatbot de PDF utilizando um LLM local e um modelo de embedding.

Tecnologias envolvidas:

@ Xinference como serviƧo de hospedagem de modelos LLM

@ LlamaIndex usado para orquestrar todo o pipeline RAG

@ Streamlit para interface interativa do usuƔrio

ExplicaĆ§Ć£o detalhada sobre a funcionalidade de demonstraĆ§Ć£o:

  • Foi criado um Dockerfile, que simplifica o processo de implantaĆ§Ć£o por meio do Docker e garante fĆ”cil reprodutibilidade.

  • Use o Xinference para iniciar o modelo LLM e o modelo de embedding, e exponha duas portas para acessĆ”-los.

  • Implemente o upload contĆ­nuo de arquivos e a comunicaĆ§Ć£o interativa com o mecanismo de chat usando o Streamlit.

  • Document embedding speed Ć© 5 vezes mais rĆ”pida que a API da OpenAI.

  • Utilize os recursos poderosos do GGML para executar o modelo na GPU, garantindo aceleraĆ§Ć£o e reduzindo o tempo de espera pelo retorno.

CĆ³digo-fonte