Exemplo: LangChain Streamlit Document ChatšŸ“„#

DescriĆ§Ć£o:

Esta aplicaĆ§Ć£o baseada em Streamlit demonstra um chatbot AI alimentado por modelo LLM local e modelo de embedding.

Tecnologia envolvida:

@ Xinference: como serviƧo de hospedagem para LLMs e modelos de embedding.

@ LangChain: orquestra o pipeline completo de processamento de documentos e resposta a consultas.

@ Streamlit: para interface de usuƔrio interativa

ExplicaĆ§Ć£o detalhada sobre a funĆ§Ć£o de demonstraĆ§Ć£o:

  • Interface do Streamlit para upload de arquivos de texto, melhorando a interaĆ§Ć£o do usuĆ”rio.

  • O texto Ć© dividido em blocos e utiliza o Xinference para realizar operaƧƵes de embed, visando um processamento eficiente.

  • Execute uma busca por similaridade no texto incorporado para localizar com precisĆ£o as partes relevantes da consulta do usuĆ”rio.

  • Utilize templates de prompts estruturados para interagir com modelos LLM.

  • A LLM do Xinference processa consultas no contexto da seĆ§Ć£o de documentaĆ§Ć£o relevante, fornecendo respostas precisas.

  • Este sistema implementa uma busca de documentos eficaz e sensĆ­vel ao contexto, auxiliando os usuĆ”rios na recuperaĆ§Ć£o eficiente de informaƧƵes.

CĆ³digo-fonte