RAG sobre documentos propios con AnythingLLM

Queremos hacer preguntas a un modelo sobre documentos privados sin enviarlos a servicios externos, y para ello usaremos AnythingLLM con Ollama como LLM runtime local.

1. Instalamos Ollama y descargamos el modelo que queramos usar para analizar los documentos.

2. Instalamos AnythingLLM y lo ejecutamos.

Si pulsamos "Comenzar", nos sugiere un modelo adecuado a nuestros recursos hardware, pero lo que queremos es usar Ollama como proveedor de modelos.

3. Seleccionamos "Configuración manual" y localizamos "Ollama":

4. Elegimos un modelo de entre los que tenemos disponibles en Ollama y terminamos el proceso de configuración inicial:

5. Creamos un espacio de trabajo (workspace) al que adjuntar documentos y preguntarle a nuestro modelo local:

6. Subimos un PDF al espacio de trabajo y lo pineamos:

7. Y finalmente podemos hacerle preguntas sobre el contenido adjunto al espacio de trabajo:

Referencias

• AnythingLLM — Sitio oficial
• AnythingLLM — Documentación
• Notas: AnythingLLM