Ejecutar un modelo en local
· Lectura de un minuto
En este experimento vamos a ejecutar un modelo en local, para poder hablar con un LLM en nuestra máquina.
Para poder ejecutar un modelo (LLM), necesitamos un motor de ejecución (runtime), y para en este experimento usaremos Ollama.
1. Instalamos Ollama
Sigue estas instrucciones para instalar Ollama en tu sistema.
2. Descargamos un modelo
Se descarga el modelo del repositorio de modelos de Ollama:
$ ollama pull llama3.2
3. Lo ejecutamos
Chateamos con el modelo:
$ ollama run llama3.2
>>> ¿Qué es un modelo de lenguaje en una frase?
Un modelo de lenguaje es un sistema informático que utiliza algoritmos y técnicas de procesamiento del lenguaje natural para entender,
generar y interactuar con texto. Estos modelos están diseñados para aprender patrones y estructuras del lenguaje a partir de grandes
conjuntos de datos y luego utilizar esta información para realizar tareas específicas como la traducción automática, la pregunta respuesta
o la generación de contenido.
>>> /bye
En cuestión de minutos tenemos un LLM corriendo en local, sin cuenta, sin API key, sin coste por token.