Cómo probar Granite 3 de manera local con Ollama y Python

Contar con modelos avanzados de inteligencia artificial que puedan ejecutarse de manera local es una gran ventaja para desarrolladores. Granite 3 es uno de esos modelos, optimizado para tareas de lenguaje natural y diseñado para ejecutarse localmente con herramientas como Ollama. En este artículo, explico paso a paso cómo puedes configurar y probar Granite 3 utilizando Python.

¿Qué es Granite 3?

IBM Granite 3 es la tercera generación de modelos de lenguaje natural desarrollados por IBM. Estos modelos están diseñados para ser flexibles y pueden ejecutarse tanto localmente como en la nube. Granite 3 ofrece capacidades avanzadas para tareas de procesamiento de texto, como generación de contenido, análisis de texto, clasificación y más.

Granite 3 se destaca por su rendimiento y seguridad, siendo ideal para aplicaciones empresariales. Los modelos están optimizados para escalar y pueden integrarse fácilmente en aplicaciones a través de plataformas como Ollama para uso local, o watsonx.ai para implementaciones en la nube.

Si quieres conocer más detalles técnicos sobre Granite y su ecosistema, puedes visitar la documentación oficial de Granite.

Pasos para probar Granite 3

1. Instalar Ollama

Ollama es necesario para descargar y ejecutar Granite 3. Para instalarlo, ejecuta el siguiente comando en tu terminal:

1
curl -fsSL https://ollama.com/install.sh | sh

2. Ejecutar el modelo Granite 3

Una vez instalado Ollama, ejecuta el modelo Granite 3 con el siguiente comando:

1
ollama run granite3-dense:8b

Esto iniciará el modelo en segundo plano y estará listo para recibir solicitudes.

3. Crear un proyecto Python

Crea un directorio para tu proyecto e inicializa un entorno virtual:

1
mkdir app
2
cd app
3
python -m venv venv

4. Verificar modelos en ejecución

Para confirmar que Granite 3 está corriendo, utiliza el siguiente comando:

1
ollama ps

Esto mostrará todos los modelos actualmente activos en tu máquina.

5. Activar el entorno virtual

Activa el entorno virtual para instalar dependencias de manera aislada:

1
source venv/bin/activate

6. Instalar la librería langchain-ollama

Instala la biblioteca que te permitirá interactuar con Granite 3 desde Python:

1
pip install langchain-ollama

7. Ejecutar un script de prueba

Crea un archivo Python, por ejemplo main.py, y copia el siguiente código:

1
from langchain_core.prompts import ChatPromptTemplate
2
from langchain_ollama.llms import OllamaLLM
3

4
# Inicializa el modelo Granite 3
5
model = OllamaLLM(model="granite3-dense:8b")
6

7
# Define un prompt para interactuar con el modelo
8

9
template = """Question: {question}
10

11
Answer: Let's think step by step."""
12

13
prompt = ChatPromptTemplate.from_template(template)
14

15
# Combina el prompt con el modelo
16
chain = prompt | model
17

18
# Realiza una consulta
19
response = chain.invoke({"question": "¿En qué año se fundó IBM?"})
20
print(response)

Ejecuta el script con:

1
python main.py

Esto enviará una consulta al modelo y te devolverá la respuesta generada por Granite 3.

Conclusión

Probar Granite 3 localmente con Ollama y Python es un proceso sencillo que ofrece una experiencia fluida para desarrollar aplicaciones basadas en inteligencia artificial. Sigue estos pasos y podrás aprovechar al máximo las capacidades de este modelo de lenguaje avanzado.