Ollama o cómo instalar modelos de Inteligencia Artificial en tu ordenador

[Guillermo]

Ollama es una herramienta que permite a los usuarios ejecutar modelos de lenguaje de inteligencia artificial de manera local en sus computadoras. Su objetivo es facilitar el uso de modelos de IA sin necesidad de depender de servicios en la nube, lo que puede ser útil para quienes buscan mayor privacidad, control sobre sus datos o simplemente desean experimentar con modelos de IA en su propio entorno.

¿Para qué sirve Ollama?

1. Ejecución Local: Permite ejecutar modelos de lenguaje en tu propia máquina, lo que significa que no necesitas una conexión a Internet para utilizarlos una vez que están instalados.
2. Privacidad: Al ejecutar modelos localmente, tus datos no se envían a servidores externos, lo que puede ser una ventaja en términos de privacidad.
3. Experimentación: Ideal para desarrolladores e investigadores que desean experimentar con diferentes modelos de IA sin las limitaciones de las API en la nube.

Instalación de Ollama

En Windows

1. Requisitos Previos: Asegúrate de tener instalado Docker (https://www.docker.com/products/docker-desktop) en tu máquina, ya que Ollama utiliza contenedores para ejecutar los modelos.

2. Instalación de Ollama:
- Abre una terminal de Windows (CMD o PowerShell).
- Ejecuta el siguiente comando para descargar e instalar Ollama:

Código: Seleccionar todo

 curl -sSL https://ollama.com/download | sh

- Sigue las instrucciones en pantalla para completar la instalación.

3. Verificación: Una vez instalado, puedes verificar que Ollama está funcionando correctamente ejecutando:

Código: Seleccionar todo

 ollama --version

En Linux

1. Requisitos Previos: Al igual que en Windows, asegúrate de tener Docker instalado. Puedes instalar Docker siguiendo las instrucciones en la [documentación oficial de Docker (https://docs.docker.com/engine/install/).

2. Instalación de Ollama:
- Abre una terminal.
- Ejecuta el siguiente comando para descargar e instalar Ollama:

Código: Seleccionar todo

 curl -sSL https://ollama.com/download | sh

NOTA: Si falla, revisa las instrucciones: https://github.com/ollama/ollama/blob/m ... s/linux.md:

Download and extract the package:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

Start Ollama:
ollama serve

In another terminal, verify that Ollama is running:
ollama -v

ollama.jpg (116.63 KiB) Visto 13766 veces

Finalizando el proceso de instalación:

ollama proceso.jpg (266.19 KiB) Visto 13761 veces

- Sigue las instrucciones en pantalla para completar la instalación.

3. Verificación: Para asegurarte de que Ollama se ha instalado correctamente, ejecuta:

Código: Seleccionar todo

   ollama --version

Uso de Ollama

Una vez que Ollama esté instalado, puedes comenzar a descargar y ejecutar modelos de lenguaje. La documentación oficial de Ollama proporcionará ejemplos y comandos específicos para interactuar con los modelos.

Recuerda consultar la documentación oficial de Ollama (https://github.com/ollama/ollama/blob/main/docs/api.md) para obtener más detalles sobre su uso y características avanzadas.

+ info:
- Download Ollama: https://ollama.com/download
- Qué es Ollama y cómo usarlo para instalar en tu ordenador modelos de inteligencia artificial como Llama, DeepSeek y más: https://www.xataka.com/basics/que-ollam ... a-deepseek

[Guillermo]

Instalar un modelo de IA en Ollama (bajo Linux)

Por ejemplo, descargar el modelo de IA nomic-embed-text:

Código: Seleccionar todo

guillermo@guillermo-HP-EliteDesk-800-G1-SFF:~$ ollama pull nomic-embed-text
pulling manifest 
pulling 970aa74c0a90...   9% ▕█               ▏  23 MB/274 MB  541 KB/s   7m42s

Para listar los modelos que te has descargado en Ollama:

Código: Seleccionar todo

ollama list

- Para ejecutarlo (en este caso el modelo nomic-embed-text):

Código: Seleccionar todo

ollama --model nomic-embed-text

NOTA: Utilización (comprobar esto):

El comando iniciará ollama con el modelo nomic-embed-text y te permitirá interactuar con él en la línea de comandos.

Si deseas utilizar ollama con el modelo nomic-embed-text en un script o en un programa, puedes usar la API de ollama para cargar el modelo y realizar consultas. Por ejemplo:

Script de python

Código: Seleccionar todo

import ollama

# Crea una nueva instancia de Ollama
ollama_instance = ollama.Ollama()

# Carga el modelo
ollama_instance.load_model("nomic-embed-text")

# Realiza una consulta
response = ollama_instance.ask("Pregunta para el modelo")

# Imprime la respuesta
print(response)

Este script carga el modelo nomic-embed-text y realiza una consulta al modelo con la pregunta "Pregunta para el modelo". La respuesta se imprime en la consola.

- Para descargar modelos de IA: https://ollama.com/search

[Guillermo]

Ver esto, ya que el modelo nomic-embed-text no es compatible con Ollama, hay que convertirlo (no sé si con el script anterior será suficiente, imagino que no):

El modelo nomic-embed-text no es compatible con ollama directamente, ya que ollama utiliza un formato de modelo específico. Sin embargo, puedes utilizar ollama con el modelo nomic-embed-text mediante la conversión del modelo a un formato compatible con ollama.

Para hacer esto, puedes utilizar el conversor de modelos onnx para convertir el modelo nomic-embed-text al formato onnx y luego convertirlo al formato ollama utilizando el conversor ollama.

Un ejemplo de cómo hacerlo:

-Instala las dependencias necesarias:

Código: Seleccionar todo

sudo apt-get install python3-pip
pip3 install transformers onnxruntime

- Descarga el modelo nomic-embed-text y conviértelo al formato onnx:

Código: Seleccionar todo

wget https://huggingface.co/nomic-ai/nomic-embed-text/resolve/main/config.json
wget https://huggingface.co/nomic-ai/nomic-embed-text/resolve/main/pytorch_model.bin
wget https://huggingface.co/nomic-ai/nomic-embed-text/resolve/main/tokenizer.json
wget https://huggingface.co/nomic-ai/nomic-embed-text/resolve/main/tokenizer_config.json

python3 -c "
import torch
import transformers
model = transformers.AutoModelForMaskedLM.from_pretrained('pytorch_model.bin')
tokenizer = transformers.AutoTokenizer.from_pretrained('tokenizer_config.json', use_fast=False)
onnx_model = transformers.onnx.export(model, tokenizer, 'nomic-embed-text.onnx', opset=12, do_constant_folding=True, input_ids=[[101, 1045, 1010, 1005, 1012, 100]] + [0]*36, attention_mask=[[1, 1, 1, 1, 1, 1] + [0]*36], decoder_input_ids=[[0]*37], use_cache=False)
"

- Convierte el modelo onnx al formato ollama:

Código: Seleccionar todo

ollama convert --model nomic-embed-text.onnx --output nomic-embed-text-ollama

- Ejecuta ollama con el modelo nomic-embed-text convertido:

Código: Seleccionar todo

ollama --model nomic-embed-text-ollama

Esto debería permitirte utilizar el modelo nomic-embed-text con ollama. Ten en cuenta que el proceso de conversión puede tardar varios minutos en completarse.

[gbeltran]

¿Qué puedo hacer con un modelo de IA instalado localmente en mi PC? ¿Podría buscar información como si fuera la web, aunque no estuviera actualizada?

Tener un modelo de IA instalado localmente en tu PC te permite realizar diversas tareas, aunque hay algunas limitaciones en comparación con buscar información en la web. Aquí hay algunas cosas que podrías hacer:

- Generación de texto: Puedes utilizar el modelo para generar texto, como escribir historias, artículos, o incluso poesía.

- Asistencia en programación: Si eres desarrollador, puedes usar el modelo para obtener sugerencias de código, resolver problemas de programación o aprender nuevos lenguajes.

- Respuestas a preguntas: Puedes hacer preguntas y recibir respuestas basadas en el conocimiento que el modelo tiene hasta su fecha de entrenamiento. Sin embargo, ten en cuenta que no podrá acceder a información actualizada o en tiempo real.

- Análisis de datos: Si tienes datos que necesitas analizar, puedes usar el modelo para ayudarte a interpretar esos datos o generar informes.

- Traducción de idiomas: Puedes utilizar el modelo para traducir texto entre diferentes idiomas.

- Simulación de diálogos: Puedes crear chatbots o simulaciones de conversación para diversos propósitos, como atención al cliente o entretenimiento.

Sin embargo, es importante recordar que, a diferencia de buscar en la web, el modelo no tiene acceso a información actualizada o a eventos recientes. Su conocimiento se basa en los datos con los que fue entrenado, por lo que no podrá proporcionarte información sobre eventos o desarrollos que ocurrieron después de esa fecha.

[Guillermo]

Conseguido!!
Primero, debes tener instalado Python3:

Código: Seleccionar todo

sudo apt-get install python

n3

Código: Seleccionar todo

curl -fsSL https://ollama.com/install.sh | sh

Código: Seleccionar todo

ollama run deepseek-r1

Código: Seleccionar todo

ollama run deepseek

ollama_deepseek_r1.jpg (116.94 KiB) Visto 13112 veces

Reportaré...

NOTA A POSTERIORI: Acabo de encontrar este interesante y descriptivo artículo de elhacker.net al respecto: https://blog.elhacker.net/2025/01/insta ... local.html
En concreto, voy a probar un entorno, aunque con la línea de comandos me vaya bien:

Ejecutar DeepSeek en una interfaz web

Aunque Ollama le permite interactuar con DeepSeek a través de la línea de comandos, es posible que prefiera una interfaz web más fácil de usar. Para ello, utilizaremos Ollama Web UI, una sencilla interfaz basada en web para interactuar con los modelos de Ollama.

En primer lugar, cree un entorno virtual que aísle sus dependencias de Python de la instalación de Python en todo el sistema.

sudo apt install python3-venv
python3 -m venv ~/open-webui-venv
source ~/open-webui-venv/bin/activate


Ahora que tu entorno virtual está activo, puedes instalar Open WebUI usando pip.



pip install open-webui


open-webui serve
Abre tu navegador web y navegue hasta http://localhost:8080 - debería ver la interfaz Web UI de Ollama.

En la interfaz web, selecciona el modelo de DeepSeek en el menú desplegable y empiecz a interactuar con él. Puedes hacer preguntas, generar texto o realizar otras tareas compatibles con DeepSeek.