Ir al contenido principal

Entradas

Mostrando las entradas etiquetadas como ollama

Encontré 42 GB de modelos de IA fosilizados en mi PC: una puesta al día honesta sobre IA local, conceptos y entornos Python en 2026

Hace tiempo que no tocaba nada de IA en mi PC, y al echar un ojo descubrí varios programas que no recordaba para qué eran y, sobre todo, modelos de hace año y medio acumulando polvo en el disco. Lo que empezó como una limpieza acabó siendo una puesta al día completa: Ollama, conceptos fundamentales, mapa del ecosistema, comparativas, y un setup de Python desde cero. Lo dejo aquí ordenado por si a alguien le sirve. 1. El punto de partida: 42 GB de modelos zombi Lo primero que encontré fue Ollama corriendo en segundo plano (ese icono pequeño en la barra de tareas que llevaba meses sin tocar). Un ollama list reveló cinco modelos descargados hacía 18 meses, ocupando casi 42 GB: llama-3-8B-programming-questions — 16 GB SuperNova-Medius-Q8_0 — 15 GB uncensored_wizard_7b — 4.1 GB llama3.2 — 2 GB llama3.1 — 4.7 GB En el mundo de la IA, 18 meses son una eternidad. Han salido Llama 3.3 y 4, Qwen 2.5 y 3, DeepSeek-V3 y R1, Gemma 3 y 4, gpt-oss... cualquiera de los nu...

[AI][GGUF MODELS][OLLAMA][LOCAL] Instalar un modelo de Huggingface en local sobre OLLAMA

1.- Instalar anaconda 2.- ejecutar anaconda prompt desde windows 3.- crear un espacio para el proyecto: conda create -n hf_1 python=3.11 4.- Activar entorno: conda activate hf_1 5.-Instalar utilidades para descargar modelos pip install -U "huggingface_hub[cli]" pip install huggingface_hub[hf_transfer] 6.- Configurar variable de entorno: HF_HUB_ENABLE_HF_TRANSFER = 1 7.- Descargar el modelo deseado. Por ejemplo: C:\Users\ username \anaconda3\envs\hf_1\Scripts huggingface-cli.exe download TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf (fijaros que tiene un nombre base del modelo y luego la versión que se quiere) 8.- Una vez descargado coger la última linea que aparece en el output de la instruccion anterior y crear un fichero llamado Modelfile (sin extensión). Ejemplo de contenido: FROM C:\Users\ username \.cache\huggingface\hub\models--TheBloke--Wizard-Vicuna-7B-Uncensored-GGUF\snapshots\xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\Wizard-Vicuna-7B-Uncenso...