[AI][GGUF MODELS][OLLAMA][LOCAL] Instalar un modelo de Huggingface en local sobre OLLAMA

1.- Instalar anaconda

2.- ejecutar anaconda prompt desde windows

3.- crear un espacio para el proyecto:

conda create -n hf_1 python=3.11

4.- Activar entorno:

conda activate hf_1

5.-Instalar utilidades para descargar modelos

pip install -U "huggingface_hub[cli]"

pip install huggingface_hub[hf_transfer]

6.- Configurar variable de entorno:

HF_HUB_ENABLE_HF_TRANSFER = 1

7.- Descargar el modelo deseado. Por ejemplo:

C:\Users\username\anaconda3\envs\hf_1\Scripts

huggingface-cli.exe download TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf

(fijaros que tiene un nombre base del modelo y luego la versión que se quiere)

8.- Una vez descargado coger la última linea que aparece en el output de la instruccion anterior y crear un fichero llamado Modelfile (sin extensión). Ejemplo de contenido:

FROM C:\Users\username\.cache\huggingface\hub\models--TheBloke--Wizard-Vicuna-7B-Uncensored-GGUF\snapshots\xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf

Guardarlo donde se desee, por ejemplo:

C:\Users\username\anaconda3\envs\hf_1\Models

9.- Crear el modelo en ollama:

ollama create uncensored_wizard_7b -f .\Modelfile

10.- Listar los modelos ollama para ver que efectivamente se creó:

ollama list

11.- Ejecutar el modelo en el prompt de conda o bien si tenéis el docker de WEBUI instaldo, arrancar ese docker y os aparecerá en la web:

ollama run uncensored_wizard_7b:latest