1.- Instalar anaconda 2.- ejecutar anaconda prompt desde windows 3.- crear un espacio para el proyecto: conda create -n hf_1 python=3.11 4.- Activar entorno: conda activate hf_1 5.-Instalar utilidades para descargar modelos pip install -U "huggingface_hub[cli]" pip install huggingface_hub[hf_transfer] 6.- Configurar variable de entorno: HF_HUB_ENABLE_HF_TRANSFER = 1 7.- Descargar el modelo deseado. Por ejemplo: C:\Users\ username \anaconda3\envs\hf_1\Scripts huggingface-cli.exe download TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf (fijaros que tiene un nombre base del modelo y luego la versión que se quiere) 8.- Una vez descargado coger la última linea que aparece en el output de la instruccion anterior y crear un fichero llamado Modelfile (sin extensión). Ejemplo de contenido: FROM C:\Users\ username \.cache\huggingface\hub\models--TheBloke--Wizard-Vicuna-7B-Uncensored-GGUF\snapshots\xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\Wizard-Vicuna-7B-Uncenso...
Blog sobre conocimiento general