Ir al contenido principal

Entradas

Mostrando las entradas etiquetadas como Conda

[AI][GGUF MODELS][OLLAMA][LOCAL] Instalar un modelo de Huggingface en local sobre OLLAMA

1.- Instalar anaconda 2.- ejecutar anaconda prompt desde windows 3.- crear un espacio para el proyecto: conda create -n hf_1 python=3.11 4.- Activar entorno: conda activate hf_1 5.-Instalar utilidades para descargar modelos pip install -U "huggingface_hub[cli]" pip install huggingface_hub[hf_transfer] 6.- Configurar variable de entorno: HF_HUB_ENABLE_HF_TRANSFER = 1 7.- Descargar el modelo deseado. Por ejemplo: C:\Users\ username \anaconda3\envs\hf_1\Scripts huggingface-cli.exe download TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf (fijaros que tiene un nombre base del modelo y luego la versión que se quiere) 8.- Una vez descargado coger la última linea que aparece en el output de la instruccion anterior y crear un fichero llamado Modelfile (sin extensión). Ejemplo de contenido: FROM C:\Users\ username \.cache\huggingface\hub\models--TheBloke--Wizard-Vicuna-7B-Uncensored-GGUF\snapshots\xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\Wizard-Vicuna-7B-Uncenso...

AI: Como preparar el entorno para trabajar con Python + Conda + Cuda (require GPU NVIDIA)

  1. Activamos el entorno Conda (base):      conda activate base && conda init bash 2 .Creamos un entorno virtual python para aislarnos de las dependencias de paquetes del entorno que tenemos instalado en el Sistema operativo. El siguiente comando lo ejecutamos tras haber ejecutado el el comanto del punto 1.     python -m venv cuda 3. Activamos el entorno cuda      source ./cuda/bin/activate 4. Instalamos el framework Pytorch: pip3 install torch --index-url https://download.pytorch.org/whl/cu118 PyTorch es un popular marco de aprendizaje automático de código abierto basado en la biblioteca Torch. Se utiliza principalmente para aplicaciones como visión por computadora, procesamiento del lenguaje natural y aprendizaje profundo 123. PyTorch es preferido sobre otros marcos de aprendizaje profundo como TensorFlow y Keras ya que utiliza gráficos de cálculo dinámico y es completamente Pythonic 2. PyTorch es una biblioteca optimizada de tenso...