Ir al contenido principal

[AI][GGUF MODELS][OLLAMA][LOCAL] Instalar un modelo de Huggingface en local sobre OLLAMA

1.- Instalar anaconda

2.- ejecutar anaconda prompt desde windows

3.- crear un espacio para el proyecto:

conda create -n hf_1 python=3.11

4.- Activar entorno:

conda activate hf_1

5.-Instalar utilidades para descargar modelos

pip install -U "huggingface_hub[cli]"

pip install huggingface_hub[hf_transfer]

6.- Configurar variable de entorno:

HF_HUB_ENABLE_HF_TRANSFER = 1

7.- Descargar el modelo deseado. Por ejemplo:

C:\Users\username\anaconda3\envs\hf_1\Scripts

huggingface-cli.exe download TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf

(fijaros que tiene un nombre base del modelo y luego la versión que se quiere)

8.- Una vez descargado coger la última linea que aparece en el output de la instruccion anterior y crear un fichero llamado Modelfile (sin extensión). Ejemplo de contenido:

FROM C:\Users\username\.cache\huggingface\hub\models--TheBloke--Wizard-Vicuna-7B-Uncensored-GGUF\snapshots\xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\Wizard-Vicuna-7B-Uncensored.Q4_K_M.gguf

Guardarlo donde se desee, por ejemplo:

C:\Users\username\anaconda3\envs\hf_1\Models


9.- Crear el modelo en ollama:

ollama create uncensored_wizard_7b -f .\Modelfile

10.- Listar los modelos ollama para ver que efectivamente se creó:

ollama list

11.- Ejecutar el modelo en el prompt de conda o bien si tenéis el docker de WEBUI instaldo, arrancar ese docker y os aparecerá en la web:

ollama run uncensored_wizard_7b:latest

Etiquetas:

Comentarios

Publicar un comentario

Entradas populares de este blog

[DATA SCIENCE] [R PROGRAMMING] [DATA VISUALIZATION] Explorando Técnicas de Análisis y Visualización de Datos en R

  Introducción En el análisis de datos, la correcta partición y visualización de los datasets es crucial para obtener conclusiones precisas y valiosas. En este artículo, exploraremos diversas técnicas en R para particionar datasets, crear histogramas, scatterplots, boxplots, y ajustar curvas de regresión y suavizado. 1. Partición de Datasets La partición de datasets es una etapa fundamental en el proceso de machine learning. Permite dividir los datos en conjuntos de entrenamiento, validación y prueba para asegurar que nuestros modelos se entrenen y evalúen adecuadamente. Función para Particionar Datasets # Función para automatizar la partición de datasets partition_data <- function(data, target_column, train_ratio = 0.7, validate_ratio = NULL, seed = 123) {   # Establecer la semilla para reproducibilidad   set.seed(seed)      # Crear partición de entrenamiento   training_ids <- createDataPartition(data[[target_column]], p = train_ratio, list = FA...
Publicar un comentario
Leer más

[DATA SCIENCE] Guion de formación en matemáticas y R sobre matrices de confusión, diagramas de mosaico, análisis de componentes principales y diagramas ROC.

Guion de Formación en Matemáticas y R Guion de Formación en Matemáticas y R Este guion está diseñado para aprender y consolidar conocimientos sobre matrices de confusión, diagramas de mosaico, análisis de componentes principales (PCA) y diagramas ROC utilizando la plataforma R. 1. Matrices de Confusión Teoría Matemática: Definición: Una matriz de confusión evalúa el rendimiento de un modelo de clasificación. Consiste en una tabla que compara las predicciones del modelo con los valores reales. Componentes: Verdaderos Positivos (TP) Falsos Positivos (FP) Verdaderos Negativos (TN) Falsos Negativos (FN) Métricas derivadas: Precisión: Precision = TP / (TP + FP) Sensibilidad: Recall = TP / (TP + FN) Especificidad: Specificity = TN /...
Publicar un comentario
Leer más

[Machine Learning][Python][Clasificación] Understanding Support Vector Machines with Python

Support Vector Machines con Python Support Vector Machines con Python Support Vector Machines (SVM) son algoritmos de aprendizaje supervisado muy potentes, a menudo utilizados para problemas de clasificación. Este artículo demuestra cómo utilizar SVM en Python con la biblioteca scikit-learn y proporciona una explicación de la teoría subyacente. 1. Implementación en Python Código en Python: import numpy as np # Biblioteca para trabajar con arreglos y operaciones matemáticas import matplotlib.pyplot as plt # Biblioteca para crear gráficos y visualizaciones from sklearn import datasets # Módulo para cargar y manejar conjuntos de datos estándar from sklearn.model_selection import train_test_split # Función para dividir los datos en entrenamiento y prueba from sklearn.svm import SVC # Clase para implementar Support Vector Machines # 1. Cargar datos # Usaremos el dataset de iris, seleccionando solo dos clases para sim...
Publicar un comentario
Leer más