Ir al contenido principal

AI: Pasos para usar llama2 en windows usando WSL - Ubuntu

Dado que no consguía hacer funcionar llama2 en windows y en Linux siguiendo los pasos salía todo a la primera, opté por instalar ubuntu dentro de Windows y realizar ahí la instalación.


1.- Instalé ubuntu y luego lo moví de disco porque toda la instalación ocupa mucho para hacerlo en la unidad c: -

 Para ello seguí los pasos que se indican en "Instalar WSL en otra unidad en Windows" 

2.- Después instalé miniconda

3.- Instalar pytorch: tienes varias opciones de url, se pueden ver en https://pytorch.org/get-started/locally/ Yo elegí inicialmente la url de CPU porque en mi pc de programación no tenía nvidia. En cualquier caso esto no me funcionó así que recomiendo instalar la versión con GPU y tener una GPU de nvida para trabajar con IA. En mi casó instalé una vieja GTX1080 pero ya os adelanto que la GPU es muy limitada en desempeño para esta aplicación.

4.- Seguir los pasos que se indican en el readme de llama2 en github: https://github.com/facebookresearch/llama

5.- Crear un script de python para hacer un chat e invocarlo como indica el README del repo indicado.

Alternativa a lo anterior y más flexible es seguir el vídeo de Matthew Berman que te permite crear un servicio web en tu linux y accesible desde windows, si ambos están en la misma máquina y ahí poder cargar cualquier modelo disponible para llama en https://huggingface.co/


Etiquetas:

Comentarios

Publicar un comentario

Entradas populares de este blog

[DATA SCIENCE] [R PROGRAMMING] [DATA VISUALIZATION] Explorando Técnicas de Análisis y Visualización de Datos en R

  Introducción En el análisis de datos, la correcta partición y visualización de los datasets es crucial para obtener conclusiones precisas y valiosas. En este artículo, exploraremos diversas técnicas en R para particionar datasets, crear histogramas, scatterplots, boxplots, y ajustar curvas de regresión y suavizado. 1. Partición de Datasets La partición de datasets es una etapa fundamental en el proceso de machine learning. Permite dividir los datos en conjuntos de entrenamiento, validación y prueba para asegurar que nuestros modelos se entrenen y evalúen adecuadamente. Función para Particionar Datasets # Función para automatizar la partición de datasets partition_data <- function(data, target_column, train_ratio = 0.7, validate_ratio = NULL, seed = 123) {   # Establecer la semilla para reproducibilidad   set.seed(seed)      # Crear partición de entrenamiento   training_ids <- createDataPartition(data[[target_column]], p = train_ratio, list = FA...
Publicar un comentario
Leer más

[DATA SCIENCE] Guion de formación en matemáticas y R sobre matrices de confusión, diagramas de mosaico, análisis de componentes principales y diagramas ROC.

Guion de Formación en Matemáticas y R Guion de Formación en Matemáticas y R Este guion está diseñado para aprender y consolidar conocimientos sobre matrices de confusión, diagramas de mosaico, análisis de componentes principales (PCA) y diagramas ROC utilizando la plataforma R. 1. Matrices de Confusión Teoría Matemática: Definición: Una matriz de confusión evalúa el rendimiento de un modelo de clasificación. Consiste en una tabla que compara las predicciones del modelo con los valores reales. Componentes: Verdaderos Positivos (TP) Falsos Positivos (FP) Verdaderos Negativos (TN) Falsos Negativos (FN) Métricas derivadas: Precisión: Precision = TP / (TP + FP) Sensibilidad: Recall = TP / (TP + FN) Especificidad: Specificity = TN /...
Publicar un comentario
Leer más

[Machine Learning][Python][Clasificación] Understanding Support Vector Machines with Python

Support Vector Machines con Python Support Vector Machines con Python Support Vector Machines (SVM) son algoritmos de aprendizaje supervisado muy potentes, a menudo utilizados para problemas de clasificación. Este artículo demuestra cómo utilizar SVM en Python con la biblioteca scikit-learn y proporciona una explicación de la teoría subyacente. 1. Implementación en Python Código en Python: import numpy as np # Biblioteca para trabajar con arreglos y operaciones matemáticas import matplotlib.pyplot as plt # Biblioteca para crear gráficos y visualizaciones from sklearn import datasets # Módulo para cargar y manejar conjuntos de datos estándar from sklearn.model_selection import train_test_split # Función para dividir los datos en entrenamiento y prueba from sklearn.svm import SVC # Clase para implementar Support Vector Machines # 1. Cargar datos # Usaremos el dataset de iris, seleccionando solo dos clases para sim...
Publicar un comentario
Leer más