AI: Pasos para usar llama2 en windows usando WSL - Ubuntu

Dado que no consguía hacer funcionar llama2 en windows y en Linux siguiendo los pasos salía todo a la primera, opté por instalar ubuntu dentro de Windows y realizar ahí la instalación.


1.- Instalé ubuntu y luego lo moví de disco porque toda la instalación ocupa mucho para hacerlo en la unidad c: -

 Para ello seguí los pasos que se indican en "Instalar WSL en otra unidad en Windows" 

2.- Después instalé miniconda

3.- Instalar pytorch: tienes varias opciones de url, se pueden ver en https://pytorch.org/get-started/locally/ Yo elegí inicialmente la url de CPU porque en mi pc de programación no tenía nvidia. En cualquier caso esto no me funcionó así que recomiendo instalar la versión con GPU y tener una GPU de nvida para trabajar con IA. En mi casó instalé una vieja GTX1080 pero ya os adelanto que la GPU es muy limitada en desempeño para esta aplicación.

4.- Seguir los pasos que se indican en el readme de llama2 en github: https://github.com/facebookresearch/llama

5.- Crear un script de python para hacer un chat e invocarlo como indica el README del repo indicado.

Alternativa a lo anterior y más flexible es seguir el vídeo de Matthew Berman que te permite crear un servicio web en tu linux y accesible desde windows, si ambos están en la misma máquina y ahí poder cargar cualquier modelo disponible para llama en https://huggingface.co/


Comentarios

Publicar un comentario

Entradas populares de este blog

[MACHINE LEARNING] Un breve ejemplo de uso de JupyterLab

 En este ejemplo hacemos uso de un dataset clásico y unas funciones básicas muy intuitivas. Se requiere tener instalado Anaconda y ejecutar este código en Jupyter. # Check the versions of libraries # Python version import sys print('Python: {}'.format(sys.version)) # scipy import scipy print('scipy: {}'.format(scipy.__version__)) # numpy import numpy print('numpy: {}'.format(numpy.__version__)) # matplotlib import matplotlib  print('matplotlib: {}'.format(matplotlib.__version__)) # pandas  import pandas  print('pandas: {}'.format(pandas.__version__))  # scikit-learn  import sklearn  print('sklearn: {}'.format(sklearn.__version__))  # Load libraries import pandas from pandas.plotting import scatter_matrix import matplotlib.pyplot as plt from sklearn import model_selection from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix from sklearn.metrics import accuracy_score from sklearn.linear_model import
Leer más

[RUST][BOTS][TELEGRAM] Como crear y explotar un bot de Telefram en un canal de Telegram

Imagen
 Configuración: Añadir @BothFather a tus contactos de Telegram Ir a @Manybot te aparecerán las siguiente opciones Ejecutas el comando /start, también puedes hacerlo presionando Start en el menu anterior que te muestra el @Manybot Ejecutas /addbot y te muestra Los siguientes pasos son intuitivos. Explotación: Uso del bot con un software. Ejemplo Rust: use std::env; use telegram_bot::*; #[tokio::main] async fn main () -> Result <(), Error > {     // Obtiene el mensaje de los argumentos de la línea de comandos     let args : Vec < String > = env:: args (). collect ();     if args . len () != 2 {         eprintln! ( "Uso: {} <MENSAJE>" , args [ 0 ]);         std::process:: exit ( 1 );     }     let message = & args [ 1 ];     // Busca texto entre corchetes y lo pinta de verde     let message = message . replace ( "[" , "*[" );     let message = message . replace ( "]" , "]*" );     // Indica el token d
Leer más

[Idiomas][Italiano] Rutina Semanal de Estudio de Italiano (3 horas/semana)

  Día 1: Lunes Duración : 1 hora Contenido : Gramática avanzada : Dedica tiempo a estudiar estructuras gramaticales más complejas, como el uso de subjuntivo, condicional, voz pasiva, etc. Lectura avanzada : Lee artículos, ensayos o fragmentos literarios en italiano. Anota nuevas palabras y expresiones. Práctica de escritura : Escribe un párrafo sobre un tema de tu elección utilizando las estructuras gramaticales aprendidas. Día 2: Miércoles Duración : 1 hora Contenido : Vocabulario específico : Dedica tiempo a aprender vocabulario relacionado con tus intereses o área profesional. Por ejemplo, si trabajas en marketing, estudia términos de marketing en italiano. Comprensión auditiva : Escucha podcasts, entrevistas o programas en italiano. Trata de entender el contexto y las ideas principales. Práctica de conversación : Habla en italiano con un compañero de estudio o un tutor. Practica expresiones idiomáticas y fluidez. Día 3: Viernes Duración : 1 hora Contenido : Revisión de errores comu
Leer más