GPT4All - Tener un ChatGPT en tu propia PC es posible! y sin un GPU!

Para aquellos que quieren experimentar con los modelos LLM y las Inteligencias Artificiales pero cuentan con un hardware modesto, hay una forma y se llama GPT4All.

Este programa nos permite ejecutar modelos LLM en memoria RAM y sólo utilizando el CPU, ya no hace falta una placa de video bestial.

Obviamente el resultado es bueno pero no el mismo que utilizando ChatGPT4 o Llama-2 en su versión full, pero es excelente y, lo mejor de todo: fácil, gratuito y funciona!

Tiene una buena cantidad de modelos descargables directamente desde la aplicación pero si quieren Llama-2 van a tener que buscarlos aquí:

#AI #Llama #ChatGPT #IA #LLM #GPT4All #GPU #FabioTV

[rwstowjoel]

Re banco esto Fabio! Ojala puedas tirarnos mas contenido como este :)

[sebastiancipolat]

Muy interesante Fabio, gracias por el aporte!
Llegaste a ver si por api le podes pegar? Se me ocurren un par de usos

[EzequielMoreyra]

Buen video Fabio 👍🏼
a estos modelos se los puede usar para usarlos vía API? Como para crear un chatbot por ejemplo que se comunique por ws? O solo se pueden usar como chatgpt en un solo entorno

[blogueroconnor]

muy bueno esto. Los que vivimos los modems a 300bps no nos asusta esta velocidad.

[bcyqumx]

Muy bueno!! Gracias!
Al fin encuentro alguien que habla bien español y dice "GIGA" en lugar de "YIGA" 😁

[usuarior]

Excelente video Fabio. Pregunta. ¿gpt4all puede responder en español o solo en inglés? Gracias

[elcolotronics]

Se pueden usar rigs de minado de criptomonedas para esto? no tengo mucha idea, pero ahora que la locura cripto se calmo y hay hardware disponible por la gente que dejo de minar, capaz que se pueden usar para IA?

[gabrielherz]

Es que siendo yo nuevo en esto y desconociendo todo, veo que los proyectos de AI que existen son muy pesados, falta optimizar mucho y no es posible que un 13B requiera de tanta Vram, es absurdo, es la misma lógica que usan en los videojuegos. Haz probado los CPU de Rockchip? se dice que prometen mucho para lo baratos que son pero no he visto ningún benchmark medianamente meticuloso y en reddit solo te hablan de usar RTX o teslas, es absurdo.

[elsubidonk]

interesante idea! Una IA que corra localmente y uno decida que enviar a o no a internet. Como tambien, cuando o no conectar la IA a internet para que actualice sus datos.
Espero que con el paso del tiempo, los algoritmos sean menos demandadores de recursos y se pueda tener un IA como corresponde en tu propia compu! 👍

[pecpkrc]

En un ryzen 5700x con 32GB de RAM va bien (uso solo el cpu)

[axlreyko]

Chicos, ojala puedan ayudarme, yo instalo este programa pero no me deja abrirlo, me da Error Alguien con ese problema o alguna sugerencia para resolver esto -_-

[JorjePirela-omuh]

Saludos. Amigo me podría pasar el de 32 bits

[TriumphAventura]

lo estoy usando, el modelo Hermes es el que mas me va

[Francos_]

00:00 🖥️ Introducción al tema de tener una IA en tu propia computadora.
- Se explora la posibilidad de tener una IA en una computadora personal con limitaciones de hardware.
- Se menciona la dificultad de utilizar modelos de IA que requieren mucha memoria de video en computadoras convencionales.
03:37 💻 Requisitos y opciones para tener una IA en tu PC.
- Se discuten los requisitos de hardware para ejecutar modelos de IA en una computadora personal.
- Se menciona la existencia de modelos cuantizados que funcionan solo con CPU y RAM, aunque con resultados limitados.
- Se resalta la importancia de la memoria RAM y la necesidad de espacio en disco para descargar modelos de IA.
07:10 🧠 Modelos disponibles y licencias de uso.
- Se mencionan modelos de IA disponibles, como Wizard 1.1 y LLM, junto con sus requisitos.
- Se discute la importancia de las licencias de uso y las restricciones relacionadas con algunos modelos.
- Se destaca la posibilidad de reprocesar modelos para reducir su tamaño y requisitos.
08:20 ⚙️ Velocidad y rendimiento de modelos de IA en diferentes computadoras.
- Se compara la velocidad y el rendimiento de modelos de IA en una computadora modesta y una más profesional.
- Se mencionan las diferencias de hardware y cómo afectan la velocidad de respuesta de los modelos.
- Se enfatiza que, aunque puede ser más lento en una computadora modesta, aún es utilizable.
09:30 🌐 Ventajas de tener una IA en tu PC y posibilidad de uso offline.
- Se destacan las ventajas de tener una IA en tu PC, como la privacidad de datos y la capacidad de uso offline.
- Se menciona la opción de brindar datos para mejorar los modelos, pero también la posibilidad de mantener los datos en la computadora.
- Se enfatiza que esta aplicación permite hacer preguntas y obtener respuestas de manera similar a un chatbot.

[elmoteroloco]

Gracias por la info, muy relevante y teniendo en cuenta que la movida tiene seis o siete meses de ser "pública", creo que va mucho mas rápido de lo que (al menos yo) esperaba y el tercer mundo, como otras veces, se va a quedar afuera del tren.
Al menos el tercer mundo ¨no tecnológico¨, como es Latam (que Asia a todo esto le saca algún partido, aunque sea colateralmente fabricando componentes de ordenador)
Las AI funcionan muchísimo mas eficientemente de lo que uno podía imaginarse hace un año... y ya son portables ¿cuánto falta para que lleven una base de datos? ¿o escriban código sin fallas? supongo que muy poco y de ahí a llevar una contabilidad, hacer las compras de la casa y otro montón de tareas de rutina hay apenas un ratito
Creo que esto cambia el juego de formas que, todavía, la enorme mayoría de la gente no percibe completamente pero, para bien o para mal, nos va a afectar a todos. Data im-pres-cin-di-ble.
º/