Prueba ya Llama 3 - Tres formas de correrlo en tu equipo y tres formas gratis via web

En este video te explico tres formas en las que puedes ejecutar Llama 3 ¡ya mismo! Probaremos con nuestros programas favoritos Ollama y LM Studio pero también con LlamaFile, una variante portatil creada por Mozilla. También exploraremos tres servicios con los que puedes probar sin coste este modelo, incluso en su version de 70B de parámetros, sin tener una GPU local potente.

Llama 3 es un modelo liberado por Meta con licencia que permite el uso comercial para la mayoría de casos y que se ha entrenado con un inmenso corpus de conocimiento. Las evaluaciones inciales lo situán por encima de ChatGPT-3.5 y el modelo más grande tiene rendimientos similares a otros modelos comerciales, cuyos pesos no están disponibles en abierto.

[juanjesusligero]

¡Gran vídeo, como siempre! ^^
Sobre el testeo de nuevos modelos, a mí me suele gustar preguntarle cosas muy muy específicas de mi campo (así sé cómo de útil me va a ser probablemente), pero para que interese a todos yo diría que lo suyo es que te hagas una pequeña batería de preguntas variadas.
Por ejemplo, podrías hacer una pregunta de lógica, otra de programación (algo sencillito), otra de matemáticas, otra de literatura/poesía, otra de conocimientos generales, y una última que podría ser muy muy específica de un campo concreto y podrías ir variando de un vídeo a otro para darle vidilla.
Lo mismo sería interesante que para esa última pregunta les pidieras a los espectadores que escriban preguntas que les interesa de este tipo, así te las podrías apuntar e ir usando de forma aleatoria en sucesivos vídeos.

[EnSegundos.]

Ya lo probé ayer y esta bastante bien, ahora falta esperar el modelo grande, va a estar brutal

[JuanCastillo-lpkl]

Buenas noches muchas gracias por la información. Yo apenas estoy entendiendo esto sobre los modelos de llama 3 y demás. No soy muy bueno programando y mi computadora no es muy sofisticada; pero como usuario nuevo no quiero quedarme atrás. Tomando en cuenta mi situacion, me gustaria aprender lo siguiente: descargar un modelo pequeño en mi laptop y aplicarlo en mi escuela, por ejemplo: que analice una lista de asistencia y calificaciones de mis alumnos y pueda obtener sobre quien mas falta, el promedio, etc. Otra aplicacion es que analice expedientes de alumnos y pueda detectar algunos comportamientos de conducta etc. No se si se pueda; pero me gustaria saberlo y finalmente si puedo desplegarlo como una app o pagina web . Muchas gracias por leer el comentario . Quiza existan mas usuarios como yo que no entendemos y buscamos aplicaciones sencillas en nuestro entorno laboral

[elgazeta]

Buenas, por mi está bien la pregunta actual sobre movimiento maker y pandemia. En general el prompt q uso es algo así como: "inventa una operación matemática completamente nueva e implementala en python"

[santiagocastillo]

Muchas gracias por el esfuerzo de divulgación. Sobre la pregunta, solo como sugerencia a bote pronto, podríamos preguntar sobre si la sonda espacial Voyager I todavía envía datos útiles a la Tierra (hace unos meses, creo que 5, empezó a enviar datos no legibles debido a la corrupción de un chip).

[danson]

Cesar, que nos recomiendas para plugin Vscode con modelo dual local & openai?

[PHRAKENDARK]

Sería bueno que hicieras como maneja el lenguaje de Marcado del promt de cada modelo. Para promt dinámicos

[Maisonier]

Pero que buen canal en español! like y suscribir. Sería genial algún vídeo de cómo usar crewai con llama 3 cuando tengas tiempo o si es mejor autogen2.0 ¿o qué otras herramientas hay? gracias por compartir conocimiento.

[JaviArte]

Un apunte. El LM Studio funciona muy bien, pero no puede ejecutar modelos si tienes una CPU antigua :( (aunque elijas que corra en la GPU)

[AlejandroHidalgoL]

No vengo del mundo de los datos ni menos de la IA y estoy encantado con tus videos. Muchas gracias.
Una consulta que tengo sobre el uso de estos modelos es cómo puedo pasarle una base de datos externa a para luego hacerle consultas relacionadas... por ejemplo la nómina de notas de un instituto y consultar sobre alumnos con peores rendimientos o profesores con peor performance. no sé si esto sea posible a través del uso de IA o para el caso mejor usar usar otras estrategias clásicas de análisis de datos.
Muchas gracias por la respuesta.

[dragontvfics]

buen día, cual modelo me recomiendas para escribir relatos/cuentos/novelas?

[angieo]

Se puede hacer como un bot Q&A con información de pdf, podrías hacerla con base de datos de vectores y explicar la generación de embeddings o hacer embeddings con esos nuevos modelos? :D

[sebastian]

Gracias por tus vídeos, acabo de aterrizar en este mundo. De momento, a mí la llama estándar me suelta más mentiras que verdades, debe haber comido alguna hierba alucinógena.

[TheQuiyax]

Hola! Me gustaría poder aclarar que es tener un Hardware potente o medianamente potente, se me dificulta establecer en que rango esta mi computador para ejecutar un modelo u otro.

[dashremix]

Hola!. Como estas?
Seria bueno que hicieras una evaluación de Phi3 en local

[Jesulex]

Cuanndo descargo el modelo para LMstudio siempre me da un fallo ¿Me das algún consejo?

[az]

Si el mediano necesita unac3090, cuando salga el modelo grande no entra ni por la puerta. El prompt definitivo sería: ¿ podría el movimiento maker contribuir al avance de la IA con la creación de neuronas artificiales mediante el diseño y la fabricación de circuitos electrónicos que imiten las funciones básicas de las neuronas biológicas, como la capacidad de recibir y enviar señales eléctricas, utilizando tecnologías como la electrónica bioinspirada o la computación neurológica.?¿Qué opinas sobre esta aproximación?

[moebiusSurfing]

Hola, sabes si se podría entrenar llama para escribir con el estilo de un autor/escritor puntual?

[christianesteveorts]

Saludos makers. Una pregunta, al instalar Lm studio en una máquina virtual Windows 11 o 10 me da un error relacionado con JavaScript. Alguien ha conseguido empaquetar Lm studio en un máquina v?

[josepolonia]

una pregunta hermano las tarjetas NVIDIA Tesla K80 24GB GDDR5 se pueden utilizar para correr modelos?