Новая Llama 3.2 – LLM локально на любом устройстве? Гайд + Обзор

Как запустить новую нейросеть локально на своем пк или телефоне? На что способна новая нейросеть и сравнится ли она с большими ИИ-моделями? В этом ролике я протестировал новых Llama3.2 на 3B и 1B параметров. Запустим нейросеть используя ноукод (no code) решения и попробуем написать собственное приложение на python с использованием llama 3.2 3b

Скидка 45% по промокоду СОВЕТ.

Если вам интересны нейросети, LLM, ChatGPT, gpt 4o, или просто хотите быть в курсе последних новостей в области искусственного интеллекта и технологий, этот выпуск для вас!

#нейросеть #ChatGPT #llama3

Тайм-коды:
00:00 – интро
00:56 – ollama и первые тесты
07:20 – запуск через n8n и API запросы
12:45 – Запуск через cursor
14:05 – Llama 3.2 1b на телефоне

💼 По поводу сотрудничества – @dan4eck в телеграм.

Подписывайтесь на наши площадки, не теряйте полезняхи и новости о нейросетях:

Реклама. ООО "Скилфэктори", erid: 2Vtzqx1mNj3

[nikolay]

LLM это все конечно здорово, но когда ты уже допишешь Мёртвые души?

[NatashaDorokhova-sb]

Можно ли ламу заставить работать с файловой системой на компе, анализировать статистику использования файлов и отвечать на вопросы типа "с какими файлом я работал тои недели назад, в нем ещк было про ежкин кот и я еще вместе с ним открывал эксель какой-то, в который дописал четыре клеточки"?

[dolotube]

3:55 Да, увы, только инглиш. Щупал я llama 3.2 на олламе и пришел к выводу, что бесполезна для русского языка - глуповата и постоянно делает вставки на других языках. Даже гибриды с вихрем хромают слишком часто, чтобы пытаться использовать на практике. Тот же phi на 3b работает чище и сосоставим по скорости.
Большое окно контекста - это приятно. Но плохое следование инструкциям - это отвратно. Не нашел ни одного сценария, где 3.2 пригодилась бы.

[x_ztazy]

Трогал расширение для хрома MaxAI. В нем встроена llama и она вполне себе работает с русским языком. То есть это как то возможно или они используют перевод туда-обратно под капотом?

[EVgameus]

Есть ощущение, что основные тезисы видео могли поместиться в short =)
А вот про транскрипт локальный хотелось бы узнать подробнее, что использовать и куда прикрутить

[Thermalreview]

Подскажите локальную llm для успешного кодинга и генерации кода на python, с максимальным контекстом, чтобы можно было полностью утилизировать возможности rtx 4080, r9 5900x, 32 Ram

[timur.shhhhh]

4:50 было ожидаемо, что будет реклама

[Graf]

Подскажите пожалуйста, какую максимально Llama можно загрузить на устройство с 12гб оперативной памяти S24 Ultra?

[mihail_ltv]

Спасибо. Очень жду ролик про LM Studio.

[sergeyivanov]

Ждем обзор мультимодальной 3.2 11b + ollama+openwebui

[Milkyway]

Хорошо Вы все рассказали и подробно показали полезные вещи 👍

[rvsn]

Уважаемый! Научите как дать доступ Llama 3.2 – LLM локально в интернет, очень многие хотят получить локального помощника, который может обновлять свою локальную базу данных и давать подсказки основанные на на данных из интернета.

[ufocombat]

мы это проверили 👻 работает как на видео даже по русскому отвечает если короткие вопросы. если сложные и большие ответы лучше перевод делать
про эту программу-логическое программирование стрелочками-лучше отдельное видео сделать-она это заслуживает

[X-DV]

Вот зачем Цукербергу понадобилось 600 тысяч процессоров H100 с таким вот ИИ? Загадка.

[aleksandrastepanova]

Спасибо дяде, за труды, но пока Лламы не для нас. 😢
Но картинка прикольная😉

[Mirropix]

В чем фишка почему она стала бистро сгенерировать..? 😮 при минималке,

[Darkmind]

Воу воу воу. это как раз то что я искал. Алгоритмы ютуба жесть. Как они узнали?

[UtopiaBlueOne]

Ну, вообще-то, лауреат премии Юнеско вообще ни о чем не говорит, но ладно, это ж реклама все таки.

[JohnSmith-zm]

Summary: Качаем модельку и ничего не работает, русский не понимает, но модельки прикольные. А пайтон можете учить в скилфактори.

[timur.shhhhh]

Не знал, что автор еще и программист, не только новости ведет