LLama 3.1 – Бесплатная Нейросеть на Твоем ПК Локально. Запусти за 10 минут

Появилась нейросеть круче чем GPT4-o? Как-минимум нейросети Llama опенсорсные и вы можете их скачать бесплатно. Запускаем новую LLama 3.1 на 8b параметров при помощи ollama и накатываем удобный интерфейс через docker + openwebui или anythingllm.

Расскажу и покажу все по шагам так, что вы сможете запустить нейросеть на своем пк. Подписывайтесь, чтобы быть в курсе всех новостей в области нейросетей, ChatGPT, gpt 4 и других бесплатных инструментов!

Тайм-коды:
00:00 – Интро
00:54 – LLama 3.1 - что это?
02:18 – установка ollama
03:58 – запуск llama 3.1
08:10 – OpenWebUI
11:41 – AnythingLLM

💼 По поводу сотрудничества – @dan4eck в телеграм.

Подписывайтесь на наши площадки, не теряйте полезняхи и новости о нейросетях:

[samolevich]

Если мои запросы сливаются в ЦРУ, то это проблема ЦРУ.
Если сетка учится на моих запросах, то она тупеет.

[no_cola]

Прикольно, мужик как будто сам был сгенерен на основе датасета Джарахов + Мюнхаузен))

[armotech]

Чел говорит про безопасность данных пользуясь макбуком. Думайте.

[Dr_Pavel]

Теперь ЦРУ помимо моих запросов будет знать еще и содержимое компа ))

[Essrom]

Mac: ты открыл браузер, ОЗУ закончилось

[Ggghh]

Ребят, было бы круто, если бы вы сделали видосы про то, как создать, интегрировать и заточить под свои задачи ии ассистента, на основе этой модели.

[vvwwvv]

Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.

[vlados]

В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален

[YunmiYun_UwU]

есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.

[sunteem_design]

Интересно, почему каждая из Open/Free UI оболочек просит регистрацию, хотя ты по сути запускаешь всё на локалке. Это позволяет производителю оболочки идентифицировать тебя. Хотя вся суть приведенного метода в уходе от контроля, идентификации и тд.

[jteff]

Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе

[xoxpox]

И какой итог ролика? До конца ничего не сделано, итог не показан, смысл такое выпускать? Вот есть такие проги и что?

[technotemka]

Доброго времени суток, можно ли ламу класторизировать, лама потребляет ОЗУ, а вычисления делает на GPU или CPU?

[FernandoBelarus]

Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️

[ticketboutique]

Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?

[elmarrasulzade]

Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.

[Milenium]

Здравствуйте, скажите, пожалуйста, как установить Ollama на Майкрософт? Не получается, несмотря на выполнение пошаговой инструкции. У меня Виндоус 10, но установить не получается. Нет у меня тех рекомендаций установки, которые показываете вы.

[mitrio]

Я не очень понял, в чем преимущества использования решения с докером? Если оно требовательно к ресурсам.

[AlexanderLetetski]

Оставайтесь в том же формате. Идеальный вариант и для технарей и для лемеров

[drumcord]

Без AVX2 получится запустить? У меня Core i7 2600 - там нет AVX2 - и такую тему с нейронкой Dolphin не удалось запустить.