Как установить языковую модель на пк? Установка Llama, falcon, mistral!

Сейчас многие говорят про Llama, codellama, falcon и другие локальные LLM, но мало кто говорит как их установить!
И это на самом деле одна из самых сложнейших вещей была для меня!
До недавнего момента!
Появилось решение, которое позволяет устанавливать языковые модели к себе на пк очень легко и пользоваться ими одно удовольствие!
Так что в этом видео я тебе покажу пошаговую установку LM Studio!
И покажу как установить Llama, codellama и прочие LLM к себе на компьютер!

#нейросеть #чатбот #llm

[neurmania]

А что вы думаете о локальных LLM?
Кстати, их можно поставить спокойно на сервак

[lookas_sdd]

спасибо за это видео, я искал совсем не то о чём ты рассказывал, но по стечению обстоятельств этот видос привёл меня к решению одного вопроса с моей моделью. просто премного благодарен тебе🙏

[MaxPRO-AI]

Спасибо тебе! Узнаю много нового от тебя и полезного! Я впервые начинаю изучать нейросети. И твой контент очень заходит хорошо. Ведь я даже не знаю толком в какую сторону искать в поисковике на эту тему, а у тебя много всего и полезного.

[DenisLeadERTV]

Вот шапочку из фольги снимать не надо. Лучи из космоса идут и сигналы, по чакрам бьют, получается ментальный удар.

[AlexAlex-eizf]

Привет! Офигеть! Добра Тебе и удачи. очень выручил. Вот это очень полезно

[SpikeSuper]

В этих сетях есть ограничения на текст?Условно, 2-3 страницы печатного текста.
И, эта нейронка, обучается?

[scherbakovss]

Какая модель подойдёт для работы с научными статьями из тех что есть в llama? Какой длины текст в среднем выдает если попросить написать развернутый ответ?

[DELOG]

Есть способ в lm studio до обучать модели?

[mikhailnt]

Можно ли загружать файлы с документами в чат? Или как в privateGPT отдельно загружать в модель для контекста?

[XPandoruM]

Хотелось бы узнать, какую из этих нейронок можно использовать для анализа текста? Хочу попробовать в работе бользовкться.

[badgamecomments]

Спасибо за видео! Подскажи, пожалуйста, ты подключил ии в бота-телеграм локально, не выгружая на сервер? Так это надо постоянно держать пк включённым)

[-vileon-]

как стереть все общение с аи? если задаю вопрос и например резко меняю тему в другое русло он все продолжает отвечать ответами на 1ый вопрос.спасибо

[ultra_lazer]

всем привет! есть где нить туториал как их обучить?

[kontraktor]

Скажите, можно ли LM устанавливать на серверную ОС?

[SupplyBurn]

Если у вас Windows 7 и что-то из автономных нейросетей не запускается, попробуйте установить VxKex и включить его на вкладке VxKex в свойствах Exe файла. Первый раз это нужно сделать при установке, второй раз это нужно проделать со всеми Exe файлами программы. Если для работы нейронки требуется Python, то это нужно сделать и с ним тоже - причем со свежими версиями, которые официально семерку не поддерживают.
Установил себе таким образом, а также LM Studio, Jan и еще несколько GUI для запуска нейросетей в оффлайне. В основном - полёт нормальный.

[misterfox]

Ура! Не зря я покупал 64 гб озу с запасом для расширения до 512! Теперь можно юзать и не бояться :)

[gwlgffi]

Как загрузить например csv для анализа?

[Mumitroll]

Привет, подскажи пожалуйста можно ли использовать чат на манер dungeon ai?

[romanmed]

ут требования avx2. конечно с 2014 года оно практически у всех имеется, но не у всех процессоры настолько новые. мой не поддерживает. выпущен в 2013. так что к прелестям локального ии прикоснуться не получится

[dmitrch]

на 32 Gb RAM 4 Tb ssd. какую модель поставить ? оптимально rtx 40xx 16gb