Создавай ИИ-агентов при помощи n8n локально: Llama 3.1, Gemma, Phi 3,5

Как сделать своего ИИ-агента, который работает локально на вашем компьютере? В этом выпуске я покажу фреймворк для создания ИИ-агентов на базе локальных LLM. При желании вы можете использовать и GPT4-o и Claude 3,5 Sonnet от OpenAI и Anthropic, заменив локальную Llama 3.1 на провайдера LLM через API.

Я использовал сервис n8n для автоматизации и настройки ИИ-агентных функций, чтобы модель научилась работать с базой данных. Также я использовал не Llama 3.1 8b, а более мелкую модель Phi 3,5 от Microsoft, чтобы мой Mac M1 мог ее осилить.

Если вам интересны нейросети, ChatGPT, gpt 4, или просто хотите быть в курсе последних новостей в области искуственного интлеелкта и технологий, этот выпуск для вас!

#нейросеть #ChatGPT #ИИ

Тайм-коды:
00:00 – интро
00:52 – почему n8n
01:44 – установка n8n
04:13 – качаем локальную LLM
05:50 – создаем агента с доступом к бд
06:56 – доступ к векторной бд
12:44 – выбор LLM
14:23 – запуск и тест ИИ-агента

💼 По поводу сотрудничества – @dan4eck в телеграм.

Подписывайтесь на наши площадки, не теряйте полезняхи и новости о нейросетях:

[dolotube]

Если приходится задействовать гугл-консоль, Pinecone или еще кого-то на сороне, то это уже как бы выходит за рамки локального решения.

[Kurchaviy-szuw]

Только что хотел найти подобное видео, и мне в реках выдало этот видос, видимо ютуб прочитал мои мысли, спасибо за видео!

[RUSSIAZOV-]

Он просто скипает в гайде самые важные аспекты при настройки платформы, просто на кайфе чел

[valeryreshalkyn]

Круто, Начал смотреть второе твоё вдиео, очень рад что у нас появился новый техноблогер про ноукод. Благодарен за то что ты делаешь. Контент пушка! продолжай пилить =) Кому непонятно смотрите повторно =)

[Вячеслав-бещ]

Ничего не понятно, но очень интересно....

[Роберт]

ЛУЧШЕ скачать LM Studio. Выглядит красивее. Есть встроенный поиск и установка моделей(в поиске есть функция поиска моделий подходящих под пк). Всё сразу из коробки. Никаких команд для установки не нужно надо только скачать с официального сайта установщик, а он в свою очередь всё сам сделает. Можно прикреплять файлы и изображения. Даже русский язык интерфейса есть. Просто зачем эта куча заморочки которая показана в видео?

[n.rzhevskii]

Зашёл посмотреть локальное решение всё-таки. Было бы интересно посмотреть про всю локальную обвязку

[millimetr]

Ничего не понятно, но очень интересно😊

[МаксимМедведев-фм]

перспективное решение. особенно для малого бизнеса работающего с большой товарной номенклатурой или иными вариантами больших массивов инфы

[dimitrikalinin]

Наиболее затратной частью будет векаторизация базы знаний, которую ты делаешь платным openai, а общение с пользователем, что является чувствительной частью, делаешь с помощью слабоватой ламы. По мне, так следовало сделать наоборот. С поиском справится почти любая модель, а вот с пользователем должно общаться что-то здравое. Но за видео спасибо, идея понятна, буду копать. Интересно.

[a.g.experimentallaboratory]

А что с арендованными серверами, как выбрать нужную скорость работы и сколько это стоит? Я так понял что нужен комп за 15млн чтобы он тянул любые локальные бд

[Mr_x_One]

Может ли кто то подсказать тут. Поставил на локальный сервак Ollama с phi3. С консоли задавая вопросы текущей модели или через API получаю довольно быстро ответы. Но как можно дообучть уже поставленную модель, кто подскажет с помощью файлов DOC или PDF (именно локальную базу так как документы могут хранить конф. информацию) ? Я например поставил AnythingLLM но это не то, что нужно. Так как надо обращаться через AnythingLLM а не напрямую к Ollama

[imhandsome]

Три недели назад был ролик про установку ламмы локально через докер и прочие приложения
Ролик классный, но покажите, пожалуйста, как установить ламму через vs code

[PRVMUSIC-hv]

Только что понял шутку про локально. Прошло пол года))

[DjJageyedolon]

а без конструктора можно? а как задавать параметры ассистента?

[Arrrr-gjkk]

14:38 хахах типичный мак юзер, которому 8гб оперативки хватает на всё: своп там задыхается аж на еще 8гб строчкой ниже, тем временем типичный мак юзер: ну израсходовано у меня всего лишь 7.4гб из 8, значит все отлично еще дофига оперативки свободной 😀

[sgruzdev]

А чем такое решение лучше LM studio? Я пока в нем вижу кучу минусов и ни одного плюса. Зависимость от внешних сервисов с регистрацией, необходимость в докере, который сожрет дополнительные ресурсы компа, излишняя замороченность в установке и настройке.

[timurgaranin]

Спасибо. Интересно. Пользоваться я этим, конечно же, не буду. Ибо так заморачиваться, когда есть тот же make, смысла нет.

[topodin]

Посмотрел целиком. Сам пример общения с пдф файлом через такие костыли выглядит как открыванте пива жопой и совсем не понятно, какие преимущества такой способ дает.. в каком месте это лучше и более фкнкционально чем использовать для этого иное любое готовое решение.

[AndrewQuardex]

принцип чтения из бд понятен, а как обновлять в базе информацию?