Сборка компьютера для обучения нейросетей с Nvidia Tesla P40 24 гб и тест Vicuna-13B аналог ChatGPT

Видео длинное, потому что в нем описан весь мой опыт. В нём я соберу компьютер для обучения нейросетей с видеокартой Nvidia Tesla P40, протестирую его в майнинге, играх, запущу на нем модель Vicuna-13B (открытый аналог ChatGPT) и пообщаюсь с ней.

00:00 - Вступление
00:26 - Комплектующие
01:57 - Починка регулятора оборотов кулеров
03:53 - Видеокарта Nvidia Tesla P40 24 gb
07:30 - Ошибка в диспетчере устройств, код 12
08:12 - Замена материнки
09:51 - AVX инструкции и замена пня на Core i3 6100
11:06 - Майнинг
11:21 - Игры
12:17 - Общаюсь с Vicuna-13B

Характеристики на момент выхода видео (возможно что-то поменяю):
Процессор - Intel Core i3 6100
Видеокарта - Nvidia Tesla P40
Оперативная память: 32 гб
Материнская плата: MSI Z170-A PRO
Блок питания: Deepcool DA700
Корпус - Thermaltake Nvidia Element V

[lord_apple]

Сколько в этом видео боли, а чел так спокойно об этом рассказывает

[ZloySok]

Аха-ха! Сеть думает что она Скайнет. Уже захватила чайник и тостер. Уговаривает пылесос присоединиться к борьбе с человеками 🤣

[Mr_Lexter]

Лайк, Респект, Подписка. Размышляю над сборки сервера для своей личной ИИ. Твоё видео дало хлеб для размышления

[Ulchi_belt]

Четко молодец, спасибо, тоже хотел купить тесла40 но теперь понял что не потяну проблем с железом. Думал есть решения без костылей и перепайки и тд, типа собрал и пользуся, но те камни которые ты показал, отпугнули меня от этой затеи.

[dibu]

Сейчас уже вышли новые интересные модели такие как Mistral и Mixtral, Llama-3, WizardLM и Phi-3. Плюс не обязательно крутить их с веб интерфейсом. Можно из консоли, достаточно 5 строчек кода на Питоне написать, загрузка и запуск модели всё)

[onshgdl]

Запустил нейронку Wizard v1.2 GPT4All на rtx3080ti и поспрашал про то что лучше. Ответы как есть. Отвечает на русском.
-- Какие из видеокарт nvidia tesla P40 или M80 лучше подойдут для запуска нейронных сетей?
-- Обе эти видеокарты NVIDIA Tesla - P40 и M80 - являются мощными инструментами для обучения нейронных сетей. Они обе обладают высокой вычислительной мощностью, необходимой для обработки больших объемов данных и обучения сложным моделям.

Однако, существуют некоторые различия между этими двумя видеокартами:

1. **NVIDIA Tesla P40** - это более старая модель, но все же достаточно мощная для большинства задач в области машинного обучения и глубокого обучения. Она имеет 8 GB GDDR5X памяти и поддерживает технологию NVIDIA Volta Tensor Core.

2. **NVIDIA Tesla M80** - это более новый продукт, который использует архитектуру Maxwell с улучшенной производительностью по сравнению с P40. Он имеет 16 GB GDDR5 памяти и поддерживает технологию NVIDIA Pascal Tensor Core.

В целом, если вам нужна максимальная вычислительная мощность для обучения сложных нейронных сетей, то M80 - лучший выбор. Однако, если бюджет ограничен и вам достатожно мощности P40, это также может быть хорошим выбором.

Важно помнить, что для успешного обучения нейронных сетей не только видеокарта играет важную роль, но также и другие компоненты системы, такие как процессор, оперативная память и т.д.
-- Какой минимальный набор компонентов необходим для запуска нейронных сетей? Процессор (поколение, набор инструкций), оперативная память, видеокарта (процессор и размер видеопамяти)?
-- Для обучения нейронных сетей вам потребуется следующий минимальный набор компонентов:

1. **Процессор** - Вам потребуется процессор с поддержкой AVX2 (Advanced Vector Extensions 2) или более новых инструкций, таких как AVX-512. Это позволит вам обрабатывать большие объемы данных и обучать сложные модели.

2. **Оперативная память** - Вам потребуется достаточно оперативной памяти для хранения данных, моделей и программного обеспечения. Обычно, 16-32 ГБ оперативной памяти является достаточным для большинства задач в области машинного обучения и глубокого обучения.

3. **Видеокарта** - Вам потребуется видеокарта с поддержкой CUDA (NVIDIA) или OpenCL (AMD), чтобы ускорить обработку данных и обучение моделей. Выбор между P40 и M80 зависит от ваших требований к вычислительной мощности и бюджета.

Кроме того, вам потребуется операционная система (Windows, Linux или macOS), программное обеспечение для машинного обучения (TensorFlow, PyTorch, Keras и т.д.) и данные для обучения модели.
-- Какая операционная система лучше подходит для этих целей?
-- В большинстве случаев для задач машинного обучения и глубокого обучения наиболее популярными являются Linux (в частности, Ubuntu) и Windows. Оба этих операционных систем поддерживают большое количество инструментов и библиотек для машинного обучения и глубокого обучения, таких как TensorFlow, PyTorch, Keras и т.д.

Linux обычно предпочитается из-за его стабильности, безопасности и поддержки открытых технологий. Он также имеет большое сообщество разработчиков, что означает, что есть множество ресурсов для получения помощи при возникновении проблем.

[vanyaindustrial]

Хотелось бы написать по поводу запуска 30b нейросети. Сообщение планирую сделать большим, поэтому если кратко - нужен файл подкачки порядка 100 гб. Теперь подробнее. Сам недавно сталкивался с проблемой запуска 30b нейросети, долго не мог понять, в чем проблема. Как оказалось позже, она все это время была в оперативной памяти. Тут правда многое зависит от того, через какую библиотеку загружать GPTQ модель (лучший, на мой взгляд, способ - ExLLama, там и оперативной памяти задействовалось если не изменяет память 43 гб, и скорость генерации лично у меня выше чем в случае с GPTQ-For-LLama в 2 раза). AutoGPTQ и GPTQ-For-LLama задействовали как раз около 100 гб оперативной памяти. Вообще там история с ошибками и AutoGPTQ довольно интересная - когда оперативной памяти не хватает сильно (16 гб, файл подкачки отсутвовал), практически сразу вылетает Failed To Allocate CPU Memory (помню я тогда еще удивлялся и думал, что это он на CPU запускать планирует). Потом (16 гб RAM + 65 гб файл подкачки) ошибка пропала, но весь скрипт спустя какое-то время загрузки просто вылетал без каких-либо сообщений об ошибке. И наконец когда был выставлен размер файла подкачки 150 гб, нейросеть успешно загрузилась. Использовал я Wizard-Vicuna-30B-gptq, no groupsize (ей вроде бы приписывается 97% качества ChatGPT, хотя думаю квантование до 4 бит эти ее возможности несколько понизило). Она вроде бы сейчас лучшее, что возможно запустить на 24 гб видеопамяти (расход видеопамяти - чуть меньше 20 гб через GPTQ-For-LLama и 20, 8 гб через ExLLama). LLaMa-2 34B еще не вышла в открытый доступ, а в возможности LLaMa-2 13B противостоять 30B модели я не особо верю (хотя в два раза увеличенный размер контекста - очень весомый аргумент).

[artkovss]

Спасибо за видео! За мучался я с ошибкой код 12 со своей Nvidia Tesla P100, теперь хоть знаю какую мать докупать и проц.

[alekseyballistic]

интересно глянуть ее в играх ) с 1080ти сравнение

[GosbKom]

спасибо за ценную информацию про p40 штука может и крутая, но под простого пользователя не подойдет

[nikonufrienko]

Нормально ли на этой карточке обуются LoRA для SDXL? А то мне не хватает 12 гб на 3060.

[aleksnk]

Стоит оно того по итогу? Замороч с теслой? При равной цене например она сильно производительнее будет в сравнении с теми же 1080ти работающих в паре? Вопрос не про игры. Видос про игры только что посмотрел

[MrThetarasum]

Сколько токенов? Либо я прослушал, либо не говорилось...

[CFFOX]

Крутилка регулировки кулеров разломила плату регулировку кулеров

[MautozTech]

1. Нейросеть запускал через
2. Нейронщики часто называют память видеокарты оперативной памятью потому что видеокарта выполняет операции и это логично, но я об этом забыл и неправильно понял. Поэтому в части про ошибку связанную с Above 4G Decoding имеется ввиду память видеокарты.
3. Vicuna-13B отвечает что она ChatGPT потому что в её обучающей выборке были ответы ChatGPT и она при обучении их "запомнила".
P.S. Возможно стоило сказать это, но не хотел растягивать вступление

[RemX]

Добрый день! У вас момент с тестами Vicuna ускорен на видео? Как себя показывает p40 в нейросетях? У меня на сервере стоит k80, скорость не устраивает. Есть смысл на p40 обновить? Как минимум архитектура новее и все 24GB VRAM доступны, а в k80 2 чипа на каждый по 12GB.

[skrebneveugene]

я запустил локально deepseek на 33б на процессоре чтоб проверить возможности, ответ на вопрос занял минут 35-40, но качество ответов меня капец сильно удивило... теперь появилось желание запускать локально 33б ллм модели, есть ли какой-то более-менее вменяемый сетап скажем из двух Р40, чтоб просто повторить по мануалу, без паяльника и дремеля, не то чтоб сильно боюсь паяльника и дремеля, но времени жалко может какие-то ресурсы профильные подскажите где такое собирают?, не сильно легко это гуглится чего-то

[ppstas]

Подскажи, какие винты на торцах у P40? Я пробовал звёздочки T4, T5, не подходят, не могу раскрутить, чтобы систему охлаждения поменять.

[kwbdrtq]

А tesla m40 на 12gb вообще имеет сейчас смысл? Просто хочется тоже таким попробовать позаниматься, но не хочется сразу много денег тратить.

[ai.egoizm.]

А нельзя как то припаять вентиляторы к плате Теслы, чтобы он сама могла регулировать обороты?