О практике внедрения больших языковых моделей, вызовах и тестировании гипотез

«Все начинают с open-source моделей или с оберток над OpenAI. Строят какой-то первый продукт, проверяют гипотезу и, если взлетает, инвестируют в собственные модели. Для этого нужно покупать железо, нанимать редакторов, писать контент. Потому что чем лучше ты контролируешь технологию, тем более качественный продукт получишь».

«У всех LLM есть определенное количество болячек, которые могут приводить к тому, что для твоего продукта решение будет недостаточно качественным. Например, галлюцинации. Но чат-ботам, например, Character.AI, это добавляет фановости. А вот для поисковых движков, вроде Perplexity, это становится недопустимым, так как здесь нужна объективность фактов».

Гость: Денис Озорнин
CPO Алисы в Яндексе

Ведущий подкаста: Юра Агеев, основатель ProductSense

00:00 ‒ Интро
01:35 - Что случилось в технологическом мире после прорыва ChatGPT
04:10 - О том, сможет ли ИИ заменить людей и aha-моменте
09:52 - Какие продукты и стартапы строятся на основе LLM
14:29 - Можно ли кастомизировать большие языковые модели и как это делает OpenAI
18:49 - Три способа применения больших языковых моделей в готовых продуктах
26:12 - Галлюцинации в LLM и разговорные сценарии
28:53 - Почему внедрение больших языковых моделей стоит так дорого
29:20 - Как проапгрейдить продукт, не залезая в фундаментальный сценарий
31:14 - Можно ли доверять готовым языковым моделям данные
32:49 - Как понять, нужен ли искусственный интеллект твоему продукту
42:12 - С чего начать работу с LLM продакт-менеджеру
47:27 - В каких сферах могут быть использованы большие языковые модели
52:42 - Как появилась технология «Алиса, давай придумаем»
01:03:36 - Юнит-экономика внедрения LLM в продукт и доход от рекламы
01:14:56 - О будущем применения цифровых моделей
01:20:11 - Как проверять гипотезы с помощью OpenAI
01:23:40 - Об open-source моделях и будущем технологии
01:27:50 - В чем ценность: в данных или в их применении?

*В подкасте упоминаются продукты Meta — запрещенной в России организации

Выпуск подготовлен в партнерстве с Яндекс. Обязательная маркировка: Реклама ООО "ЯНДЕКС" ИНН 7736207543 erid: 3apb1Qrwwr2uBg1Hm6UgFuKRcYkdsqg882Cf2StuW3gXr

[ЕгорПетров-гэ]

Яркий пример таланта и настоящего эксперта. Отличный выпуск, где удалось охватить как тренды, так и прикладные моменты. Некоторые жалуются на особенности речи гостя, так вот, имейте в виду, что в публичном поле вы вероятнее встретите пустышку с поставленным голосом и правильной артикуляцией жестами. Что для вас важнее: содержание или упаковка конечно же решать вам :)

[plokhotnov]

Денис, Юрий, спасибо вам за очень классный выпуск. Было очень интересно.

У меня есть вопрос. Я не знаю, смогу ли я на него получить ответ.

И вообще, прочитаете ли вы этот комментарий. Но хотелось бы получить обратную связь.

В чем вопрос? Вот когда вы обсуждали про юнит-экономику, арка и perplexity, потенциальную юнит-экономику, что сейчас все бесплатно, но потом, видно, рекламная модель все равно должна как-то так или иначе появиться.

Причем она требует дополнительных настроек рекламы, потому что тоже дезераптит рекламный рынок. А возможно ли, с точки зрения Дениса, сделать так, чтобы ЛЛМ помогала подобрать оптимальную рекламу конкретному запросу, чтобы получилась практически нативная или условная интеграция, чтобы ЛЛМ-ка анализировала более-менее релевантные рекламные размещения и выдавала наилучшие.

Как я понимаю, у Яндекса и Гугла такие алгоритмы есть, но не уверен, что они там с использованием нейросетей делаются. Вот такой вопрос.

[ruslanabramov]

Сделайте версию где вы пордезаете паузы и ЭЭЭ. Их легче слушать

[InKo-ifbw]

никто никого не заменит но на 70% объём работы на рынке сократится и вы сами это упоминаете но дойти до этого вывода страшно?)

[doncorleone]

"...в смысле, ну в смысле, в смысле...." челу не про LLM нужно рассуждать, как она жизнь упростит, а книжки лучше бы почитал и от слов паразитов избавился. Слушать очень тяжело

[nikanetique]

Эээээ-интересно, иииии полезно, но слушать эээээээ тяжело