RAG w LLM: Dlaczego popularne rozwiązania to droga donikąd?

RAG w LLM: Dlaczego popularne rozwiązania to droga donikąd?
👍 Zostaw like, bo więcej lajków = więcej praktycznych treści dla Ciebie!
💬 Co o tym myślisz? Zostaw komentarz! Masz pytanie? Zadaj je - chętnie odpowiem.
🔊 Zainicjuj rozmowę o ML w firmie, polecając ten podcast. Zainspiruj zespół do wdrażania ML!

Partnerem podcastu jest DataWorkshop.

Problem: Tradycyjne podejście do RAG (Retrieval-Augmented Generation) w dużych modelach językowych (LLM), choć obiecujące w teorii, często zawodzi w praktyce. Sztuczne dzielenie danych na fragmenty (chunki) prowadzi do utraty kontekstu i generowania niespójnych, a nawet błędnych odpowiedzi.

Przyczyny:
-- Mechaniczne dzielenie tekstu: Tradycyjne metody dzielą dane na chunki na podstawie liczby znaków, ignorując semantykę i kontekst. To prowadzi do utraty sensu i generowania chaotycznych odpowiedzi.
- Nadmierne poleganie na embeddingu: Choć embedding jest potężnym narzędziem, nie jest rozwiązaniem idealnym. Nadmierne poleganie na nim prowadzi do wybierania fragmentów tekstu podobnych semantycznie, ale niekoniecznie istotnych dla danego zapytania.
- Zaniedbanie jakości danych i struktury: Skupienie się na zaawansowanych algorytmach i bazach wektorowych odciąga uwagę od kluczowej kwestii - jakości i struktury danych.

Skutki:
- Niska dokładność i spójność odpowiedzi: Modele LLM generują różne odpowiedzi na to samo pytanie, a użytkownicy nie mają pewności co do ich poprawności.
- Brak transparentności i audytowalności: Trudno jest prześledzić proces generowania odpowiedzi i zweryfikować, skąd pochodzą konkretne informacje.
- Wysokie koszty implementacji i utrzymania: Zastosowanie złożonych architektur i modeli zwiększa koszty, a problemy z jakością danych prowadzą do ciągłych poprawek i reindeksowania.

Chcesz więcej? Zapisz się listę chętnych kursu praktyczny LLM. Naucz się krok po kroku, jak budować i wdrażać rozwiązania, które robią różnicę:

🕒 Kluczowe momenty:
0:00 Wprowadzenie: RAG w LLM-ach
3:48 Generowanie trafnych odpowiedzi przez LLM-y
13:43 Odpowiedzialność za dane wejściowe
20:44 Problemy z mechanicznym podziałem tekstu
26:20 Osadzenie wektorowe i podobieństwo semantyczne
37:51 Alternatywne podejście do RAG
45:30 Ostrzeżenie przed nadmiernym komplikowaniem AI
53:00 Podsumowanie i alternatywne podejście

🧠 Dowiesz się:
- Dlaczego klasyczne podejście do RAG często zawodzi
- Jak LLM-y interpretują dostarczony kontekst
- Jakie są pułapki przy implementacji RAG
- Co to jest "mapa wiedzy" i jak może zrewolucjonizować AI

Należy odejść od mechanicznego podejścia do RAG i skupić się na:
- Głębokim zrozumieniu problemu biznesowego: Zdefiniowanie, co chcemy osiągnąć i jakie informacje są potrzebne do rozwiązania danego problemu.
- Manualnym zaprojektowaniu struktury danych: Ustalenie, w jaki sposób przechowywać dane, aby zachować ich sens i kontekst.
- Użyciu embeddingu jako narzędzia pomocniczego: Embedding powinien wspierać, a nie zastępować klasyczne metody wyszukiwania.
- Skoncentrowaniu się na jakości i aktualności danych: Zapewnienie, że dane są wiarygodne, aktualne i odpowiednio zabezpieczone.

Korzyści:
- Zwiększenie dokładności i spójności odpowiedzi.
- Poprawa transparentności i audytowalności.
- Obniżenie kosztów implementacji i utrzymania.
- Spełnienie wymogów prawnych (GDPR, EU AI Act).

Chcesz więcej? Zapisz się listę chętnych kursu praktyczny LLM. Naucz się krok po kroku, jak budować i wdrażać rozwiązania, które robią różnicę:

Zamiast ślepo podążać za modnymi rozwiązaniami, należy skupić się na fundamentach - jakości danych, strukturze i zrozumieniu problemu biznesowego. Tylko takie podejście pozwoli wykorzystać pełen potencjał RAG i zbudować systemy oparte na LLM, które będą nie tylko efektowne, ale przede wszystkim efektywne.

Jeśli interesujesz się przyszłością AI i jej praktycznym zastosowaniem w biznesie, ten odcinek jest obowiązkowy!

🔗 Linki:

🎧 Słuchaj BM wygodnie na Spotify, Apple Podcasts lub Google Podcasts:

Przydatne publikacji:

Tagi:
#ai #machinelearning #datascience #nlp #rag #llm #search #bestpractice #biznesmysli

[tomaszb]

Bardzo merytorycznie. Super. Bardzo dziękuję za przekazana wiedzę. Pozdrawiam serdecznie.

[marcingendek]

Świetny materiał. Jest w stanie zaoszczedzić dużo czasu samemu eksperymentując z RAG.

[deklaracjadostepnosciinf-ysuz]

Czekam na każdy materiał i wciąż się uczę. Bardzo Ci dziękuję. Chcę jednak też ponarzekać:) Już kilka razy wspominałeś, że modele embeddingowe od OpenAI są słabe. Jednak chyba nigdy nie wspomniałeś, co lepiej wybrać. To taka podpucha?

[jakubjanecki]

Dobry materiał, dzięki 🎉. Naiwnie myślałem, że LLM ustrukturyzuje mi dane bez względu na format i będę się cieszył poprawnym outputem beż wysiłku neuronów 😂

[Mn]

hej, wspomniałeś o szkoleniu, możesz podesłać link? pozdrawiam PS rowniez stworzylem kilka ragow ale stwierdzilem ze to nie moze dzialac. Ogladajac ten film w koncu widze swiatelko w tunelu.

[suczizapatrap]

Hej, skoro odradzasz chunking - to co w zamian?

Buduję właśnie RAG, który ma być doradcą dla kandydatów na moją uczelnię - używam programów kierunków w PDFach, które mają po 200-300 stron. Wszystkie tutoriale/filmy, z jakimi się zetknąłem mówią o chunkingu, czy można to rozwiązać w jakiś inny sposób?

[archiee]

Świetne video. Jaki embedding model polecasz do jezyka polskiego?

[arseniybrazhnyk]

Dzięki bardzo za materiał! Czy możesz rozwinąć temat dotyczący chankowania: czy z twojego punktu widzenia nie warto dzielić dokument na chanki, a zapisywać jako całość do wektorowej bazy danych i łączyć wyszukiwanie o słowa kluczowe z semantycznym wyszukiwaniem?

[marcin]

I na tym się skup- naukowo i krytycznie nt. technologii, bo to rozumiesz.
Filozofem AI/ DS już nie zostaniesz ("Nie gońcie za ułudą!"~` Biblia)