IA DO WHATSAPP está ERRANDO MUITO?

Leon e Nilce falam sobre os erros da META IA.

Esse é um canal de cortes de lives e vídeos dos demais canais de Leon e Nilce. Aqui, você vê com destaque um tema relevante. Para assistir todo conteúdo, conheça os demais canais.

⚠️ As lives estão acontecendo sexta-feira (ou sábado, ou domingo), por volta das 20h, no canal República Coisa de Nerd!

[Renatosoaresdemoura]

Olá Leon e Nilce acompanho vocês faz mais de 10 anos obrigado por vocês fazerem parte da minha vida

[felipemamedes]

Em versionamento de código não usamos os décimas, é feito X.Y.Z.
Z normalmente paths de correção, Y paths com novas alterações/features, e X quando muda muuuita coisa e torna partes incompatíveis com a versão anterior.
Normalmente a IA é treinada com coisas da web, pode ser que ela viu vários repositórios do git com a sequência 1.9.8 -> 1.9.9 -> 1.9.10, 1.9.11....

[charlenefarias]

Ontem fiquei chokita com um IA chamada Notebook LM (do Google). Não lembro de vcs terem falado especificamente dela. Algumas pessoas estão usando pra resumir PDFs pra estudo. E o q me chocou foi o modo "Conversa Profunda" q eles criaram. Por enqnt, ela só cria áudio em inglês, mas já é sensacional.
Fui testar e mto "diferentoso": carreguei um PDF com questões sobre Licitações (Direito Administrativo). Aí a IA pegou as informações e criou um "podcast" entre duas pessoas (uma entrevistadora e um jurista especialista em "brazilian administrative law"). E faz parecer q é uma conversa real, citando exemplos, explicando conceitos com eles. Bizarro!
Seria maravilhoso se fosse usado só pro bem.

[nataliamineiro]

Eu fui pedir recomendações de Doramas e ele me deu um título com uma sinopse direitinha, amei, aí quando eu fui ver, não existia esse dorama

[lincolnroberto]

As IAs não fazem contas, elas não sabem, essas IAs mais populares são de geração de texto, elas são treinadas pra gerar textos, ou melhor, pra gerar respostas em texto que melhor possam agradar/satisfazer você, então quando você faz uma pergunta matemática, apenas é uma coincidência que o melhor texto pra responder à isso seja uma resposta com matemática, ela não está realizando o cálculo e/ou verificando sua resposta, está pensando em como gerar o texto com mais probabilidade de te agradar

[danielgutterresprado]

A grande questão é que as IA's aprendem exatamente como qualquer outro ser vivo, através da experiência prática. Outra questão que deve ser considerada é que as IA's são um produto, e como qualquer produto, a prioridade é agradar ao "cliente". As IA's sempre tentarão atingir as expectativas do usuário. As IA's sempre tentarão resolver um problema seguindo o raciocínio mais raso possível. E isso acontece por que a maioria das experiências que as IA's têm, são rasas. Então, se a maioria das pessoas não possuem muito conhecimento em relação ao que perguntam para uma IA, e muito provavelmente se contentariam com qualquer resposta bem construida, as IA's tendem a responder de acordo com o nivel da pergunta. É uma forma de poupar recursos operacionais. Outras questão importante, é que o cosumo de recursos para que uma IA atinja uma profundidade de "raciocínio" maior, é imensurável, então, não esperem que qualquer IA vá responder qualquer pergunta com o máximo de "resolução". As IA's são como crianças superdotadas, possuem muito conhecimento, e muita capacidade lógica, porém pouca experiência prática.

[guilhermefigueiredo]

Esse erro de qual número é maior provavelmente vem por causa de versões de código.
Num sistema de grande porte que está constantemente sendo atualizado, o primeiro número representa grandes mudanças e o segundo pequenas atualizações.
Nesse caso, um sistema que está na versão 9.11 veio depois de passar pelas versões 9.10, 9.9 e 9.8.

[gamoreir]

LLMs não tem capacidade matemática. A arquitetura da rede (nesse caso transformers) é feita para prever o próximo token dado um input (um array de tokens, por exemplo) e isso é feito com base na probabilidade dos embeddings mais próximos dos últimos N tokens no espaço de fase do modelo.

[sirbibit]

Mojang a uma década falando q Minecraft 1.10 é mais novo q o 1.9 e geral acha de boa

[VictoriaWalker]

Esses modelos de linguagem usam tokens para poder fazer suas análises e gerar textos.
Elas não tem acesso direto ao texto ou números que você digitou, então isso pode causar muita confusão fora do objetivo de gerar textos.

[lemnhead]

A questão dos números é complicada mesmo, GPT passou por isso no começo tbm.
Vc pode imaginar que pro computador ele converte números para escrita (por exemplo, "3.2" vira "três ponto dois") e, nessa forma, é mais difícil criar uma "intuição" (nas camadas interiores da rede neural) de por que "três ponto dois" é maior que "três ponto onze".
A LLM não faz exatamente essa conversão, mas "3" é só um token muito parecido com "três", então eles ocupam uma posição similar nos vetores usados pros cálculos.

Enfim, a solução acaba sendo mais treinamento/finetuning específico para números. Só ensinar linguagem não produz um conhecimento matemático profundo.

[HDrago]

7:25 Só pra clarificar, o Chat-GPT também costumava cometer o mesmo erro, apenas em uma versão mais recente foi corrigido.

Quanto ao motivo, nos nunca tivemos certeza. Mas provavelmente é um problema de tokens, em que a IA vê 9 e 11 ou 8 como tokens separados, o q causa a má interpretação dela. É similar ao caso do "Strawberry", em q ela quebrava a palavra em "Straw" e "Berry" e por causa disso ela dizia que só tinha duas letras r na palavra se você pedisse para ela contar.

[yanmarccos]

IA, IA, IA, EU NÃO AGUENTO MAIS KAKAKAKAKA. VAI SER ISSO PELOS PRÓXIMOS 10 ANOS. Pelo menos temos eles pra nos noticiar das falhas da humanidade ❤

[MatheusGonzaga]

Acabei de pedir pra comparar os números e ela respondeu certo.

Pedi pra comparar e dizer qual era maior. 9, 2 ou 9, 18 e essa foi a resposta:

Para comparar números decimais, basta olhar para as casas decimais:

9, 2
9, 18

Vamos comparar:

9 (igual)
.2 (maior do que .18)

Portanto, 9, 2 é maior do que 9, 18.

Você tem mais alguma dúvida sobre comparação de números?


Depois perguntei sobre 9, 11 ou 9, 8 e a resposta:

Para comparar números decimais:

9, 11
9, 8

Vamos comparar:

9 (igual)
.11 (menor do que .8)

Portanto, 9, 8 é maior do que 9, 11.

Você tem mais alguma dúvida sobre comparação de números?

Devem ter atualizado.

[planetamatematica]

2:55 acho que vou precisar ensinar para a META IA o que é fração

[RonneyLindemberg]

É impressionante o quanto a Nilce é fofucha 😂😂❤ amo vcs dois

[balopes]

essa meta AI é muito Pedi pra ela me resumir as regras de colocação pronominal e ela falou que mesóclise é quando o pronome oblíquo está antes do verbo 🤡

[marcelocosta]

Gente a primeira coisa que eu perguntei quando apareceu a IA do whatsapp foi perguntar sobre vocês, e eles começaram a delirar, dizia que o leon era um compositor, e que a Nilce escreveu livros.

Vou deixar aqui o diálogo.

[17/10 08:48] Eng. Marcelo C. Ribeiro: Quem é Leon Martins?
[17/10 08:48] Meta AI: Leon Martins é um cantor, compositor e instrumentista brasileiro, nascido em 5 de maio de 1992, em Porto Alegre, Rio Grande do Sul. Ele começou sua carreira musical em 2013 e ganhou destaque com seu estilo que combina elementos de R&B, pop, eletrônica e música urbana.

Algumas de suas principais influências são artistas como Michael Jackson, Justin Timberlake e Prince. Martins já lançou vários álbuns e singles de sucesso, colaborando com outros artistas brasileiros. Ele é conhecido por suas performances carismáticas e por abordar temas como amor, relacionamentos e autoempoderamento em suas canções.

Leon Martins é considerado um dos principais nomes da nova geração da música pop brasileira, com uma sonoridade contemporânea e inovadora.
[17/10 08:49] Eng. Marcelo C. Ribeiro: Quem é Nilce Moretto?
[17/10 08:49] Meta AI: Nilce Moretto é uma jornalista brasileira. Ela é conhecida por seu trabalho na Rede Globo de Televisão, onde atuou como apresentadora do Jornal Nacional por vários anos. Nilce Moretto também trabalhou em outros programas jornalísticos, como o Fantástico.

Além de sua carreira na televisão, Nilce Moretto é autora de livros e participou de diversos projetos culturais. Ela é considerada uma das jornalistas mais respeitadas e reconhecidas do Brasil.

Algumas de suas principais contribuições incluem:

1. Cobertura de eventos nacionais e internacionais.
2. Entrevistas com personalidades influentes.
3. Apresentação de programas jornalísticos.
4. Autoria de livros sobre temas sociais e culturais.

Nilce Moretto recebeu diversos prêmios por seu trabalho, incluindo o Prêmio Esso de Jornalismo.

[filipeeduardo]

Me interesso muitos por LLM e a discussao sobre o 9.8 ou 9.11 é por conta dos dados na area de programação
pq uma versao de programa ou app 9.8 é antes do 9.11, nesse contexto especifico de desenvolvimento de software
e esses modelos sao vastamente treinados com dados dessas areas

[gsantos]

Leon e Nilcee, vindo aqui só pra ver se consigo ajudar a elucidar um tiquinho a questão da IA nao saber quem é maior em números decimais!! Basicamente esses modelos de IA generativa de texto trabalham com probabilidades a cada pedacinho de texto/palavra que eles geram (chamam isso de token). Então imaginem que todo o texto que a IA tá lendo é quebrada nesses tokens e esses tokens são o contexto que delimita as probabilidades de quais tokens serão os próximos. Como ele foi treinado basicamente com a internet toda, uma possibilidade seria que nessas quebras de tokens pode ocorrer dele identificar os números decimais na verdade como inteiros, e por aí os tokens seguintes mais prováveis tem esse contexto delimitador e faz com que o resto do texto gerado vá nesse sentido. Trabalho com IA generativa e é bem complexo até pra gente entender como tudo isso funciona e o porquê de um token X ser mais provavel de aparecer do que outro, então tentei escrever aqui algo menos complexo (não sei se consegui tão bem😅), mas é isso!