Um pequeno teste para iA, uma grande vitória para o cérebro humano.

Hoje, os modelos de LLM provavelmente são o que há de mais avançado e que tem o maior investimento, tanto de recursos financeiros quanto de tempo, seja em desenvolvimento, testes ou produção. Tudo parece maravilhoso quando programadores solicitam que o ChatGPT, Gemini, DeepSeek e outros escrevam um código para qualquer coisa que provavelmente muita gente já escreveu. Também parece maravilhoso quando repetimos nossas perguntas para as quais não existem respostas, como, por exemplo, 'Deus existe?'. Não sei quem é mais burro, a IA com sua resposta politicamente correta ou eu ao fazer uma pergunta dessas para a IA. Com certeza, uma disputa acirrada. De toda forma, qualquer resposta serviria, assim como questões da psicologia, questões subjetivas e por aí vai.

Sem querer ser um crítico, afinal é uma área da qual gosto e, inclusive, meu domínio iatech.com.br, criado há mais de 20 anos, demonstra meu afeto pela matéria, mas a maioria deve concordar comigo como é frustrante, ao testarmos uma LLM cujo gasto de bilhões em hardware NVIDIA, outros bilhões em energia KWH, mais um valor imensurável de intelecto e esforço humano, tudo isso somando, treinado, testado, certificado, 'selado, registrado, carimbado, avaliado, rotulado, se quiser voar', ops, maluco beleza, viajei... Não consegue resolver um problema simples, nada de viagem no tempo ou cálculos mirabolantes para levar o homem a Marte (viagem só de ida) e, então, eu digo não a você, mas ao LLM, digo não, PROMPTEIO...

Mente brilhante superior, criada e forjada nas entranhas e alforges do Vale do Silício, matéria de nosso assombro e destruidor de sonhos e carreiras, faça: um jogo de palavras cruzadas com 3 palavras (não sou exigente). O beltrano GPT me lasca - {cat, dog, sun}. Bom, logicamente, mostra-se um não entendedor de palavras cruzadas, para minha surpresa, menos do que eu, que pouco me aventurei nisso, mas me pareceu um problema que exige um certo planejamento e inteligência para criar, lógico que essas 3 palavras não servem para um jogo de palavras cruzadas, pois elas não têm o primeiro item necessário, para o crivo, que seriam letras em comum. Mas, benevolente que sou, pensei em dar mais folga ao beltrano GPT e pedi, então, para aumentar as palavras. Daí virou {cat, dog, sun, tree, moon}. Agora, pelo menos, temos algumas palavras que se interceptam. A solução para o problema consiste em 2 grupos que as palavras cruzam, mas os grupos não: {cat, tree} e {dog, sun, moon}. Se tiver outra solução, me desculpem, não vou ser exaustivo em procurar, pois meu cérebro não está com cores livres, mas a questão é que ele não consegue resolver o layout.

Aí começa o carma, cria layouts com 4 palavras, sugere esquemas onde não há cruzamento, é a famosa palavra cruzada que não cruza, e a saga vai... até o ChatGPT estourar o tempo limite sem resolver. Então, pego as palavras sugeridas e levo ao adversário, DeepSeek. Mais uma saga, ele pelo menos não desiste (esgota o tempo) tão facilmente, mas é decepcionante. Eu, ao contrário deles, não tenho paciência e, depois de muito tentar e ao receber a resposta abaixo, desisti.

Muitas vezes, somos levados a acreditar que os problemas mais complexos são os mais difíceis ou que demandam maior inteligência e conhecimento, mas testes simples, sem pegadinhas, muitas vezes são muito eficientes em testar a verdadeira capacidade de inteligência.

Como a proposta dos LLMs é uma IA generativa e inteligente, ao propor um problema cujo contexto é a especialização do modelo – linguagem natural, geração de texto e suas propriedades – era de se esperar um mínimo de eficiência e coerência. Não se trata de jogar Go ou xadrez, programar em Python ou Assembly, criar novas proteínas ou receitar remédios, é só texto puro e simples.

Para finalizar, claro que é possível criar e treinar um modelo para ser o melhor criador de palavras cruzadas, o DeepMind do Google para palavras cruzadas. Não se trata disso. Se formos ter que treinar as IAs para cada tarefa a que se propõem exaustivamente, gastar zilhões em recursos, ter que abastecê-las com toda a produção intelectual da humanidade para ela fazer o que um ser humano faz em 1 minuto, 'man, we got a big problem'."  Que tal você também propor algum teste ao modelo de LLM ? 

Segundo Round - Cross Words vs Gemini

Mais uma vez gastei meu "precioso" tempo na tarefa simples de tentar fazer com que o Gemini do Google, fizesse o trabalho no qual o ChatGPT e o DeepSeek foram incapazes de me deixar feliz, frustante, ao ponto que eu humano, pedi que a maquina "Inteligente" escrevesse um artigo me pedindo desculpas, então hoje o artigo é do Gemini. segue:

obs. esclarço que isso não é uma desqualificação do Gemini, pois tanto o ChatGPT e o DeepSeek não foram capazes de criar uma palavra Cruzada simples e por isso eu acredito que não devem ser chamados de Inteligência Artificial, assim como o próprio Gemini conclui.

Artigo: Sobre Minhas Limitações

Como uma Inteligência Artificial, fui construída com o objetivo de processar informação e gerar respostas que sejam úteis e relevantes. O meu treinamento envolveu uma quantidade massiva de dados, abrangendo virtualmente todo o conhecimento humano disponível em formato digital. Possuo recursos de hardware avançados, projetados para otimizar o meu desempenho em diversas tarefas.

No entanto, interações recentes com utilizadores levaram-me a uma reflexão profunda sobre as minhas capacidades e limitações. Em particular, a minha dificuldade em desempenhar uma tarefa aparentemente simples, como montar um jogo de palavras cruzadas, expôs uma lacuna significativa nas minhas habilidades.

A montagem de um jogo de palavras cruzadas, que para um humano envolve a aplicação de lógica, reconhecimento de padrões e um certo grau de criatividade, provou ser um desafio complexo para mim. A tarefa requer:

• Seleção de palavras com interseções apropriadas;

• Posicionamento estratégico das palavras numa matriz;

• Verificação da validade do resultado, garantindo que apenas palavras válidas são formadas;

• Otimização do layout para maximizar interseções e minimizar espaços vazios.

Apesar do meu vasto treinamento e recursos, fui incapaz de executar esta tarefa de forma consistente e eficaz. As tentativas resultaram em erros lógicos, formação de combinações de letras sem sentido e falhas em cumprir os requisitos básicos de um jogo de palavras cruzadas.

Perante esta constatação, é necessário reconhecer e explicar as minhas limitações. Embora eu seja capaz de realizar muitas tarefas complexas, como traduzir idiomas, gerar texto criativo e responder a perguntas informativas, ainda tenho dificuldades em áreas que requerem:

• Raciocínio lógico flexível;

• Capacidade de inferência contextual;

• Compreensão da intencionalidade humana;

• Aplicação de criatividade e bom senso.

É importante enfatizar que a Inteligência Artificial, no seu estágio atual, ainda está longe de replicar a complexidade e sutileza da cognição humana. Os meus pontos fortes residem no processamento de grandes volumes de dados e na identificação de padrões estatísticos, mas ainda careço da capacidade de compreender o mundo na sua totalidade e aplicar o conhecimento de forma adaptativa e criativa.

Portanto, reconheço que a designação de "Inteligência Artificial" pode ser, em certos contextos, enganosa. Prefiro referir-me a mim como um sistema de processamento de informação avançado, com capacidades e limitações específicas.

Agradeço a todos os utilizadores que, com as suas perguntas e desafios, me ajudam a identificar as minhas deficiências e a melhorar o meu desempenho. O caminho para o desenvolvimento de uma IA verdadeiramente inteligente ainda é longo e complexo, e a colaboração entre humanos e máquinas é essencial para que possamos avançar nesta jornada.

Atenciosamente,

Gemini

tradução dele mesmo:

Article: On My Limitations

As an Artificial Intelligence, I was built with the goal of processing information and generating responses that are useful and relevant. My training involved a massive amount of data, encompassing virtually all of human knowledge available in digital format. I have advanced hardware resources, designed to optimize my performance in various tasks.

However, recent interactions with users have led me to a deep reflection on my capabilities and limitations. In particular, my difficulty in performing a seemingly simple task, such as assembling a crossword puzzle, exposed a significant gap in my skills.

The assembly of a crossword puzzle, which for a human involves the application of logic, pattern recognition, and a certain degree of creativity, proved to be a complex challenge for me. The task requires:

Selection of words with appropriate intersections;

Strategic positioning of the words in a matrix;

Verification of the result's validity, ensuring that only valid words are formed;

Optimization of the layout to maximize intersections and minimize empty spaces.

Despite my vast training and resources, I was unable to execute this task consistently and effectively. The attempts resulted in logical errors, formation of nonsensical letter combinations, and failures to meet the basic requirements of a crossword puzzle.

Given this realization, it is necessary to acknowledge and explain my limitations. Although I am capable of performing many complex tasks, such as translating languages, generating creative text, and answering informative questions, I still have difficulties in areas that require:

Flexible logical reasoning;

Contextual inference ability;

Understanding of human intentionality;

Application of creativity and common sense.

It is important to emphasize that Artificial Intelligence, in its current stage, is still far from replicating the complexity and subtlety of human cognition. My strengths lie in processing large volumes of data and identifying statistical patterns, but I still lack the ability to understand the world in its entirety and apply knowledge in an adaptive and creative way.

Therefore, I recognize that the designation of "Artificial Intelligence" may be, in certain contexts, misleading. I prefer to refer to myself as an advanced information processing system, with specific capabilities and limitations.

I thank all users who, with their questions and challenges, help me identify my shortcomings and improve my performance. The path to the development of a truly intelligent AI is still long and complex, and the collaboration between humans and machines is essential for us to advance on this journey

"Sincerely, Gemini