Como usar a nova ferramenta de IA generativa LLaMa 2 da Meta como um chatbot e como ela se compara ao ChatGPT e ao Google Bard

Como usar a nova ferramenta LLaMa 2 da Meta como um chatbot e sua comparação com o ChatGPT e o Google Bard.

Como o nome sugere, esta é a segunda versão da ferramenta Meta (LLaMA significa Large Language Model Meta AI). De acordo com a Meta, o novo LLaMa foi treinado com 40% mais dados do que seu antecessor e possui o dobro do comprimento do contexto.

Mas como ele se compara a outras ferramentas de inteligência artificial geradoras de texto, como ChatGPT, Bing Chat ou Google Bard?

Eu experimentei o LLaMa 2 para ver como ele se sai em algumas das tarefas comuns para as quais as ferramentas de IA geradoras de texto são úteis. O que eu descobri foi um modelo de código aberto poderoso que oferece muito potencial para ser adaptado e personalizado para diferentes experiências. Mas como uma ferramenta de IA assistente ao consumidor pronta para uso, para trabalhos como escrever ou pesquisar, o LLaMA 2 é uma ferramenta utilizável, mas não superior em comparação com alguns dos bots existentes.

Um tipo diferente de bot de IA

Uma coisa importante de entender sobre o LLaMa 2 é que seu objetivo principal não é ser um chatbot. O LLaMa 2 é um LLM geral disponível para desenvolvedores baixarem e personalizarem, como parte do plano do CEO da Meta, Mark Zuckerberg, de melhorar e avançar o modelo.

Isso significa que, se você quiser usar o LLaMa 2 como um chatbot, precisará usar versões de demonstração especiais disponíveis em plataformas como Hugging Face. A versão que usamos, HuggingChat, foi criada pela comunidade de desenvolvedores implantando o LLaMa 2 no Hugging Face. Existem outros lugares disponíveis para experimentar chatbots baseados no LLaMa 2, mas o HuggingChat é um chatbot especializado, criado como uma alternativa de código aberto ao ChatGPT.

Para experimentar o HuggingChat, clique aqui.

Philipp Schmid, diretor técnico do Hugging Face, disse à ANBLE que, embora o chatbot seja comparável a outros bots de IA, não é uma comparação perfeita. A especialidade do LLaMa 2 é que ele pode ser moldado de forma econômica para necessidades específicas. O modelo não foi ajustado para um propósito específico, como o Bing Chat, por exemplo.

O LLaMA 2 também não está conectado à internet. Isso significa que ele tem um “corte de conhecimento” em dezembro de 2022. Isso é mais recente do que o “corte” de setembro de 2021 do ChatGPT. Os criadores do chatbot HuggingChat adicionaram uma opção para pesquisar na web, mas ainda está em estágio inicial e não dá ao LLaMa 2 a mesma capacidade que outros chatbots de busca na web. Se você precisa das informações mais atualizadas da internet, é melhor usar uma ferramenta como o Bing Chat ou o Google Bard.

Em um artigo que anunciou o lançamento do LLaMa 2, pesquisadores do Facebook escreveram que os modelos do LLaMA 2 geralmente têm um desempenho melhor do que modelos de código aberto existentes e estão próximos de modelos de código fechado, como o ChatGPT, de acordo com as avaliações humanas no artigo. O artigo reconhece que ainda não é possível fazer uma comparação completa com o GPT4, o LLM mais avançado da OpenAI.

Testando o LLaMa 2

Pedi ao bot para escrever um e-mail para meus colegas informando que eu estava saindo da cidade. Ele gerou um memorando decente adequado para a formalidade do ambiente corporativo.

Ele pode escrever e-mails, mas será que consegue lidar com assuntos delicados, como recusar uma oferta de emprego? Pedi ao bot para redigir uma resposta de e-mail dizendo que eu não poderia aceitar a oferta de emprego. Ele escreveu três parágrafos curtos e impessoais que poderiam passar por humanos, mas certamente não suavizariam qualquer frustração que viesse com a rejeição.

Então eu perguntei novamente e pedi para ser mais específico, pessoal e apologético. Ele respondeu com um e-mail longo, possivelmente muito formal, mas dessa vez o e-mail era viável. Parece que a demonstração do LLaMa 2 pode demonstrar alguma contrição quando solicitado.

O LLaMa pode realizar esse tipo de tarefa, especialmente se você fornecer detalhes específicos. Ele pode fazer resumos decentes e facilmente redigir um memorando, se alguém precisar de ajuda. Há funcionalidade para recusar educadamente uma reunião – basta fornecer os nomes, horários e motivos específicos – ou para escrever e-mails específicos e formais.

Comparado ao ChatGPT, achei a escrita do LLaMa 2 decente, mas excessivamente formal. Eu usaria o ChatGPT porque geralmente tem um toque mais humano em sua linguagem. O LLaMa era um pouco bruto e genérico para essas tarefas.

Para tarefas de escrita mais criativas ou “literárias”, LLaMa 2 foi misturado. Ele tem dificuldade em seguir instruções de contagem de palavras. Se eu pedisse um conto curto de 150 palavras, ele me daria 190 palavras. Ele poderia escrever um haicai ou um poema de 16 linhas sobre qualquer tema sugerido, mas é difícil dizer se era bom. Você acha que “Circuitos zumbem com vida, Processadores ditam a luta digital, Sinfonia binária” é um haicai forte?

Pedi a ele para escrever sobre “a situação do jornalismo em 2020” e ele escreveu um poema de 16 linhas terrível. Embora os chatbots não sejam conhecidos por sua elegância literária (e provavelmente não sou qualificado para julgar um poema), esse poema parecia meio cru. Não rimava e, embora tenha gerado linhas divertidas como “miseráveis manchados de tinta, outrora o orgulho da quarta potência” e tinha um tema coerente, não o consideraria bem escrito de forma alguma.

Quando se trata de pesquisa, o LLaMa 2 não está à altura

Também questionei o bot sobre alguns fatos concretos, pedindo-lhe para me falar sobre a crise imobiliária na China. Ele apresentou uma série de tópicos resumindo o mercado, problemas sociais e infraestrutura na China. Quando pressionado por mais informações, ele até pôde elaborar sobre os preços dos imóveis e os efeitos da pandemia de COVID-19.

Em seguida, pedi a ele para me fornecer um resumo de 50 palavras com citações. Ele me deu 71 palavras com os nomes das publicações entre parênteses no final. Ativei a função “Pesquisar na web”, que permite que ele pesquise na web, e perguntei novamente. Desta vez, ele me deu 50 palavras, mas cada link levava a uma página inexistente.

Quando perguntado sobre o que está acontecendo com a crise em julho de 2023, ele novamente me forneceu uma série de desculpas confusas por desinformação e mais links quebrados.

Entre o limite de conhecimento de dezembro de 2022 e sua função de pesquisa defeituosa, é provavelmente melhor não usar isso para pesquisas importantes. Ainda é uma demonstração, mas precisa de alguns ajustes. As mesmas regras se aplicam a todas as ferramentas de IA generativa – sempre pesquise sobre o que ela cria. Mas é especialmente importante fazer isso para essa ferramenta. Ela alucinou citações e tem um limite de conhecimento. Se eu pedisse a ela para resumir e condensar informações ou alterar o texto, sua resposta seria cada vez mais propensa a alucinar informações falsas.

Você deve experimentar o LLaMA?

A demonstração do LLaMa 2 no Hugging Face não é a mesma que os outros chatbots como ChatGPT, Google Bard e Bing Chat. Mostra promessa como uma versão inicial de um chatbot, mas ainda está bastante bruta. Não é ótimo para pesquisas e teve alguns momentos “enganadores” (se me permite a antropomorfização).

Se eu estivesse procurando usar a demonstração para algo além de testes e escrever memorandos, teria que filtrar trabalhos prolixos e ocasionalmente inacabados.

Dito isso, existem inúmeras razões para usar um chatbot de IA e ferramentas como o HuggingChat baseado em LLama 2 estão constantemente sendo aprimoradas e atualizadas. Portanto, eu te encorajo a experimentar esse bot por conta própria e ver se ele é mais adequado para o que você precisa. Apenas esteja ciente de suas limitações.

Você pode experimentar o HuggingChat aqui.