Eureka, ChatGPT! Como mentir com a estatística
A busca de automatismos para gerar texto precede a história do computador moderno. O inventor John Clark construiu a Eureka, que é uma máquina que gera poemas em latim desde pelo menos 1845.
Como é que se escreve um artigo para o jornal PÚBLICO acerca do ChatGPT? Eis o que nos recomendaria o próprio (na imagem em baixo).
Fantástico! O ChatGPT é uma ferramenta de inteligência artificial generativa, ou seja, é uma ferramenta de uma área da inteligência artificial que se dedica ao estudo de algoritmos capazes de gerarem conteúdo original, tais como texto, imagens, música, etc.
De modo interessante, há uma série de ideias estatísticas associadas ao funcionamento do ChatGPT. Esta plataforma de inteligência artificial é baseada num modelo “auto-regressivo” de geração de texto, em que cada palavra é gerada tendo em conta as anteriores, há também uma distribuição estatística subjacente à aleatorização do processo de geração de palavras, e é ainda ajustado um modelo de estatístico de regressão conhecido como rede neuronal.
Para detalhes adicionais acerca do funcionamento estatístico do ChatGPT recomendo a leitura do blogue do CEO da Wolfram. Mas não sabemos exatamente tudo acerca do seu funcionamento atual, sabemos mais acerca de versões anteriores e o motivo para isto é o seguinte. Em 2019, a OpenAI disponibilizou publicamente os códigos e os dados nos quais o seu modelo estatístico, na altura chamado de GPT-2, teria sido treinado. Mas como o segredo é alma do negócio, quando em 2020 a OpenAI lançou o GPT-3 tornou-se menos transparente, não divulgou os códigos – tal como o tinha feito anteriormente – e apenas deu uma licença exclusiva à Microsoft para o uso do GPT-3.
Apesar de se tratar evidentemente de uma ferramenta de trabalho extremamente útil e poderosa, entendo que vários dos nossos leitores podem também estar neste momento preocupados com potenciais usos indevidos da mesma – por exemplo, em termos de plágio, no contexto do ensino ou da imprensa. As boas notícias são que já há várias ferramentas que estão a ser desenvolvidas para mitigar essas preocupações. Por exemplo, foi criada para o efeito a ferramenta GPTZero, a qual permite classificar se um texto foi ou não gerado usando técnicas de inteligência artificial.
De acordo com os criadores do GPTZero, esta plataforma classifica corretamente 99% dos artigos escritos por humanos e 85% dos artigos gerados por inteligência artificial. Mas há várias questões que ficam por responder: será que a performance de classificação de ferramentas como o GPTZero é a mesma em inglês e em português? E como é que a performance varia de tema para tema? Por exemplo, será que a performance de classificação do GPTZero é melhor em filosofia do que é em história?
Falando em história, gostava agora de andar no tempo para dar outra perspetiva acerca destes temas. Primeiro, recuemos até ao século XIX, para notarmos que a busca de automatismos para geração de texto precede a história do computador moderno. Por exemplo, o inventor John Clark (1785-1853) construiu a Eureka, que é uma máquina que gera poemas em latim desde pelo menos 1845! A máquina foi reparada em 2015 pela Universidade de Exeter, continua operacional e é ainda a objeto de estudo por parte de académicos que se debruçam sobre o funcionamento desta forma mecânica de escrever poesia que nos oferece uma ponte entre a ciência e a arte.
Segundo, recuemos agora até meados do século XX. Mais precisamente viajemos até 1954, ano em que foi publicado o célebre livro Como Mentir Com a Estatística, no qual Darrell Huff recordou como é fundamental desenvolver um sentido crítico para estarmos alerta em relação a dados distorcidos ou a evidência apresentada de forma enganosa. Mas se o chatGPT é baseado em estatística, será que os princípios de Darrell Huff também se aplicam a esta plataforma de inteligência artificial? Vejamos como reage o ChatGPT quando se pergunta algo acerca do autor deste artigo (na imagem em baixo).
Este texto ilustra bem como é necessário estarmos alerta, uma vez que começamos a entrar no domínio das chamadas alucinações – que é o termo técnico de inteligência artificial generativa utilizado para descrever os devaneios destes algoritmos. Por exemplo, o terceiro parágrafo não corresponde à verdade, uma vez que não tenho um programa na RTP 2, nem tenho um blogue no jornal Expresso. Ou por outras palavras, estamos perante uma forma moderna de mentir com a estatística, uma forma com a qual tenho a certeza de que nem Darrell Huff teria imaginado!
Estas ferramentas são muitíssimo bem-vindas, abrem um mundo de oportunidades para alunos e professores, bem como para empregadores e funcionários. Mas temos de continuar a investir fortemente na formação e literacia destes temas – tendo em consideração os aspetos educativos, éticos e legais que os mesmos envolvem.
As opiniões são do autor e não representam necessariamente as da Universidade de Edimburgo e da Sociedade Portuguesa de Estatística
O autor escreve segundo o novo acordo ortográfico
