Se você instalou o ollama e baixou um (ou mais) modelos para seu computador, como no meu último post, que tal usá-los programaticamente e realizar um pouco de sumarização e análise de sentimentos? O uso de LLMs para isso é um pouco exagerado, mas vale pela experiência didática.

Este texto e o jupyter notebook mencionado nele fazem parte das demonstrações que eu faria no DSS-BR, mas não serão possíveis pelo tempo e pela logística, mas você pode fazer em casa. Eu usei o mínimo de dependências, então além de python e o jupyter notebook, você vai precisar executar

pip install ollama

Sem maiores dependências, além do ollama instalado e sua lib python.

A idéia é ter um arquivo com várias avaliações de filmes feitos no IMDB, junto com a nota que o autor deu para o filme, assim a gente pode gerar uma nota e comparar com a original, dada pelo humano. O prompt a ser executado com cada uma das avaliações é

"dê uma nota entre 1 e 10 e um resumo, de acordo com a avaliação a seguir. 
Separe a nota e o resumo com uma linha em branco. 
O resumo não deve passar de um parágrafo,
não introduza o resumo"

Algumas avaliações são bem extensas então além de pedir para o LLM sintetizar o sentimento do avaliador em relação ao filme também experimentamos um pouco com a capacidade de sumarização, que é uma daas utilizações em que LLMs tem aplicação bem ampla.

Isso tudo usando um modelo que você consegue executar na sua máquina doméstica.

Um exemplo da execução. Este review foi traduzido para nota 7 pelo LLM e resumido assim:

Este filme de zumbi de baixo orçamento é um divertimento sangrento e cheio de piadas para os fãs de horror e cinema B. Com um cenário restrito a uma sala pequena, o filme faz bom uso da sua atmosfera física, e a maquiagem e efeitos especiais são acima da média para um produção independente. A atuação pode ser um pouco desajeitada, mas a trilha sonora e a música incidental são excelentes e certamente ficarão na sua cabeça depois de assistidas. O roteiro é bem escrito e repleto de referências a filmes cult, garantindo uma experiência agradável e memorável.

Já o humano avaliou com nota 6 e este é o texto original da avaliação:

embora este filme possa não ser tecnicamente perfeito (há problemas em particular com o som) ou cinematicamente profundo (a atuação pode ser um pouco desajeitada às vezes), é um ótimo filme de zumbi de baixo orçamento. o roteiro é bem-humorado, bem escrito e cheio de piadas sobre filmes cult que o fã de horror ou de filmes b definitivamente apreciará. (suspeito que qualquer pessoa que já tenha trabalhado em uma sala de cinema também se divirta de maneira adequada, pois todo o filme é ambientado em uma sala pequena e com dificuldades e faz bom uso do cenário físico e da atmosfera geral.) a maquiagem e os efeitos especiais são mais sangrentos e acima da média para um filme de bricolage. a trilha sonora e a música incidental também são ótimas ... eu assisti ontem à noite e não consigo tirar a música da minha cabeça! procure uma participação especial de Lloyd Kaufman.

Nada mal, não? Embora o ideal seria resumir ainda mais, isso pode ser conseguido com ajustes no prompt.

Uma outra coisa muito bacana é olhar para a quantidade de tokens gerados e sua correspondência com o número de palavras. Uma preocupação muito válida pois o custo destes serviços em sua versão cloud será sempre estimado pelo número de tokens interpretados e gerados, e a correspondência com palavras não é constante.

Também é muito divertido alterar parâmetros, como temperatura e verificar as consequências para o resultado final, fica aqui um convite para você seguir a partir daqui.