Enunciado
Considere o código em Python que utiliza a biblioteca NLTK (Natural Language Toolkit) a seguir. import nltk from nltk.tokenize import word_tokenize nltk.download('punkt') texto = "Processamento de Linguagem Natural é uma área da inteligência artificial que lida com a interação entre computadores e linguagem humana." tokens = word_tokenize(texto) print(tokens) Assinale a opção que corresponde ao propósito do código apresentado.
Alternativas
- A)
Realizar a tradução automática de um texto de um idioma para outro.
- B)
Analisar a estrutura gramatical de um texto.
- C)
Extrair informações relevantes de um texto, como entidades nomeadas.
- D)
Sintetizar um texto a partir de um conjunto de palavras-chave.
- E)
Realizar a tokenização do texto, ou seja, dividir o texto em palavras ou unidades significativas.
Gabarito e comentário
Resposta correta: E
Word_tokenize segmenta o texto em tokens, como palavras e sinais de pontuação. O código não realiza tradução nem classificação de sentimentos.