Web Scraping com Python – 3a Edição: Coletando dados da web moderna, Edição 3

Ryan Mitchell

Sept 2024 · Novatec Editora

About this eBook

Se a programação é como mágica, então o web scraping é certamente uma forma de aplicação dessa mágica. Ao escrever um programa automatizado simples, você pode consultar servidores da web, solicitar dados e analisá-los para extrair as informações necessárias. Esta terceira edição, totalmente atualizada, não só apresenta você ao web scraping, mas também serve como um guia abrangente para coletar quase todos os tipos de dados disponíveis na web. A Parte I deste livro tem como foco os princípios básicos do web scraping: como utilizar Python para solicitar informações de um servidor web, realizar o tratamento básico da resposta do servidor e começar a interagir com sites de forma automatizada. A Parte II explora uma variedade de ferramentas e aplicações mais específicas para se adequar a qualquer cenário de web scraping que você provavelmente encontrará. Este livro mostra como: •Fazer o parsing de páginas HTML complexas •Desenvolver crawlers com o framework Scrapy •Aprender métodos para armazenar os dados coletados •Ler e extrair dados de documentos •Limpar e normalizar dados mal formatados •Ler e escrever linguagens naturais •Rastrear formulários e logins •Fazer o scraping de JavaScript e rastrear APIs •Utilizar e escrever software de conversão de imagem em texto •Evitar armadilhas de scraping e bloqueadores de bots •Utilizar scrapers para realizar testes em seu site "Trata-se de um livro excelente e informativo, que ensina e prepara o leitor para fazer web scraping de forma consciente e eficaz. Eu o recomendaria a todos aqueles que desejam coletar dados de sites ou que planejam criar um site para compartilhamento de dados." —Michael Hopkins P.Geo., PMP

About the author

Ryan Mitchell, engenheira de software sênior na GLG, é especialista em web scraping, segurança na web e ciência de dados. Ela já organizou workshops e palestrou em diversos eventos, como Data Day e DEF CON, além de ter ensinado programação web e ciência de dados e prestado consultoria em várias instituições. Ryan também é autora do livro Instant Web Scraping with Java (Packt Publishing).