Webscraping met Python

Handig om te weten: van dit boek is een webversie beschikbaar. Als u zich registreert, krijgt u gratis toegang, plus relevante extra's.

Programmeren is magie, maar webscrapen is een vorm van tovenarij. Met een eenvoudig geautomatiseerd programma kunt u webservers bevragen, gegevens ophalen en analyseren om daar de benodigde informatie uit te halen. De uitgebreide editie van dit praktische boek laat u niet alleen kennismaken met webscrapen, maar is tevens een gids voor het scrapen van bijna alle soorten gegevens van het moderne web.

In deel I concentreren we ons op de techniek van het webscrapen met behulp van Python om informatie van een webserver op te vragen. We gaan hier dieper in op de afhandeling van de serverrespons en een geautomatiseerde manier om met sites te communiceren. In deel II onderzoeken we een aantal specifiekere tools en toepassingen die geschikt zijn voor elk webscrapescenario waar u waarschijnlijk mee te maken krijgt.

• Ontleden van gecompliceerde HTML-pagina's


• Ontwikkelen van crawlers met het Scrapy-framework


• Opslagmethoden voor gescrapete gegevens


• Documenten lezen en daar gegevens aan onttrekken


• Opschonen en normaliseren van slecht geformatteerde gegevens


• Natuurlijke talen lezen en schrijven


• Door formulieren en log-ins crawlen


• JavaScript scrapen en door APl's crawlen


• Afbeelding-naar-tekstsoftware schrijven en gebruiken


• Scrapevalkuilen en botblokkers vermijden


• Uw website testen met scrapers

"Dankzij de tools en voorbeelden in dit boek kon ik meerdere zich herhalende taken gemakkelijker automatiseren zodat ik meer tijd over had voor interessantere problemen. Het is een resultaatgericht, goed leesbaar boek dat diep geworteld is in echte problemen en oplossingen."

• Eric VanWyk, Electrical Computer Engineer, Olin College of Engineering

Trefwoorden: webscraping webscrapen python programmeren crawlers html javascript scrapen back-end development handleiding