Сучасний скрапінг веб-сайтів за допомогою Python. Друге видання. Райан Мітчел.

Якщо програмування нагадує магію, то веб-скрапінг - це дуже сильне чаклунство..

Записуючи просту автоматизовану програму, ви можете надсилати запити на веб-сервери, питати з них дані, а потім аналізувати їх і отримувати необхідну інформацію. Нове розширене видання книжки знайомить не тільки з веб-скрабом, але й допоможе зібрати будь-яку інформацію в сучасному Інтернеті.

У частині I Основна увага зосереджена на механікі веб-скрапінгу: як за допомогою Python запитувати інформацію з веб-сервера, виробляти базову обробку серверного відгуку і організувати автоматизовану взаємодію з сайтами.

У частині II Дослідження більш специфічних інструментів та програм, які знадобляться при будь-якому сценарії веб-скрапінгу.

• Розбирайте складні HTML-сторінки.
• Розробляйте пошукові роботи за допомогою фреймворка Scrapy.
• Вивчайте методи зберігання даних за допомогою скорочень.
• Вичитуйте і знімайте дані з документів.
• Очищайте і нормалізуйте погано відформатовані дані.
• Читайте і пишіть інформацію природними мовами.
• Замініть пошук за формою та логікою.
• Дізнайся, що JavaScript і робота з API.
• Використовуйте і напишіть програми для перетворення зображень на текст.
• Навчіться уникати підступних пасток та блокаторів ботів.
• Перевірте свій веб - сайт за допомогою кишені.