Requisito previo:
El raspado web es una técnica para obtener datos de sitios web. Mientras navega por la web, muchos sitios web no permiten que el usuario guarde datos para uso personal. Una forma es copiar y pegar manualmente los datos, lo cual es tedioso y requiere mucho tiempo. Web Scraping es la automatización del proceso de extracción de datos de sitios web. En este artículo discutiremos cómo podemos descargar todas las imágenes de una página web usando python.
Módulos necesarios
- bs4: Beautiful Soup (bs4) es una biblioteca de Python para extraer datos de archivos HTML y XML. Este módulo no viene integrado con Python.
- requests: Requests le permite enviar requests HTTP/1.1 con mucha facilidad. Este módulo tampoco viene integrado con Python.
- os: el módulo OS en python proporciona funciones para interactuar con el sistema operativo. OS, viene bajo los módulos de utilidad estándar de Python. Este módulo proporciona una forma portátil de usar la funcionalidad dependiente del sistema operativo.
Acercarse
- Módulo de importación
- Obtener código HTML
- Obtenga una lista de etiquetas img del código HTML usando el método findAll en Beautiful Soup.
images = soup.findAll('img')
Cree una carpeta separada para descargar imágenes usando el método mkdir en os.
os.mkdir(folder_name)
- Recorre todas las imágenes y obtén la URL de origen de esa imagen.
- Después de obtener la URL de origen, el último paso es descargar la imagen.
- Obtener contenido de la imagen
r = requests.get(Source URL).content
- Descargar imagen mediante Manejo de archivos
# Enter File Name with Extension like jpg, png etc..
with open("File Name","wb+") as f:
f.write(r)
Programa:
Python3
from bs4 import *
import requests
import os
# CREATE FOLDER
def folder_create(images):
try:
folder_name = input("Enter Folder Name:- ")
# folder creation
os.mkdir(folder_name)
# if folder exists with that name, ask another name
except:
print("Folder Exist with that name!")
folder_create()
# image downloading start
download_images(images, folder_name)
# DOWNLOAD ALL IMAGES FROM THAT URL
def download_images(images, folder_name):
# initial count is zero
count = 0
# print total images found in URL
print(f"Total {len(images)} Image Found!")
# checking if images is not zero
if len(images) != 0:
for i, image in enumerate(images):
# From image tag ,Fetch image Source URL
# 1.data-srcset
# 2.data-src
# 3.data-fallback-src
# 4.src
# Here we will use exception handling
# first we will search for "data-srcset" in img tag
try:
# In image tag ,searching for "data-srcset"
image_link = image["data-srcset"]
# then we will search for "data-src" in img
# tag and so on..
except:
try:
# In image tag ,searching for "data-src"
image_link = image["data-src"]
except:
try:
# In image tag ,searching for "data-fallback-src"
image_link = image["data-fallback-src"]
except:
try:
# In image tag ,searching for "src"
image_link = image["src"]
# if no Source URL found
except:
pass
# After getting Image Source URL
# We will try to get the content of image
try:
r = requests.get(image_link).content
try:
# possibility of decode
r = str(r, 'utf-8')
except UnicodeDecodeError:
# After checking above condition, Image Download start
with open(f"{folder_name}/images{i+1}.jpg", "wb+") as f:
f.write(r)
# counting number of image downloaded
count += 1
except:
pass
# There might be possible, that all
# images not download
# if all images download
if count == len(images):
print("All Images Downloaded!")
# if all images not download
else:
print(f"Total {count} Images Downloaded Out of {len(images)}")
# MAIN FUNCTION START
def main(url):
# content of URL
r = requests.get(url)
# Parse HTML Code
soup = BeautifulSoup(r.text, 'html.parser')
# find all images in URL
images = soup.findAll('img')
# Call folder create function
folder_create(images)
# take url
url = input("Enter URL:- ")
# CALL MAIN FUNCTION
main(url)
Producción: