Waybackurls: obtenga todas las URL que Wayback Machine conoce para un dominio

El rastreo web en las pruebas de seguridad es un aspecto importante, ya que este es el proceso de indexación de datos en páginas web mediante scripts automatizados o programas de rastreo. Estos scripts pr programas de rastreo se conocen como web crawler, spider, spider bot y crawler. Waybackurls también es una secuencia de comandos o herramienta basada en Golang que se utiliza para rastrear dominios en stdin, obtener URL conocidas de Wayback Machines, también conocidas como Archives for *.targetdomain y generarlas de forma estándar.

Nota: Como Waybackurls es una herramienta basada en el lenguaje Golang, debe tener un entorno Golang en su sistema. Así que consulte este enlace para instalar Golang en su sistema: cómo instalar el lenguaje de programación Go en Linux

Instalación de la herramienta Waybackurls en la máquina Kali Linux

Paso 1: si ha descargado Golang en su sistema, verifique la instalación verificando la versión de Golang, use el siguiente comando.

go version

Paso 2: obtenga la herramienta Waybackurls a través de la utilidad Go, use el siguiente comando.

sudo go get github.com/tomnomnom/waybackurls

Paso 3: consulte la página del menú de ayuda para obtener una mejor comprensión de la herramienta, use el siguiente comando.

waybackurls -h

Trabajar con la herramienta Waybackurls

Ejemplo 1: escaneo simple

waybackurls geeksforgeeks.org

• Ahora, como vemos en la imagen de abajo, hemos ingresado el comando para recopilar todas las waybackurls posibles de nuestro objetivo, que es geeksforgeeks.org, esta herramienta recopilará todas las URL y las generará en la terminal.

• Ahora, como vemos en la imagen de abajo, pudimos recopilar con éxito todas las URL de Wayback posibles de nuestro dominio objetivo, es decir, geekforgeeks.org. La herramienta WaybackURL recopila casi todas las URL.

Ejemplo 2: uso de la etiqueta –no-subs

echo "geeksforgeeks.org" | waybackurls -no-subs

• En este ejemplo, nuestro objetivo es geeksforgeeks.org y hemos proporcionado etiquetas -no-subs, en esta etiqueta, las URL se obtendrán solo a través del dominio principal. No se consideran subdominios al rastrear las URL.

• En la siguiente captura de pantalla, puede ver que la herramienta waybackurls ha obtenido algunas URL, pero lo interesante es que ha obtenido las URL relacionadas solo con el dominio principal, no se consideran subdominios durante el rastreo.

Ejemplo 3: uso de la etiqueta -dates

echo "geeksforgeeks.org" | waybackurls -dates

• En este ejemplo, nuestro objetivo es geeksforgeeks.org y estamos usando la etiqueta -dates para obtener las fechas en la primera columna. Muestra la fecha de obtención de esa URL en particular.

• En la siguiente captura de pantalla, puede ver que tenemos las fechas en la primera columna que indica la fecha exacta de obtención de la URL particular en wayback machine. Por ejemplo, https://www.geeksforgeeks.org/find-subarray-with-given-sum/ref=leftbar-rightbar , este enlace se obtuvo en la fecha 2020-09-30, junto con esta hora también se menciona 22:51:11.

Ejemplo 4: uso de la etiqueta -get-versions

echo "geeksforgeeks.org" | waybackurls -get-versions

• En este ejemplo, estamos recuperando la URL que nos ayudó a obtener estos resultados o las URL rastreadas. La etiqueta -get-versions se usa para obtener las URL.

• En la siguiente captura de pantalla, puede ver que junto con las URL rastreadas de geeksforgeeks.org, tenemos algunas URL adicionales que especifican las fuentes desde las que se rastrean las URL de geeksforgeeks.org. Ejemplo. https://www.geeksforgeeks.org/ La URL se obtiene de https://web.archive.org/web/20210715090226if_. Esto puede ayudarlo a ir directamente a la URL de origen y explorar más sobre la URL rastreada de geeksforgeeks.org.