Wget, descarga cualquier archivo o web en servidores Linux vía SSH

Wget, descarga cualquier archivo o web en servidores Linux vía SSH

Javier Jiménez

Navegar por Internet forma parte del día a día de muchos usuarios. Podemos encontrar infinidad de páginas disponibles para informarnos, comunicarnos, descargar software, aprender… Podemos navegar además desde todo tipo de dispositivos y sistemas. Eso sí, en ocasiones por diferentes motivos puede que una web no esté disponible o que no tengamos conexión para acceder a ella. Por suerte podemos hacer uso de algunas opciones para descargarla y tenerla siempre disponible. En este artículo vamos a hablar de Wget, una función de Linux para descargar una página web en nuestro equipo.

Linux es uno de los sistemas operativos más personalizables del mundo. Y es por ello que se basa mucho en las descargas que realizamos de la red. Para ello, tenemos herramientas como Wget, que hacen que todo el proceso de descarga sea más sencillo.

Wget, la función para descargar archivos en Linux

Esta herramienta es totalmente gratuita y de software libre. Está disponible para Linux, por lo que podemos usarla en distribuciones como Ubuntu o Linux Mint sin problemas. Permite descargar archivos de una manera sencilla. Soporta diferentes opciones como HTTP, HTTPS o FTP.

Es por tanto una herramienta muy interesante si queremos descargar contenido de este tipo de una manera sencilla. Tiene funciones que garantiza la conexión, para que no haya cortes y no se descarguen todos los archivos correctamente. Podemos además descargar grandes archivos y modificar el límite de ancho de banda que queremos utilizar para no sobrecargar el ancho de banda.

Descargar una web con Wget

Aunque no es una herramienta exclusiva para descargar una página web, sí es una función muy interesante que podemos utilizar. En muchas ocasiones puede que necesitemos tener una web en nuestro equipo sin tener que acceder a Internet. Wget nos permite lograrlo de una manera sencilla desde Linux.

Para descargar una página web con Wget tenemos que ejecutar el siguiente comando desde la terminal de Linux:

wget -m -F -p -np -k -erobots=off -U mozilla --limit-rate=50K --wait=2 --html-extension sitioweb

En este caos podríamos cambiar diferentes parámetros. Uno de ellos, el principal, es sitio web. Podemos, por ejemplo, descargar la web de RedesZone. En este caso tendríamos que cambiar “sitioweb” por https://www.redeszone.net.

Algunos de los parámetros también los podemos modificar. Por ejemplo “limit-rate” es para limitar la velocidad al realizar la descarga. Esto es muy útil si tenemos una conexión de Internet que no cuente con un gran ancho de banda y vamos a descargar constantemente archivos. De esta forma no nos afectará en gran medida a nuestra conexión y podremos seguir navegando con normalidad.

Respecto al parámetro “U”, podemos cambiarlo por el navegador que más nos interese. Básicamente permite ver la página correctamente con el navegador que pongamos ahí. El parámetro “F” lo ponemos para que fuerce a descargar la web aunque encuentre algún problema. Por ejemplo si encontrara algún archivo corrupto, como una imagen o cualquier cosa que no se pueda descargar correctamente, seguiría la descarga igual.

Cuando tengamos todo esto relleno simplemente tenemos que darle a ejecutar. Automáticamente comenzará a descargar la web que hemos elegido a través de la terminal de Linux. Este proceso puede tardar mucho más o menos en función de cómo sea ese sitio, el límite de descarga que hemos puesto, etc. Mientras más compleja sea la web y más archivos tenga, más tardará.

Descargar web con Wget

Posteriormente, una vez se ha descargado la página web, aparecerán los archivos en el directorio guardado, con el nombre de ese sitio web. De esta forma ya la tendremos disponible para poder abrir sin necesidad de Internet.

Precauciones necesarias

A pesar de que estamos ante una funcionalidad muy utilizada en todo el mundo, siempre es bueno utilizarla con precaución. Esto nos evitará problemas de seguridad y otro tipo de inconvenientes. En todo caso, aquí tenemos algunas recomendaciones a la hora de dar uso de Wget.

  • Verificación de URL: Antes de descargar contenido alguno, debemos asegurarnos de que la URL que vamos a utilizar para la descarga es de una fuente confiable. De este modo podremos evitar la descarga de software malicioso.
  • Uso de opciones correctas: Siempre debemos asegurarnos de comprender las opciones que estamos utilizando con Wget. Esto nos evitará diferentes operaciones que no son deseadas. Como puede ser el «-r» o «–recursive». Esto puede hacer que Wget descargue todo en un sitio web, lo cual puede no ser lo más adecuado en muchos casos.
  • Evitar descarga inadvertida: Como mencionamos previamente, hay opciones de descarga recursiva. Esto quiere decir que no hay filtros para realizar la propia descarga. Esto nos puede llevar a la descarga de enormes cantidades de datos. Y posiblemente ayude a llenar el espacio de almacenamiento, consumiendo así grandes cantidades de recursos de ancho de banda.
  • Restricciones: De forma predefinida, Wget respeta el archivo «robots.txt» de los sitios web. Esto se encarga de definir qué partes de esas webs se pueden descargar o rastrear. En cambio, puede llegar a ser anulado con alguna opción. Por lo cual es muy importante ser éticos, y no descargar contenidos que los propietarios de los sitios no quieren que descarguemos.
  • Limitar tasa de descarga: Tenemos una opción, que es «–limit-rate», la cual nos ayuda a restringir la velocidad de descarga. Esto lo haremos cuando no queramos que se consuman todo el ancho de banda disponible en una sola actividad.
  • Consideraciones de seguridad: Si descargamos sobre HTTPS, Wget verificará los certificados SSL de los sitios web por defecto. Esta es una opción que no se debe deshabilitar, excepto que tengamos una razón válida y se comprendan todos los riesgos posibles.

Por qué es útil descargar una web

En ocasiones no tenemos Internet. Por ejemplo puede ocurrir que vayamos a coger un avión y vayamos a estar varias horas sin conexión. Podemos descargar páginas web que vayamos a necesitar para trabajar o leer información durante ese tiempo. Esto es algo que podemos preparar de antemano y poder abrirlas sin Internet.

También puede ser interesante cuando necesitemos cambiar o analizar algunos aspectos de un sitio web. Podemos descargarlo y abrirlo con algún sistema operativo diferente o equipo donde no tengamos conexión pero sí herramientas para llevar a cabo cambios específicos.

En definitiva, descargar un sitio web es algo que puede resultar muy útil para los usuarios en determinadas ocasiones. Tenemos diferentes herramientas a nuestra disposición, tanto para Linux como para otros sistemas como Windows. Sin embargo Wget es una herramienta muy sencilla para utilizar.

1 Comentario
Logo redeszone.net
Navega gratis con cookies…

Navegar por testdevelocidad.es con publicidad personalizada, seguimiento y cookies de forma gratuita. i

Para ello, nosotros y nuestros socios i necesitamos tu consentimiento i para el tratamiento de datos personales i para los siguientes fines:

Las cookies, los identificadores de dispositivos o los identificadores online de similares características (p. ej., los identificadores basados en inicio de sesión, los identificadores asignados aleatoriamente, los identificadores basados en la red), junto con otra información (p. ej., la información y el tipo del navegador, el idioma, el tamaño de la pantalla, las tecnologías compatibles, etc.), pueden almacenarse o leerse en tu dispositivo a fin de reconocerlo siempre que se conecte a una aplicación o a una página web para una o varias de los finalidades que se recogen en el presente texto.

La mayoría de las finalidades que se explican en este texto dependen del almacenamiento o del acceso a la información de tu dispositivo cuando utilizas una aplicación o visitas una página web. Por ejemplo, es posible que un proveedor o un editor/medio de comunicación necesiten almacenar una cookie en tu dispositivo la primera vez que visite una página web a fin de poder reconocer tu dispositivo las próximas veces que vuelva a visitarla (accediendo a esta cookie cada vez que lo haga).

La publicidad y el contenido pueden personalizarse basándose en tu perfil. Tu actividad en este servicio puede utilizarse para crear o mejorar un perfil sobre tu persona para recibir publicidad o contenido personalizados. El rendimiento de la publicidad y del contenido puede medirse. Los informes pueden generarse en función de tu actividad y la de otros usuarios. Tu actividad en este servicio puede ayudar a desarrollar y mejorar productos y servicios.

La publicidad que se presenta en este servicio puede basarse en datos limitados, tales como la página web o la aplicación que esté utilizando, tu ubicación no precisa, el tipo de dispositivo o el contenido con el que está interactuando (o con el que ha interactuado) (por ejemplo, para limitar el número de veces que se presenta un anuncio concreto).

  • Un fabricante de automóviles quiere promocionar sus vehículos eléctricos a los usuarios respetuosos con el medioambiente que viven en la ciudad fuera del horario laboral. La publicidad se presenta en una página con contenido relacionado (como un artículo sobre medidas contra el cambio climático) después de las 18:30 h a los usuarios cuya ubicación no precisa sugiera que se encuentran en una zona urbana.
  • Un importante fabricante de acuarelas quiere realizar una campaña publicitaria en Internet para dar a conocer su última gama de acuarelas con la finalidad de llegar tanto a artistas aficionados como a profesionales y, a su vez, se evite mostrar el anuncio junto a otro contenido no relacionado (por ejemplo, artículos sobre cómo pintar una casa). Se detectará y limitará el número de veces que se ha presentado el anuncio a fin de no mostrarlo demasiadas veces.

La información sobre tu actividad en este servicio (por ejemplo, los formularios que rellenes, el contenido que estás consumiendo) puede almacenarse y combinarse con otra información que se tenga sobre tu persona o sobre usuarios similares(por ejemplo, información sobre tu actividad previa en este servicio y en otras páginas web o aplicaciones). Posteriormente, esto se utilizará para crear o mejorar un perfil sobre tu persona (que podría incluir posibles intereses y aspectos personales). Tu perfil puede utilizarse (también en un momento posterior) para mostrarte publicidad que pueda parecerte más relevante en función de tus posibles intereses, ya sea por parte nuestra o de terceros.

  • En una plataforma de redes sociales has leído varios artículos sobre cómo construir una casa en un árbol Esta información podría añadirse a un perfil determinado para indicar tuinterés en el contenido relacionado con la naturaleza, así como en los tutoriales de bricolaje (con el objetivo de permitir la personalización del contenido, de modo que en el futuro, por ejemplo, se te muestren más publicaciones de blogs y artículos sobre casas en árboles y cabañas de madera).
  • Has visualizado tres vídeos sobre la exploración espacial en diferentes aplicaciones de televisión. Una plataforma de noticias sin relación con las anteriores y con la que no has tenido contacto en el pasado crea un perfil basado en esa conducta de visualización marcando la exploración del espacio como un tema de tu posible interés para para otros vídeos.

El contenido que se te presenta en este servicio puede basarse en un perfilde personalización de contenido que se haya realizado previamente sobre tu persona, lo que puede reflejar tu actividad en este u otros servicios (por ejemplo, los formularios con los que interactúas o el contenido que visualizas), tus posibles intereses y aspectos personales. Un ejemplo de lo anterior sería la adaptación del orden en el que se te presenta el contenido, para que así te resulte más sencillo encontrar el contenido (no publicitario) que coincida con tus intereses.

  • Has leído unos artículos sobre comida vegetariana en una plataforma de redes sociales. Posteriormente has usado una aplicación de cocina de una empresa sin relación con la anterior plataforma. El perfil que se ha creado sobre tu persona en la plataforma de redes sociales se utilizará para mostrarte recetas vegetarianas en la pantalla de bienvenida de la aplicación de cocina.
  • Has visualizado tres vídeos sobre remo en páginas web diferentes. Una plataforma de video, no relacionada con la página web en la que has visualizado los vídeos sobre remo, pero basandose en el perfil creado cuando visistaste dicha web, podrá recomendarte otros 5 vídeos sobre remo cuando utilices la plataforma de video a través de tu televisor .

La información sobre qué publicidad se te presenta y sobre la forma en que interactúas con ella puede utilizarse para determinar lo bien que ha funcionado un anuncio en tu caso o en el de otros usuarios y si se han alcanzado los objetivos publicitarios. Por ejemplo, si has visualizado un anuncio, si has hecho clic sobre el mismo, si eso te ha llevado posteriormente a comprar un producto o a visitar una página web, etc. Esto resulta muy útil para comprender la relevancia de las campañas publicitarias./p>

  • Has hecho clic en un anuncio en una página web/medio de comunicación sobre descuentos realizados por una tienda online con motivo del “Black Friday” online y posteriormente has comprado un producto. Ese clic que has hecho estará vinculado a esa compra. Tu interacción y la de otros usuarios se medirán para saber el número de clics en el anuncio que han terminado en compra.
  • Usted es una de las pocas personas que ha hecho clic en un anuncio que promociona un descuento por el “Día de la madre”de una tienda de regalos en Internet dentro de la aplicación de una web/medio de comunicación. El medio de comunicación quiere contar con informes para comprender con qué frecuencia usted y otros usuarios han visualizado o han hecho clic en un anuncio determinado dentro de la aplicación y, en particular, en el anuncio del “Día de la madre” para así ayudar al medio de comunicación y a sus socios (por ejemplo, las agencias de publicidad) a optimizar la ubicación de los anuncios.

La información sobre qué contenido se te presenta y sobre la forma en que interactúas con él puede utilizarse para determinar, por ejemplo, si el contenido (no publicitario) ha llegado a su público previsto y ha coincidido con sus intereses. Por ejemplo, si hasleído un artículo, si has visualizado un vídeo, si has escuchado un “pódcast” o si has consultado la descripción de un producto, cuánto tiempo has pasado en esos servicios y en las páginas web que has visitado, etc. Esto resulta muy útil para comprender la relevancia del contenido (no publicitario) que se te muestra.

  • Has leído una publicación en un blog sobre senderismo desde la aplicación móvil de un editor/medio de comunicación y has seguido un enlace a una publicación recomendada y relacionada con esa publicación. Tus interacciones se registrarán para indicar que la publicación inicial sobre senderismo te ha resultado útil y que la misma ha tenido éxito a la hora de ganarse tu interés en la publicación relacionada. Esto se medirá para saber si deben publicarse más contenidos sobre senderismo en el futuro y para saber dónde emplazarlos en la pantalla de inicio de la aplicación móvil.
  • Se te ha presentado un vídeo sobre tendencias de moda, pero tu y otros usuarios habéis dejado de visualizarlo transcurridos unos 30 segundos. Esta información se utilizará para valorar la duración óptima de los futuros vídeos sobre tendencias de moda.

Se pueden generar informes basados en la combinación de conjuntos de datos (como perfiles de usuario, estadísticas, estudios de mercado, datos analíticos) respecto a tus interacciones y las de otros usuarios con el contenido publicitario (o no publicitario) para identificar las características comunes (por ejemplo, para determinar qué público objetivo es más receptivo a una campaña publicitaria o a ciertos contenidos).

  • El propietario de una librería que opera en Internet quiere contar con informes comerciales que muestren la proporción de visitantes que han visitado su página y se han ido sin comprar nada o que han consultado y comprado la última autobiografía publicada, así como la edad media y la distribución de género para cada uno de los dos grupos de visitantes. Posteriormente, los datos relacionados con la navegación que realizas en su página y sobre tus características personales se utilizan y combinan con otros datos para crear estas estadísticas.
  • Un anunciante quiere tener una mayor comprensión del tipo de público que interactúa con sus anuncios. Por ello, acude a un instituto de investigación con el fin de comparar las características de los usuarios que han interactuado con el anuncio con los atributos típicos de usuarios de plataformas similares en diferentes dispositivos. Esta comparación revela al anunciante que su público publicitario está accediendo principalmente a los anuncios a través de dispositivos móviles y que es probable que su rango de edad se encuentre entre los 45 y los 60 años.

La información sobre tu actividad en este servicio, como tu interacción con los anuncios o con el contenido, puede resultar muy útil para mejorar productos y servicios, así como para crear otros nuevos en base a las interacciones de los usuarios, el tipo de audiencia, etc. Esta finalidad específica no incluye el desarrollo ni la mejora de los perfiles de usuario y de identificadores.

  • Una plataforma tecnológica que opera con un proveedor de redes sociales observa un crecimiento en los usuarios de aplicaciones móviles y se da cuenta de que, en funciónde sus perfiles, muchos de ellos se conectan a través de conexiones móviles. La plataforma utiliza una tecnología nueva para mostrar anuncios con un formato óptimo para los dispositivos móviles y con un ancho de banda bajo a fin de mejorar su rendimiento.
  • Un anunciante está buscando una forma de mostrar anuncios en un nuevo tipo de dispositivo. El anunciante recopila información sobre la forma en que los usuarios interactúan con este nuevo tipo de dispositivo con el fin de determinar si puede crear un nuevo mecanismo para mostrar la publicidad en ese tipo de dispositivo.

El contenido que se presenta en este servicio puede basarse en datos limitados, como por ejemplo la página web o la aplicación que esté utilizando, tu ubicación no precisa, el tipo de dispositivo o el contenido con el que estás interactuando (o con el que has interactuado) (por ejemplo, para limitar el número de veces que se te presenta un vídeo o un artículo en concreto).

  • Una revista de viajes, para mejorar las experiencias de viaje en el extranjero, ha publicado en su página web un artículo sobre nuevos cursos que ofrece una escuela de idiomas por Internet. Las publicaciones del blog de la escuela se insertan directamente en la parte inferior de la página y se seleccionan en función de la ubicación no precisa del usuario (por ejemplo, publicaciones del blog que explican el plan de estudios del curso para idiomas diferentes al del país en el que este te encuentras).
  • Una aplicación móvil de noticias deportivas ha iniciado una nueva sección de artículos sobre los últimos partidos de fútbol. Cada artículo incluye vídeos alojados por una plataforma de streaming independiente que muestra los aspectos destacados de cada partido. Si adelantas un vídeo, esta información puede utilizarse para determinar que el siguiente vídeo a reproducir sea de menor duración.

Se puede utilizar la localización geográfica precisa y la información sobre las características del dispositivo

Al contar con tu aprobación, tu ubicación exacta (dentro de un radio inferior a 500 metros) podrá utilizarse para apoyar las finalidades que se explican en este documento.

Con tu aceptación, se pueden solicitar y utilizar ciertas características específicas de tu dispositivo para distinguirlo de otros (por ejemplo, las fuentes o complementos instalados y la resolución de su pantalla) en apoyo de las finalidades que se explican en este documento.

O sin cookies desde 1,67€ al mes

Por solo 1,67€ al mes, disfruta de una navegación sin interrupciones por toda la red del Grupo ADSLZone: adslzone.net, movilzona.es, testdevelocidad.es, lamanzanamordida.net, hardzone.es, softzone.es, redeszone.net, topesdegama.com y más. Al unirte a nuestra comunidad, no solo estarás apoyando nuestro trabajo, sino que también te beneficiarás de una experiencia online sin cookies.