Web Scraping: cómo sacar información de una web

Web Scraping: cómo sacar información de una web

Javier Jiménez

Son muchos los servicios y herramientas que tenemos a nuestra disposición cuando se trata de aprovechar las plataformas online y los dispositivos que utilizamos. A la hora de navegar por Internet, en muchas ocasiones resulta necesario obtener ciertos datos e información. Podemos hacer uso de lo que se conoce como web Scraping. En este artículo vamos a explicar en qué consiste y daremos también algunas opciones para ello.

Qué es web Scraping

Con web Scraping, o también conocido como raspado web, nos referimos al método a través del cual podemos extraer información de sitios web. Para ello se utiliza software que incluso puede simular la navegación normal de un usuario, pero automatizando el proceso. Podemos relacionar el web Scraping con la indexación de un sitio web en los buscadores. Ahora bien, en este caso se centra más en la transformación de datos sin estructura en la web (por ejemplo el formato HTML) en datos estructurados que se pueden almacenar y analizar en una base de datos o una hoja de cálculo.

Para el tema del posicionamiento web ha sido muy utilizada esta técnica en los últimos años. Sirve también para comparar precios en tiendas online, monitorización de datos, etc. Muchos usuarios se basan en esta característica para crear contenido de calidad. En definitiva, el web Scraping podemos decir que consiste en extraer información de una página web. Algo que podemos hacerlo a nivel de usuario, de forma manual, pero que también podemos utilizar programas informáticos para ello.

Actualmente, la técnica del Web Scraping dispone de varios niveles de automatización, a continuación, tenéis algunas de ellas:

  • Copiar y pegar de una persona: incluso con los mejores algoritmos que existen, el web scraping lo hace mejor un ser humano que se encargue de copiar y pegar la información relevante de una página web.
  • Protocolo HTTP: las principales webs estáticas o dinámicas se pueden acceder a ellas con el protocolo HTTP, y posteriormente podemos usar expresiones regulares o programas específicamente diseñados para «parsear» la información que nosotros queramos. Estos parseadores son los denominados como «parsers de HTML», algunos lenguajes ampliamente usados con XQuery y también HTQL, todo ello relacionado con HTML.
  • Algoritmos para minería de datos: muchas webs tienen grandes colecciones de páginas generadas dinámicamente a partir de una base de datos que se ha obtenido de alguna manera.

Un aspecto importante, es que es posible que estas técnicas vayan en contra de los términos de uso de algunas webs, y los administradores del sitio web podrían bloquear nuestro acceso si descubren este tipo de técnicas, ya que existen programas y configuraciones del servidor web para evitar o mitigar el web scraping, ya que esto provoca un impacto importante en el rendimiento del servidor donde está alojada la web.

Un administrador de sistemas, podrá saber que alguien está haciendo web scraping cuando tiene miles de peticiones desde la misma dirección IP de origen, ya que esto significa que está rastreando toda la información de la web. Algunos países han prohibido o limitado este tipo de técnicas, con el objetivo de proteger a las diferentes empresas, ya que en muchos casos podría hacer que el servidor se bloquee si no se hace correctamente.

Ahora que ya conocéis las principales técnicas para extraer información de una web, os vamos a mostrar diferentes programas para ello, lo que nos permitirá automatizar y facilitarnos enormemente el acceso a toda la información.

Programas web Scraping para extraer información

Vamos a ver algunos programas gratuitos que podemos utilizar para recopilar información de una página web. Estos datos se pueden extraer de una manera sencilla si utilizas las herramientas adecuadas. Por ejemplo si te interesa saber más de un sitio en concreto o sospechas que puede ser inseguro y quieres comprobar hasta qué punto puedes obtener más datos.

Parsehub

Una de las herramientas que tenemos a nuestra disposición es la de Parsehub. Es una aplicación de escritorio que permite conectarse a cualquier sitio web del que queremos extraer datos. Tiene una interfaz cuidada y además es sencillo de utilizar. Podemos exportar los datos en diferentes formatos como JSON, CSV o Excel.

Lo primero que tenemos que hacer para comenzar utilizar Parsehub es descargarlo de su web. Veremos que está disponible para Windows, Linux y macOS. Una vez lo tengamos bajado el siguiente paso será instalarlo. Una vez lo ejecutemos nos pedirá crearnos una cuenta para poder empezar a usarlo.

Parsehub

Cuando lo abramos nos aparecerá una ventana como la que vemos en la imagen de arriba. Posteriormente tendremos que crear un nuevo proyecto y escribir la dirección de la que nos interesa extraer datos para que comience.

Extraer datos con Parsehub

Scrapers

Otra opción que tenemos para recopilar información de un sitio web es Scrapers. Se trata en este caso de una herramienta web, también gratuita, que va a permitir llevar a cabo esta acción de una manera sencilla e intuitiva. Los datos extraídos los podemos exportar en JSON, HTML y CSV.

Cuando entremos en su web veremos que es necesario registrarse para utilizar el servicio. A partir de ahí tendremos que crear un nuevo Scraper, poner los datos necesarios y darle a comenzar. Empezará a recopilar información de ese sitio que posteriormente podremos analizar para saber más.

Recopilar información son Scrapers

Scrapingdog

Una alternativa similar a la anterior es Scrapingdog. Podemos probar su versión de prueba gratuita. Tendremos que registrarnos, una vez más. Para un uso básico esta versión gratuita será suficiente. También cuenta con una página de pago para acceder a través de un proxy y poder extraer datos de sitios más complejos.

Como en los casos anteriores tendremos que poner la URL que nos interesa y comenzar a extraer información de este sitio. Es un proceso sencillo y nos encontraremos con la posibilidad de obtener más información sobre este sitio web en concreto que nos interesa.

Scrapingdog

Dexi.io

Dexi cuenta con una interfaz simple que nos permite extraer datos en tiempo real de cualquier página web utilizando su tecnología de aprendizaje automático incorporada. Permite extraer tanto textos como imágenes. Se basa en una solución en la nube y permite exportar datos extraídos a plataformas como Google Sheets, Amazon S3 y otras similares.

Más allá de extraer datos, con Dexi también podemos monitorizar en tiempo real. Cuenta con herramientas para mantenernos actualizados sobre todos los cambios que pueda haber en un sitio en concreto. Una manera de tener un mayor conocimiento también sobre la competencia, en caso de tener una página para vender productos online, por ejemplo. Tiene opción gratuita para un uso básico, pero también cuenta con otras de pago.

Extraer información con Dexi

Extensión para Chrome

Una alternativa a estos servicios que hemos visto es la de utilizar una extensión para el navegador Google Chrome. La podrás descargar e instalar de forma gratuita desde la tienda oficial del navegador. Su funcionamiento es similar al anterior. Este raspador de datos puede extraer información de páginas HTML. Todo lo que extrae lo almacena en una hoja de Excel para que puedas analizarlo posteriormente y de una manera sencilla.

Además de Excel, los datos los podrás guardar en Google Sheets. Admite formatos como XLS, CSV, XLSX o TSV. Cuenta con una gran cantidad de opciones. Es una extensión gratuita, aunque tiene un límite de 500 páginas por mes. Puede que sea más que suficiente para la mayoría de usuarios, pero si necesitas algo más siempre podrás contratar alguno de sus planes de pago.

Por tanto, puedes también instalar una extensión para Chrome en el ordenador y obtener esta información de cualquier sitio web que te interese. Su funcionamiento es sencillo. Eso sí, si vas a instalar un complemento de este tipo en el navegador, sea cual sea, siempre te recomendamos que lo descargues desde la tienda oficial y evites sitios de terceros que puedan ser un problema de seguridad.

Gracias a todos estos programas, vamos a poder realizar estas técnicas para copiar toda la información que nosotros queramos desde los diferentes sitios web, con el objetivo de poder utilizar esta información posteriormente. Es muy importante que te asegures de que tienes permiso para realizar estas técnicas, ya que en algunos países está limitada la posibilidad de hacer esto.

¡Sé el primero en comentar!
Logo redeszone.net
Navega gratis con publicidad…

Navegar por testdevelocidad.es con publicidad personalizada, seguimiento y cookies de forma gratuita. i

Para ello, nosotros y nuestros socios i necesitamos tu consentimiento i para el tratamiento de datos personales i para los siguientes fines:

Las cookies, los identificadores de dispositivos o los identificadores online de similares características (p. ej., los identificadores basados en inicio de sesión, los identificadores asignados aleatoriamente, los identificadores basados en la red), junto con otra información (p. ej., la información y el tipo del navegador, el idioma, el tamaño de la pantalla, las tecnologías compatibles, etc.), pueden almacenarse o leerse en tu dispositivo a fin de reconocerlo siempre que se conecte a una aplicación o a una página web para una o varias de los finalidades que se recogen en el presente texto.

La mayoría de las finalidades que se explican en este texto dependen del almacenamiento o del acceso a la información de tu dispositivo cuando utilizas una aplicación o visitas una página web. Por ejemplo, es posible que un proveedor o un editor/medio de comunicación necesiten almacenar una cookie en tu dispositivo la primera vez que visite una página web a fin de poder reconocer tu dispositivo las próximas veces que vuelva a visitarla (accediendo a esta cookie cada vez que lo haga).

La publicidad y el contenido pueden personalizarse basándose en tu perfil. Tu actividad en este servicio puede utilizarse para crear o mejorar un perfil sobre tu persona para recibir publicidad o contenido personalizados. El rendimiento de la publicidad y del contenido puede medirse. Los informes pueden generarse en función de tu actividad y la de otros usuarios. Tu actividad en este servicio puede ayudar a desarrollar y mejorar productos y servicios.

La publicidad que se presenta en este servicio puede basarse en datos limitados, tales como la página web o la aplicación que esté utilizando, tu ubicación no precisa, el tipo de dispositivo o el contenido con el que está interactuando (o con el que ha interactuado) (por ejemplo, para limitar el número de veces que se presenta un anuncio concreto).

  • Un fabricante de automóviles quiere promocionar sus vehículos eléctricos a los usuarios respetuosos con el medioambiente que viven en la ciudad fuera del horario laboral. La publicidad se presenta en una página con contenido relacionado (como un artículo sobre medidas contra el cambio climático) después de las 18:30 h a los usuarios cuya ubicación no precisa sugiera que se encuentran en una zona urbana.
  • Un importante fabricante de acuarelas quiere realizar una campaña publicitaria en Internet para dar a conocer su última gama de acuarelas con la finalidad de llegar tanto a artistas aficionados como a profesionales y, a su vez, se evite mostrar el anuncio junto a otro contenido no relacionado (por ejemplo, artículos sobre cómo pintar una casa). Se detectará y limitará el número de veces que se ha presentado el anuncio a fin de no mostrarlo demasiadas veces.

La información sobre tu actividad en este servicio (por ejemplo, los formularios que rellenes, el contenido que estás consumiendo) puede almacenarse y combinarse con otra información que se tenga sobre tu persona o sobre usuarios similares(por ejemplo, información sobre tu actividad previa en este servicio y en otras páginas web o aplicaciones). Posteriormente, esto se utilizará para crear o mejorar un perfil sobre tu persona (que podría incluir posibles intereses y aspectos personales). Tu perfil puede utilizarse (también en un momento posterior) para mostrarte publicidad que pueda parecerte más relevante en función de tus posibles intereses, ya sea por parte nuestra o de terceros.

  • En una plataforma de redes sociales has leído varios artículos sobre cómo construir una casa en un árbol Esta información podría añadirse a un perfil determinado para indicar tuinterés en el contenido relacionado con la naturaleza, así como en los tutoriales de bricolaje (con el objetivo de permitir la personalización del contenido, de modo que en el futuro, por ejemplo, se te muestren más publicaciones de blogs y artículos sobre casas en árboles y cabañas de madera).
  • Has visualizado tres vídeos sobre la exploración espacial en diferentes aplicaciones de televisión. Una plataforma de noticias sin relación con las anteriores y con la que no has tenido contacto en el pasado crea un perfil basado en esa conducta de visualización marcando la exploración del espacio como un tema de tu posible interés para para otros vídeos.

El contenido que se te presenta en este servicio puede basarse en un perfilde personalización de contenido que se haya realizado previamente sobre tu persona, lo que puede reflejar tu actividad en este u otros servicios (por ejemplo, los formularios con los que interactúas o el contenido que visualizas), tus posibles intereses y aspectos personales. Un ejemplo de lo anterior sería la adaptación del orden en el que se te presenta el contenido, para que así te resulte más sencillo encontrar el contenido (no publicitario) que coincida con tus intereses.

  • Has leído unos artículos sobre comida vegetariana en una plataforma de redes sociales. Posteriormente has usado una aplicación de cocina de una empresa sin relación con la anterior plataforma. El perfil que se ha creado sobre tu persona en la plataforma de redes sociales se utilizará para mostrarte recetas vegetarianas en la pantalla de bienvenida de la aplicación de cocina.
  • Has visualizado tres vídeos sobre remo en páginas web diferentes. Una plataforma de video, no relacionada con la página web en la que has visualizado los vídeos sobre remo, pero basandose en el perfil creado cuando visistaste dicha web, podrá recomendarte otros 5 vídeos sobre remo cuando utilices la plataforma de video a través de tu televisor .

La información sobre qué publicidad se te presenta y sobre la forma en que interactúas con ella puede utilizarse para determinar lo bien que ha funcionado un anuncio en tu caso o en el de otros usuarios y si se han alcanzado los objetivos publicitarios. Por ejemplo, si has visualizado un anuncio, si has hecho clic sobre el mismo, si eso te ha llevado posteriormente a comprar un producto o a visitar una página web, etc. Esto resulta muy útil para comprender la relevancia de las campañas publicitarias./p>

  • Has hecho clic en un anuncio en una página web/medio de comunicación sobre descuentos realizados por una tienda online con motivo del “Black Friday” online y posteriormente has comprado un producto. Ese clic que has hecho estará vinculado a esa compra. Tu interacción y la de otros usuarios se medirán para saber el número de clics en el anuncio que han terminado en compra.
  • Usted es una de las pocas personas que ha hecho clic en un anuncio que promociona un descuento por el “Día de la madre”de una tienda de regalos en Internet dentro de la aplicación de una web/medio de comunicación. El medio de comunicación quiere contar con informes para comprender con qué frecuencia usted y otros usuarios han visualizado o han hecho clic en un anuncio determinado dentro de la aplicación y, en particular, en el anuncio del “Día de la madre” para así ayudar al medio de comunicación y a sus socios (por ejemplo, las agencias de publicidad) a optimizar la ubicación de los anuncios.

La información sobre qué contenido se te presenta y sobre la forma en que interactúas con él puede utilizarse para determinar, por ejemplo, si el contenido (no publicitario) ha llegado a su público previsto y ha coincidido con sus intereses. Por ejemplo, si hasleído un artículo, si has visualizado un vídeo, si has escuchado un “pódcast” o si has consultado la descripción de un producto, cuánto tiempo has pasado en esos servicios y en las páginas web que has visitado, etc. Esto resulta muy útil para comprender la relevancia del contenido (no publicitario) que se te muestra.

  • Has leído una publicación en un blog sobre senderismo desde la aplicación móvil de un editor/medio de comunicación y has seguido un enlace a una publicación recomendada y relacionada con esa publicación. Tus interacciones se registrarán para indicar que la publicación inicial sobre senderismo te ha resultado útil y que la misma ha tenido éxito a la hora de ganarse tu interés en la publicación relacionada. Esto se medirá para saber si deben publicarse más contenidos sobre senderismo en el futuro y para saber dónde emplazarlos en la pantalla de inicio de la aplicación móvil.
  • Se te ha presentado un vídeo sobre tendencias de moda, pero tu y otros usuarios habéis dejado de visualizarlo transcurridos unos 30 segundos. Esta información se utilizará para valorar la duración óptima de los futuros vídeos sobre tendencias de moda.

Se pueden generar informes basados en la combinación de conjuntos de datos (como perfiles de usuario, estadísticas, estudios de mercado, datos analíticos) respecto a tus interacciones y las de otros usuarios con el contenido publicitario (o no publicitario) para identificar las características comunes (por ejemplo, para determinar qué público objetivo es más receptivo a una campaña publicitaria o a ciertos contenidos).

  • El propietario de una librería que opera en Internet quiere contar con informes comerciales que muestren la proporción de visitantes que han visitado su página y se han ido sin comprar nada o que han consultado y comprado la última autobiografía publicada, así como la edad media y la distribución de género para cada uno de los dos grupos de visitantes. Posteriormente, los datos relacionados con la navegación que realizas en su página y sobre tus características personales se utilizan y combinan con otros datos para crear estas estadísticas.
  • Un anunciante quiere tener una mayor comprensión del tipo de público que interactúa con sus anuncios. Por ello, acude a un instituto de investigación con el fin de comparar las características de los usuarios que han interactuado con el anuncio con los atributos típicos de usuarios de plataformas similares en diferentes dispositivos. Esta comparación revela al anunciante que su público publicitario está accediendo principalmente a los anuncios a través de dispositivos móviles y que es probable que su rango de edad se encuentre entre los 45 y los 60 años.

La información sobre tu actividad en este servicio, como tu interacción con los anuncios o con el contenido, puede resultar muy útil para mejorar productos y servicios, así como para crear otros nuevos en base a las interacciones de los usuarios, el tipo de audiencia, etc. Esta finalidad específica no incluye el desarrollo ni la mejora de los perfiles de usuario y de identificadores.

  • Una plataforma tecnológica que opera con un proveedor de redes sociales observa un crecimiento en los usuarios de aplicaciones móviles y se da cuenta de que, en funciónde sus perfiles, muchos de ellos se conectan a través de conexiones móviles. La plataforma utiliza una tecnología nueva para mostrar anuncios con un formato óptimo para los dispositivos móviles y con un ancho de banda bajo a fin de mejorar su rendimiento.
  • Un anunciante está buscando una forma de mostrar anuncios en un nuevo tipo de dispositivo. El anunciante recopila información sobre la forma en que los usuarios interactúan con este nuevo tipo de dispositivo con el fin de determinar si puede crear un nuevo mecanismo para mostrar la publicidad en ese tipo de dispositivo.

El contenido que se presenta en este servicio puede basarse en datos limitados, como por ejemplo la página web o la aplicación que esté utilizando, tu ubicación no precisa, el tipo de dispositivo o el contenido con el que estás interactuando (o con el que has interactuado) (por ejemplo, para limitar el número de veces que se te presenta un vídeo o un artículo en concreto).

  • Una revista de viajes, para mejorar las experiencias de viaje en el extranjero, ha publicado en su página web un artículo sobre nuevos cursos que ofrece una escuela de idiomas por Internet. Las publicaciones del blog de la escuela se insertan directamente en la parte inferior de la página y se seleccionan en función de la ubicación no precisa del usuario (por ejemplo, publicaciones del blog que explican el plan de estudios del curso para idiomas diferentes al del país en el que este te encuentras).
  • Una aplicación móvil de noticias deportivas ha iniciado una nueva sección de artículos sobre los últimos partidos de fútbol. Cada artículo incluye vídeos alojados por una plataforma de streaming independiente que muestra los aspectos destacados de cada partido. Si adelantas un vídeo, esta información puede utilizarse para determinar que el siguiente vídeo a reproducir sea de menor duración.

Se puede utilizar la localización geográfica precisa y la información sobre las características del dispositivo

Al contar con tu aprobación, tu ubicación exacta (dentro de un radio inferior a 500 metros) podrá utilizarse para apoyar las finalidades que se explican en este documento.

Con tu aceptación, se pueden solicitar y utilizar ciertas características específicas de tu dispositivo para distinguirlo de otros (por ejemplo, las fuentes o complementos instalados y la resolución de su pantalla) en apoyo de las finalidades que se explican en este documento.

O sin publicidad desde 1,67€ al mes

Por solo 1,67€ al mes, disfruta de una navegación sin interrupciones por toda la red del Grupo ADSLZone: adslzone.net, movilzona.es, testdevelocidad.es, lamanzanamordida.net, hardzone.es, softzone.es, redeszone.net, topesdegama.com y más. Al unirte a nuestra comunidad, no solo estarás apoyando nuestro trabajo, sino que también te beneficiarás de una experiencia online sin publicidad ni cookies de seguimiento.