Sobrecarga de datos. Archivos Web y desafíos de escala

El pasado mayo, en las páginas de Perspectives on History, Seth Debo, director de comunicación e iniciativas digitales de la AHA,  publicó un breve titulado “Data Overload: Web Archives and the Challenges of Scale“. Este es su contenido:

“Imaginemos a futuros historiadores que estudien el discurso público sobre el autismo a principios del siglo XXI. Examinan un archivo tan vasto como todo lo que conocemos hoy en día, pero deben lidiar con fuentes digitales nativas: blogs escritos por personas con autismo, por ejemplo, o sitios web de organizaciones de defensa y de agencias gubernamentales, sin mencionar videos, audios y contenido de redes sociales, todos reunidos en toda la web. La extensión de este archivo supone que los métodos tradicionales de investigación histórica ya no serán relevantes, al menos para este proyecto. Los historiadores deberán utilizar nuevas técnicas y herramientas digitales para interrogar al archivo. La escala de las fuentes pertinentes, las habilidades técnicas requeridas para analizarlas y la necesidad de evaluar lo que fue y no fue recolectado por los archiveros que procesaron estos materiales inicialmente planteará una serie de desafíos.

A medida que la web se integra cada vez más en nuestras vidas, numerosas entidades, como la Library of Congress y el Internet Archive han comenzado a archivarla. Pero estos nuevos archivos web contienen tantos datos que los historiadores han comenzado a reconsiderar los métodos de investigación, las habilidades y la epistemología. De hecho, pocos historiadores poseen las calificaciones necesarias para realizar investigaciones profesionales en fuentes web.

En marzo de 2019, los participantes en un “datathon” celebrado en la Universidad George Washington en Washington, DC, tuvieron una idea sobre cómo podría ser la investigación con archivos web nativos. El evento fue organizado por el Proyecto Archives Unleashed, financiado por la Fundación Andrew W. Mellon, que, según su sitio web, “tiene como objetivo hacer que los petabytes de contenido histórico de Internet sean accesibles para los académicos y otras personas interesadas en investigar el pasado reciente”. El objetivo del proyecto es reducir las barreras para trabajar con archivos web a gran escala mediante la creación de herramientas accesibles y una interfaz basada en la web con la cual usarlos. El datathon reunió a bibliotecarios, archiveros, informáticos e investigadores de una variedad de disciplinas, incluidas las humanidades y las ciencias sociales, para explorar archivos web sobre una amplia gama de temas.

En datathons, las personas pueden experimentar ampliamente con conjuntos de datos específicos, haciendo y respondiendo preguntas sobre ellos. El proyecto Archives Unleashed ha alojado datathons desde 2016, para explorar las posibilidades que los archivos web presentan para la investigación. Un “gran desafío para este proyecto”, explica Ian Milligan, investigador principal de Archives Unleashed, es determinar “dónde debe terminar el proyecto y dónde hacerse cargo el investigador”. En otras palabras, ¿cómo puede garantizar el proyecto que se prepare suficientemente a los custodios de archivos y a los investigadores para que continuen siendo capaces de hacer este trabajo en el futuro? A través de estos datos, Archives Unleashed se esfuerza en crear comunidades de usuarios para las herramientas que está creando y en generar experiencia en el uso de archivos y fuentes web.

En el datathon en Washington, el equipo del proyecto proporcionó colecciones preseleccionadas de fuentes web, y los participantes eligieron con qué materiales querían trabajar. Los temas incluyeron la escena de la música punk del área de Washington, DC, contenido web de países del antiguo bloque soviético y el movimiento #MeToo. Los participantes identificaron las preguntas que querían formular a las fuentes, utilizaron herramientas analíticas del Kit de herramientas de Archives Unleashed para explorar los datos y presentaron sus hallazgos.

Un grupo exploró los elementos no textuales (imágenes, audio, video) en los 48 gigabytes del archivo DC Punk que se les había dado para trabajar. Con una herramienta del Kit de Archives Unleashed, extrajeron más de 10,000 objetos digitales de la colección, luego determinaron los tipos de archivos para identificar los tipos de materiales con los que estaban trabajando. Esperando encontrar principalmente audio y videos de conciertos, el grupo también descubrió entradas, carteles, volantes, portadas de álbumes, fotografías de artistas y otras cosas -objetos que serían vitales para contar la historia de la escena. Otro equipo, trabajando con los sitios web del antiguo bloque soviético, analizó los enlaces salientes de esos sitios para comprender qué otros sitios en todo el mundo eran importantes dentro del contenido de su colección.

Otro equipo exploró sitios de la Colección de Medios Digitales #MeToo, que está siendo reunida por la Biblioteca Schlesinger de la Universidad de Harvard como parte de un proyecto para documentar exhaustivamente el movimiento. Varios participantes abordaron el material recolectado desde una perspectiva de archivo, haciendo preguntas como: ¿La colección captura lo que es necesario para ser útil para los investigadores ahora y en el futuro? ¿Cuáles son los criterios de evaluación que deben usarse para garantizar que la colección tenga valor de archivo? ¿Cómo documenta esas decisiones y se asegura de que los archivos resultantes sean utilizables?

Estas son preguntas que los archiveros siempre se han hecho al tomar decisiones sobre registros y otros materiales de archivo. Pero el archivo web incluye sus propios problemas de escala, preservación, privacidad y derechos de autor. Internet Archive comenzó a preservar sitios de la World Wide Web en 1996. Desde entonces, ha archivado casi 350 mil millones de páginas web. La memoria requerida para almacenar todo este contenido supera con creces los 15 petabytes. (Su ordenador casero probablemente tenga aproximadamente mil gigabytes de almacenamiento en disco duro; un petabyte es un poco más de un millón de gigabytes). Los usuarios de Wayback Machine de Internet Archive pueden explorar un tesoro de sitios web, incluida toda la red de GeoCities; más de 1.600 versiones de algore.com -el sitio web del ex vicepresidente-, que data de 1998; y las primeras páginas web del gobierno federal de EE. UU. La mayoría de este contenido permanece sin explotar por los historiadores.

Y el Internet Archive no es la única institución que captura el conocimiento existente en la web; las instituciones tradicionales también participan en este esfuerzo. DC Punk Archive es el trabajo de bibliotecarios de colecciones especiales en la Biblioteca Pública del Distrito de Columbia. Las bibliotecas nacionales y las bibliotecas de depósito legal también realizan este trabajo de archivo, con un número creciente de países que aprueban leyes de depósito legal no impreso, que exigen la recopilación de sitios dentro de dominios nacionales, como .fr o .no en Europa. La British Library ha trabajado con la red de bibliotecas de depósito del Reino Unido para archivar rutinariamente todo el dominio web .uk, requerido por una ley de 2013 que complementa la larga tradición de depósito legal de materiales impresos en bibliotecas nacionales.

Trabajando con el Internet Archive, la Library of Congress también ha estado creando archivos de sitios web de interés público desde 2000. La biblioteca actualmente recolecta, por mes, entre 20,000 y 25,000 gigabytes de contenido sobre una amplia gama de temas, los sitios de todas las ramas legislativas del gobierno federal de los EE. UU. y una selección de las que mantienen las agencias ejecutivas, y algunos sitios web internacionales, como los que cubren las elecciones generales en todo el mundo y las grandes agitaciones políticas y sociales. En una entrevista telefónica, Abigail Grotke, que dirige el equipo del archivo web en la Biblioteca del Congreso, explicó cómo los bibliotecarios de referencia y los funcionarios de operaciones en el extranjero con experiencia en el tema brindan orientación sobre qué colecciones de archivos web debe crear y mantener la biblioteca, y sobre “los urgentes eventos “que deben documentarse y conservarse a medida que ocurren.

Según Grotke, la Library of Congress siempre obtiene el permiso de los propietarios de un sitio antes de “rastrear” -un término derivado del uso de un software llamado rastreador web que explora y recopila sistemáticamente datos de sitios web. Si bien esto agrega complejidad a la tarea y requiere que la biblioteca sea mucho más selectiva sobre lo que recolecta, Grotke dice que también permite que su recolección sea más “centrada y más profunda”. Dado que ningún trabajo de recolección puede capturarlo todo en la web, las decisiones siempre debe hacerse sobre dónde se detiene un rastreo. La atención a detalles como estos garantizará que los historiadores puedan explorar lo que se conserva en estas vastas colecciones de datos. Aún así, obtener información significativa de estas fuentes requerirá que los historiadores utilicen nuevas herramientas.

Muchas de las barreras para usar estos archivos son simplemente el resultado de la escala: los archivos son demasiado grandes para proporcionar buenos resultados de búsquedas de palabras clave o incluso para navegar. Como resultado, se necesitan herramientas analíticas. Los rastreos de archivo web crean archivos en formato WARC, un estándar internacional que ha sido adoptado por bibliotecas y otras organizaciones de archivo web. Los archivos WARC conservan el contenido de un sitio web además de otra información de archivo, como cuándo se recopiló el contenido. El kit de herramientas Archives Unleashed (disponible de forma gratuita en el sitio web del proyecto) utilizado en el datathon incluye scripts (pequeños programas que realizan tareas discretas) para ordenar y administrar los datos y metadatos en los archivos WARC.

El kit de herramientas permite a los usuarios, por ejemplo, eliminarlo todo excepto el contenido principal, eliminando información secundaria como la navegación del sitio web y los anuncios. Otros scripts en el kit de herramientas permiten a los usuarios ver qué se incluye en el archivo con el que están trabajando. Los usuarios también pueden filtrar por idioma, agrupar sitios en una colección por la fecha en que se rastrearon, o encontrar todos los nombres de individuos, organizaciones o lugares en un grupo de sitios. Estas técnicas requieren un conocimiento básico de cómo funcionan los sitios web, pero no requieren años de capacitación.

Si bien la web en sí es lo suficientemente reciente como para que solo un pequeño subconjunto de historiadores que estudian la historia contemporánea la estén utilizando como fuente, habrá que estar preparados para hacerlo en los próximos años. Como expresó un participante de Datathon, los programas de software como Archives Unleashed Toolkit proporcionan medios para “tratar de comprender su conjunto de datos antes de sumergirse en él”. A medida que nos alejamos más y más de los primeros días de la web, y con tanto de nuestra historia registrada allí, los historiadores, ahora más que nunca, necesitan saber cómo trabajar con estos materiales”.

Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 .


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.