Desvendando a estrutura oculta da Web: Dataset Links do Arquivo.pt

thumb-wikipedia_link-graph_cluster

Última atualização em 5 de Maio de 2025 às 14:50

A natureza interligada da World Wide Web há muito que fascina investigadores e tecnólogos. Hoje, temos o prazer de anunciar o lançamento do conjunto de dados Arquivo.pt Links Dataset, uma coleção abrangente que abre novas possibilidades para a compreensão e análise dos padrões de conetividade da Web.

O conjunto de dados engloba mais de 139 milhões de URLs de páginas Web, cada um acompanhado de metadados cruciais sobre as suas ligações de entrada – tanto os URLs de origem como os textos-âncora correspondentes, isto é, o texto visível e clicável nas hiperligações. Esta rica coleção de dados de interligação fornece aos investigadores uma janela única para a estrutura subjacente da Web.

A importância das hiperligações na arquitetura da Web não pode ser sobrestimada. Servem como blocos de construção fundamentais da navegação e descoberta na Web, permitindo aos utilizadores e aos sistemas automatizados percorrer a vasta paisagem de conteúdos em linha.

As hiperligações formaram a base do revolucionário algoritmo PageRank da Google, que transformou a nossa abordagem à recuperação de informações e à pesquisa na Web. A ideia fundamental do PageRank – que a importância de uma página podia ser medida através da análise das suas hiperligações de entrada – revolucionou a tecnologia de pesquisa e continua a ter influência nos sistemas modernos de recuperação de informações.

Ao disponibilizar publicamente este conjunto de dados, o Arquivo.pt permite aos investigadores explorar abordagens inovadoras semelhantes à análise da Web e ao desenvolvimento de motores de busca. O conjunto de dados abre inúmeras possibilidades de investigação em vários domínios:

  • Os investigadores podem implementar e experimentar vários algoritmos de classificação, desde abordagens clássicas como o PageRank até técnicas modernas baseadas na aprendizagem automática. A inclusão de textos âncora – o texto visível e clicável nas hiperligações – fornece um contexto semântico valioso que pode melhorar a relevância da pesquisa e a classificação dos documentos.
  • O conjunto de dados permite uma análise profunda da topologia da Web e das estruturas de ligações. Os investigadores podem investigar questões sobre os padrões de conetividade da Web, identificar grupos de conteúdos relacionados e estudar a forma como a informação se espalha pela Web através de redes de ligações.
  • O texto âncora associado a cada hiperligação oferece uma fonte rica de descrições do conteúdo da Web geradas por humanos. Estes dados podem ser particularmente valiosos para desenvolver e testar algoritmos de resumo de documentos, ferramentas de análise semântica e sistemas de classificação automática.
  • Para os investigadores de arquivo da Web, este conjunto de dados fornece informações sobre a forma como as páginas da Web são ligadas e referenciadas ao longo do tempo, oferecendo dados valiosos para o estudo de estratégias de preservação da Web e de manutenção do património digital.

Metodologia

O processo começa com um instantâneo temporal de páginas Web de um período de tempo específico (recolha). Durante esta fase inicial, os nossos sistemas analisam cada página capturada, extraindo todas as hiperligações de saída juntamente com os respetivos textos âncora e carimbos de data/hora de captura. Isto cria um mapeamento preliminar de como as páginas se ligam umas às outras dentro do período de tempo capturado.

O que torna este conjunto de dados particularmente valioso é a sua estrutura de links invertida. Em vez de organizar os dados em torno das páginas de origem e dos seus links de saída, criámos um mapa invertido que se centra nas páginas de destino e nos seus links de entrada. Essa abordagem é particularmente útil para analisar a importância ou a autoridade de uma página na estrutura da Web, pois fornece acesso imediato a todas as páginas que fazem referência ou apontam para um determinado URL.

Considere-se uma estrutura de ligações tradicional em que a Página A liga às Páginas B, C e D. Na nossa estrutura invertida, vemos entradas para as Páginas B, C e D, cada uma listando a Página A como uma fonte de ligações de entrada. Esta reorganização dos dados facilita uma análise mais eficiente da autoridade e influência da página, tornando-a particularmente valiosa para investigadores que trabalham em algoritmos de classificação ou que estudam padrões de fluxo de informação na Web.

O conjunto de dados de links do Arquivo.pt combina três colecões web distintas:

  1. PWA9609 (1996-2009): 89 milhões de páginas que captam a evolução inicial da Internet, centradas no domínio .pt. Esta coleção histórica fornece informações sobre os primeiros padrões de ligação na Web.
  2. AWP38 (Out-Nov 2021): 44 milhões de páginas que oferecem um retrato contemporâneo da conetividade da Web, com ênfase no domínio .pt, mas incluindo conteúdos mais vastos da Internet.
  3. FAWP47 (Out-Dez 2021): 8 milhões de páginas de capturas diárias de conteúdo do domínio .pt, concebidas para acompanhar as alterações de curto prazo nos padrões de ligação.

Como começar a utilizar o conjunto de dados

Os investigadores podem aceder ao conjunto completo de dados. Os dados são fornecidos num formato que permite um processamento e análise eficientes, tornando-os adequados tanto para estudos em grande escala como para investigações específicas.

Conclusão

O lançamento do conjunto de dados de links do Arquivo.pt representa uma contribuição significativa para a comunidade de investigação científica da Web. Ao disponibilizar gratuitamente esta rica coleção de dados de conetividade da Web, esperamos facilitar a investigação inovadora e aprofundar a nossa compreensão da complexa estrutura da Web.

Encorajamos os investigadores a explorar este conjunto de dados e esperamos ver as novas perspetivas e aplicações que emergem da sua análise. Quer esteja interessado em desenvolver novos algoritmos de pesquisa, estudar a topologia da Web ou investigar relações de conteúdo, este conjunto de dados fornece uma base sólida para a sua investigação.

Arquivo.pt participou na IIPC Web Archiving Conference em Oslo

Última atualização em 23 de Abril de 2025 às 14:48

Quatro membros da equipa do Arquivo.pt estiveram em Oslo, na Noruega, para participar na Assembleia Geral do International Internet Preservation Consortium e na Web Archiving Conference, entre os dias 8 e de abril de 2025.

A Biblioteca Nacional da Noruega foi a instituição de acolhimento deste evento internacional. O Arquivo da Web da Noruega é parte da missão da Biblioteca e é realizado numa segunda localização especializada em preservação digital, na cidade de Mo i Rana, no centro do país.

O IIPC WAC, o maior no domínio da preservação da Internet, foi como sempre uma ocasião excecional para a partilha de conhecimento e  para o fortalecimento de colaboração entre os arquivos da Web.

O primeiro dia, 8 de abril, foi dedicado à Assembleia Geral, exclusivo para os membros do consórcio, e aos grupos de trabalho onde o Arquivo.pt tem um papel ativo. O Content Working Group é dedicado à criação de coleções temáticas e tem a participação do Arquivo,pt na coleção “Street Art”. O Training Working Group cria conteúdos formativos e ações de formação, tais como webinars do IIPC e workshops presenciais.

Nos dias  9 e 10 de abril realizou-se a Web Archiving Conference, evento que é aberto a todas as entidades e iniciativas relacionadas com a preservação e arquivo da Web.

Contributo do Arquivo.pt

O Arquivo.pt apresentou os seus serviços e iniciativas de interação com a comunidade, como por exemplo a colaboração com o Arquivo Municipal de Sines na preservação de conteúdos de interesse local. A preocupação com o acesso aos conteúdos, tanto para os investigadores como para os cidadãos em geral, é um aspeto muito apreciado pela comunidade do IIPC.

  • Arquivo.pt toolkit for web archiving – Lightning talk session 1 – Daniel Gomes – Slides
  • Arquivo.pt Query Logs – Lightning talk session 3 – Pedro Gomes – Slides
  • Collaborative collections at Arquivo.pt: four years of recordings from the city of Sines (Portugal) – Lightning talk session 4 – Ricardo Basílio – Slides, notas
  • API/Bulk access and its usage – Poster slam – Vasco Rato – Poster
  • Arquivo.pt annual awards: a glimpse since 2018 – Poster slam – Daniel Gomes – Slides

 

Galeria de imagens

IIPC Web Archiving Conference 2025, Oslo

oslo4
oslo3
oslo6
oslo2
oslo1
oslo8
oslo5
oslo9
oslo10
oslo11
oslo12
oslo4 oslo3 oslo6 oslo2 oslo1 oslo8 oslo5 oslo9 oslo10 oslo11 oslo12