Como preservar as referências na Wikipédia?

thumbnail-wikimedia

Última atualização em 19 de Maio de 2022 às 19:05

A Wikimedia Portugal iniciou uma colaboração com o Arquivo.pt que visa captar a atenção da comunidade para a preservação dos conteúdos publicados na Wikipédia.

Oitenta por cento das páginas publicadas na Web desaparecem ou são alteradas, apenas 1 ano após a sua publicação. Simultaneamente, a informação na Wikipédia baseia-se em informação maioritariamente publicada na Web. O desaparecimento da informação de referência prejudica a confiabilidade dos artigos da Wikipédia.

Ciclo de webinars “Património Cultural na Web: como preservar as referências na Wikipédia?”

O ciclo de Webinars promovido pela Wikimedia Portugal inclui conteúdos pedagógicos que enriquecem a formação dos profissionais da informação e comunicação mas também a literacia digital de qualquer cidadão.

O Arquivo.pt e a preservação da memória digital (1º Webinar)

Gonçalo Themudo, Presidente da Wikimedia Portugal, introduziu o 1º webinar do ciclo intitulado “Património cultural na Web: como preservar as referências na Wikipédia?”. Salientou a importância de preservar as referências (URLs) utilizadas pelos autores, quando publicam artigos na Wikipédia. Daniel Gomes, Gestor do Arquivo.pt, mostrou como o Arquivo.pt preserva os conteúdos Web e como a comunidade de autores da Wikipédia pode contribuir para que esses conteúdos fiquem efetivamente preservados.

  • Data: Realizado em 22 de fevereiro de 2022
  • Formador: Daniel Gomes, Arquivo.pt
  • Slides
  • Vídeo

Acesso e processamento automático de informação preservada da Web através de APIs (2º Webinar)

Webinar que apresenta as APIs (Application Programming Interface) do Arquivo.pt que possibilitam o processamento automático da informação histórica preservada da Web para desenvolver aplicações inovadores e úteis às organizações. Este Webinar destina-se principalmente a profissionais de informática (ex. Web developers, Web designers, Web marketers).

  • Data: 22 Mar. 2022 15:00 – 16:30
  • Formador: Vasco Rato, Arquivo.pt/ROSSIO
  • Slides
  • Vídeo

Arquivar a Web: faça-você-mesmo! (3º Webinar)

Webinar que apresenta como é preservada a informação cultural de índole municipal e nacional publicada na Web. Demonstra através de casos práticos como qualquer pessoa pode arquivar informação publicada na web num formato adequado que permitirá a sua preservação para o futuro utilizando ferramentas gratuitas. Este Webinar destina-se a qualquer utilizador da Internet mas é particularmente útil para responsáveis pela comunicação e gestão de informação em organizações.

  • Data: 19 Abr. 2022 15:00 – 16:30
  • Formador: Daniel Gomes, Arquivo.pt
  • Slides
  • Vídeo

Continuam as sessões online Café com o Arquivo.pt

banner-cafe-com-o-arquivo-pt

Última atualização em 20 de Fevereiro de 2022 às 18:50

banner-cafe-com-o-arquivo-pt

Partilhe esta página: arquivo.pt/cafe

Bem vindos à 3ª temporada do Café com o Arquivo.pt

O Arquivo.pt continua a oferecer à comunidade sessões online que endereçam tópicos relacionados com a preservação da informação publicada na web.

Ouça os convidados e converse directamente com a equipa do Arquivo.pt para saber como tirar maior partido do serviço e concorrer a mais uma edição anual do Prémio Arquivo.pt.

Sessões da 3ª temporada

17 de fevereiro de 2022 – Primeiras páginas de jornais online portugueses

Primeiras páginas de jornais online portugueses” apresenta uma análise gráfica interativa das primeiras páginas de jornais online portugueses. Para este estudo foram analisados itens específicos dentro do desenho de jornais, permitindo assim observar tendências ao longo do tempo.

Susana Parreira, explica como desenvolveu este trabalho no âmbito do seu mestrado, com a colaboração e orientação de Ana Boavida (Universidade de Coimbra) Ana Sabino (Instituto Politécnico de Castelo Branco e Penousal Machado.

22ª sessão – 20 de janeiro de 2022 – Politiquices

O Politiquices.pt permite pesquisar relações de apoio ou oposição entre personalidades e partidos políticos expressas em títulos de notícias. Esta aplicação utiliza informação preservada no Arquivo.pt para criar uma ontologia de relações, recorrendo a tecnologia de processamento de linguagem natural.

David Batista, 2º classificado do Prémio Arquivo.pt 2021, explica como desenvolveu o seu trabalho e demonstra as aplicações para os investigadores e cidadãos em geral.

Sessão especial Dia Mundial da Preservação Digital 2021 – 5 de novembro – Major Minors

No mês de novembro comemora-se o Dia Mundial da Preservação Digital e para assinalar esta iniciativa internacional, o Arquivo.pt realizou uma sessão online aberta à comunidade.

O trabalho dos convidados especiais desta sessão, Leandro Costa, Paulo Martins e José Carlos Ramalho (orientador), foi o 1º classificado do Prémio Arquivo.pt 2021.

Temporadas anteriores

Eleições Autárquicas 2021 preservadas pelo Arquivo.pt

thumbnail_eleicoes_autarquicas

Milhares páginas eleitorais a preservar antes que desapareçam

No dia 26 de setembro de 2021 realizaram-se as eleições autárquicas em Portugal, evento marcado pela pandemia da Covid-19. A comunicação dos candidatos foi baseada sobretudo nos meios de comunicação social e nas redes sociais.

A informação online que documenta processos eleitorais é de manifesta importância histórica. Contudo, é difícil de identificar porque aparecem e desaparecem rapidamente. No caso das eleições autárquicas, a quantidade de candidatos e a variedade de canais utilizados torna a tarefa ainda mais desafiante.

O Arquivo.pt, tal como em eleições anteriores, lançou uma recolha especial para preservar conteúdos relativos às Autárquicas 2021.

Como foram identificados os conteúdos eleitorais publicados na Web

Começou-se por fazer a identificação manual de conteúdos relacionados com eleições, por concelho e freguesia. Para isso pediu-se ajuda a pessoas e organizações com as seguintes iniciativas:

  • campanha de recolha de endereços Eleições Autárquicas de 2021: precisamos da sua ajuda!
  • pedido de colaboração aos serviços de arquivo dos 308 municípios na identificação de sites eleitorais e candidatos do respetivo concelho
  • pedido aos Partidos para enviarem os nomes dos candidatos cabeças de lista

Destaca-se a utilização do site Eyedata – Social Data Lab que disponibilizou na Web nomes de candidatos de todo o país.  A página da Wikipedia Eleições autárquicas portuguesas de 2021 também foi utilizada como fonte de informação.

A lista com nomes de candidatos por concelho, partido ou coligação serviram para criar pesquisas automáticas no Bing que identificaram os conteúdos eleitorais mais relevantes.

Por exemplo, ao combinar o termo “autárquicas 2021” com o nome de um candidato e do respetivo concelho, obtém-se resultados relacionados com esse candidato, tais como notícias, iniciativas da sua campanha ou a página oficial da sua campanha eleitoral.

Esta metodologia foi aplicada nas Eleições Presidenciais 2021 e nas Eleições Europeias de 2019. O relatório técnico A transnational crawl of the European Parliamentary Elections 2019 detalha a metodologia aplicada.

Recolha de conteúdos e disponibilização no Arquivo.pt

Entre 22 de agosto e 8 de outubro de 2021, o Arquivo.pt recolheu de forma exaustiva páginas relacionadas com as Autárquicas 2021.

A coleção resultante denominada Eleições Autárquicas 2021” (EAWP39) reúne 31 milhões de ficheiros que totalizam 2.7 TeraBytes de informação e estará disponível a partir de outubro de 2022, por respeito ao período de embargo de 1 ano.

Investigadores que queiram realizar estudos acerca das Autárquicas 2021 e necessitem de obter acesso mais cedo aos conteúdos recolhidos podem contactar o Arquivo.pt.

Para saber mais

Arquivo.pt preservou informação online acerca de projectos europeus financiados pelo H2020

Thumbnail H2020 projectos

A principal missão do Arquivo.pt é preservar informação online para fins de investigação e educação.

Anteriormente, o Arquivo.pt identificou e preservou websites de projectos de investigação e desenvolvimento financiados pela União Europeia durante os programas FP4, FP5, FP6 e FP7 (1994-2013).

Agora, o Arquivo.pt contribuiu para a preservação da informação científica publicada online que documenta projetos de investigação e desenvolvimento financiados pela União Europeia durante o programa Horizonte 2020 (2014-2021). Foram preservados 197 milhões de ficheiros (17 TB) relacionados com ciência para acesso futuro.

Projectos H2020 publicam informação online valiosa que está a ser perdida

O recurso a websites para documentar as atividades de projetos de investigação e desenvolvimento tem vindo sempre a aumentar, sendo utilizados para disponibilizar informação científica relevante que completa a literatura publicada, como por exemplo conjuntos de dados abertos, apresentações em eventos ou software desenvolvido.

Contudo, após o fim dos projetos, os respetivos websites normalmente desaparecem causando uma perda irrecuperável de informação científica única e valiosa.

Arquivo.pt identificou automaticamente os endereços que documentam projetos de investigação e desenvolvimento H2020

O portal de dados abertos da União Europeia publicou um conjunto de dados do Community Research and Development Information Service (CORDIS) que documenta projetos de investigação financiados durante o programa H2020. Porém, dos 31 129 projetos listados, apenas 46% apresentavam o URL do projecto (coluna projectURL).

O Arquivo.pt desenvolveu uma metodologia de baixo custo que identifica automaticamente os URLs relacionados com projetos de investigação e desenvolvimento para serem preservados de forma sistemática. Esta identificação automática é alcançada através da combinação do recurso a conjuntos de dados abertos com serviços de pesquisa na web. Esta metodologia é detalhada no artigo científico publicado na conferência International Conference on Digital Preservation 2016.

Em suma, extraímos 270 650 URLs únicos dos seguintes conjuntos de dados abertos:

Em seguida, extraímos o acrónimo e o título dos projetos documentados nos conjuntos de dados e pesquisámos automaticamente na web usando a API do Bing para encontrar URLs adicionais.

Todos os conjuntos de dados e ferramentas desenvolvidas foram disponibilizados publicamente em acesso aberto para que possam ser reutilizados e complementados de forma colaborativa, incluindo o software desenvolvido para identificar automaticamente URLs adicionais sobre os projetos H2020.

197 milhões de ficheiros da web acerca de Ciência foram preservados

O Arquivo.pt identificou e preservou 197 milhões de ficheiros da web (17 TB) de informação que documentam projetos de investigação e desenvolvimento financiados pelo programa europeu Horizonte 2020.

Em 2021, podemos testemunhar que alguns sites dos projetos já não estão disponíveis online, como o website do projeto Extended Model of Organic Semiconductors (EXTMOS) (http://extmos.eu/). No entanto, a informação deste website foi preservada e pode ser acedida no Arquivo.pt:

Archived version at Arquivo.pt (https://arquivo.pt/wayback/20170427182603/http://extmos.eu/) of the home page of the EXTMOS Research and Development project (http://extmos.eu/)funded by H2020.

Versão arquivada no Arquivo.pt da página inicial do projeto EXTMOS de Investigação e Desenvolvimento financiado pelo H2020.

Contribuições para complementar os conjuntos de dados abertos da União Europeia

Todos os conjuntos de dados resultantes foram tornados públicos para que possam ser melhorados e reutilizados por outras organizações também interessadas na preservação deste património digital:

Se quiser saber mais informações sobre esta coleção, assista ao vídeo Preservation of web content related to Horizon 2020.

Referências

É investigador?

Sites de 2019 disponíveis e o Arquivo.pt ultrapassa os 10 000 milhões de ficheiros

thumb_notre-dame-paris

Última atualização em 21 de Setembro de 2021 às 10:52

A informação recolhida da Web durante 2019 está acessível através do Arquivo.pt, depois do embargo de 1 ano que precede a disponibilização de conteúdos.

As imagens do incêndio na Catedral de Notre Dame, printscreen de página do Jornal I, 17-04-29, preservada pelo Arquivo.pt
As imagens do incêndio na Catedral de Notre Dame, printscreen de página do Jornal I, 17-04-29, preservada pelo Arquivo.pt

Relembre e investigue os acontecimentos históricos de 2019, tais com:

O Arquivo.pt recolheu 1700 milhões de ficheiros, a partir de 2 milhões de sites visitados, num total de 131 terabytes que agora estão disponíveis para que possa aceder a eventos passados.

Em 2021, o Arquivo.pt disponibiliza acesso aberto a mais de 10 000 milhões de ficheiros (721 terabytes) oriundos de 27 milhões de websites.

Arquivo.pt certificado como fornecedor de dados abertos

selo-dados-gov

Última atualização em 7 de Outubro de 2021 às 15:39

O Arquivo.pt tem colaborado com a Agência para a Modernização Administrativa (AMA) com o objetivo de melhorar a preservação dos websites da Administração Pública.

A colaboração assenta em 3 pontos de ação:

  • identificação e recolha de todos os websites da Administração Pública;
  • preservação dos dados publicados em websites da Administração Pública que já não são atualizados no Memorial do Arquivo.pt (ex. “Tenho uma criança”);
  • formação em preservação dos dados abertos publicados online.

A AMA é a organização pública responsável pela promoção dos meios digitais na Administração Pública e tem por objetivo modernizar e simplificar o acesso dos cidadãos aos serviços do Estado.

O Arquivo.pt é um serviço operado pela Fundação para a Ciência e a Tecnologia I.P. (unidade FCCN) que preserva dados publicados na Web entre 1996 e a atualidade, tornando-os acessíveis a qualquer cidadão para fins de memória e investigação.

Diretiva da União Europeia para dados abertos inclui documentos nos sítios na Internet

A Diretiva (UE) 2019/1024 do Parlamento Europeu e do Conselho, relativa aos dados abertos e à reutilização de informações do setor público de 20 de junho de 2019, estipula o seguinte:

“(30) A presente diretiva prevê a definição do termo «documento» e essa definição deverá designar também qualquer parte do documento. O termo «documento» deverá abranger qualquer representação de atos, factos ou informações – e qualquer compilação destes –, seja qual for o seu meio (papel, suporte eletrónico, registo sonoro, visual ou audiovisual).

(34) A fim de facilitar a reutilização, os organismos do setor público deverão, se possível e adequado, disponibilizar os documentos, incluindo os que são publicados em sítios na Internet, num formato aberto e compatível com a leitura por máquina, juntamente com os respetivos metadados, ao melhor nível de precisão e granularidade, num formato que garanta a interoperabilidade

(35) Deverá considerar-se que um documento se apresenta em formato legível por máquina se tiver um formato de ficheiro estruturado de modo a ser facilmente possível, por meio de aplicações de software, identificar, reconhecer e extrair dados específicos. Os dados codificados em ficheiros estruturados num formato legível por máquina deverão ser considerados dados legíveis por máquina. Os formatos legíveis por máquina podem ser abertos ou sujeitos a direitos de propriedade; podem ser normas formais ou não.

(60) A Comissão deverá facilitar a cooperação entre Estados-Membros e apoiar a conceção, o ensaio, a aplicação e a implantação de interfaces eletrónicas interoperáveis que permitam dispor de serviços públicos mais eficazes e seguros.

O serviço público Arquivo.pt tem a missão de preservar os documentos publicados nos sítios da Internet para viabilizar o seu acesso aberto a longo prazo e disponibiliza interfaces eletrónicas interoperáveis (APIs) para o seu processamento automático.

A Lei portuguesa n.º 68/2021 de 2021-08-26 aprova os princípios gerais em matéria de dados abertos e transpõe a Diretiva europeia.

Arquivo.pt certificado como fornecedor de dados abertos da Administração Pública

A AMA reconheceu o Arquivo.pt como serviço público e fornecedor de dados abertos e atribuiu o seu selo de certificação no Portal de Dados Abertos.

O Arquivo.pt faz a recolha genérica de informação publicada na Web de interesse para a comunidade portuguesa. Porém, tem a seu cargo a preservação de websites da Administração Pública como o Portal do Governo em colaboração com o Centro de Gestão da Rede Informática do Governo (CEGER).

Qualquer cidadão pode aceder aos dados abertos resultantes destes arquivos históricos, podendo por exemplo, pesquisar informação oficial publicada em websites dos sucessivos Governos.

Em 2021, o Arquivo.pt disponibilizava acesso aberto a mais de 10 000 milhões de ficheiros (721 TB) oriundos de 27 milhões de websites. Os dados abertos preservados pelo Arquivo.pt podem ser explorados através da interface de pesquisa, automaticamente através de API (https://arquivo.pt/api) ou reutilizando os conjuntos de dados derivados.

Conjuntos de dados derivados disponíveis no Portal de Dados Abertos

Além dos artefactos web originais preservados no Arquivo.pt, este serviço tem gerado conjuntos de dados abertos derivados das suas atividades, que estão agora disponíveis em acesso aberto para que possam ser reutilizados:

Lista de recursos

Coleção do 1º arquivo da web europeu pesquisável no Arquivo.pt

logo Internet Memory Foundation - website

Última atualização em 1 de Outubro de 2021 às 9:10

A coleção histórica de conteúdos da Web gerada ao longo da atividade da Internet Memory Foundation (IMF) foi doada ao Arquivo.pt e pode agora ser pesquisada!

A IMF foi uma organização europeia dedicada a preservar conteúdos da web que foi extinta em 2018.

O 1º projeto de arquivo da Web na Europa (2004-2010) foi liderado por Julien Masanès (que foi convidado de honra na celebração dos 10 anos do Arquivo.pt) e denominava-se European Archive Foundation.

Em 2010, Julien Masanès, o “pai” dos arquivos da Web na Europa criou a IMF.

Exemplos de páginas da coleção doada pelo IMF

A coleção doada pelo IMF foi agora integrada no acervo do Arquivo.pt para ser preservada para a posteridade.

Esta coleção é composta por 142 milhões de ficheiros que totalizam 6,3 TB de informação histórica cujos textos ou imagens podem agora ser pesquisados através do Arquivo.pt.

print homepage www.limes.fp6-limes.eu

Página do projeto LIMES (Land and Sea Monitoring for Environment and Security), 2009.

print homepage intelligence-territoriale.eu

Página do projeto Intelligence-territoriale, 2009.

Página sobre as Eleições Europeias de 2009 (www.elections2009-results.eu).

Página da agência noticiosa Reuters acerda do WikiLeaks, 2011

Print da página do Internet Memory Research em 2014

Página do Internet Memory Foundation, 2014.

Pesquise esta nova coleção!

Esta nova coleção recebeu foi nomeada “InternetMemory” na lista de coleções do Arquivo.pt.

Podem ser realizadas pesquisas sobre esta coleção utilizando o parâmetro de pesquisa collection ou através da página de pesquisa customizada disponível em arquivo.pt/InternetMemory.

printscreen da custom-search para a coleção InternetMemory

 

 

 

 

Eleições Presidenciais 2021: precisamos da sua ajuda!

thumbnail_presidenciais
banner_presidenciais_v
Formulário de sugestão de endereços de páginas, sites e outros conteúdos Web

O Arquivo.pt convida todos os cidadãos a sugerirem páginas da Web relacionadas com as Eleições Presidenciais de 2021 para serem preservadas para o futuro.

As Eleições Presidenciais ocorrerão em Portugal no dia 24 de janeiro de 2021.

As suas sugestões são importantes para que o Arquivo.pt consiga guardar uma memória mais completa deste importante evento eleitoral.

Para sugerir páginas utilize este formulário (https://tinyurl.com/presidenciais-sugerir)

 

Arquivo.pt preserva websites de projectos científicos nacionais

thumbnail_memoriafct

Última atualização em 26 de Fevereiro de 2021 às 13:06

Preservar os websites de projectos científicos é importante

Os conteúdos dos websites tendem a desaparecer quando os projetos científicos terminam.

A preservação dos websites de projetos científicos é importante porque:

  • documenta o desenvolvimento dos projetos;
  • assegura o acesso a conteúdos técnicos e científicos únicos que os investigadores publicaram nos websites dos projetos (ex. apresentações, fotografias, conjuntos de dados);
  • reforça a visibilidade dos resultados dos projetos financiados pela FCT.

Recolha experimental dos websites dos projetos de científicos em 2016

O Arquivo.pt recolheu websites de projetos financiados pela FCT em 2016 de forma automática.

A informação acerca destes websites estava dispersa pois não era registada durante o processo administrativo.

Durante cerca 20 anos a FCT financiou projetos científicos, por isso o número de sites poderia ser demasiado elevado para serem identificados manualmente.

Foi então adoptada uma metodologia automática de identificação destes websites desenvolvida pelo Arquivo.pt.

A base de dados da FCT tinha um total de 11 996 entradas de projetos mas não incluía referências a endereços web. Aplicando a metodologia automática foram identificados 7 956 URLs relacionados com os projectos científicos financiados.

A recolha dos conteúdos referenciados por estes endereços resultaram na preservação de 600 721 ficheiros (72 GB), incluindo conteúdos tais como páginas da web de grupos de pesquisa, páginas pessoais de investigadores ou blogs relacionados com os projetos.

Referências online em relatórios de projectos científicos passaram a ser preservadas a partir de 2020

A partir de junho de 2020, os endereços dos websites dos projetos financiados pela FCT passaram obrigatoriamente a ser registados nos relatórios de progresso e final submetidos à FCT.

O Arquivo.pt passou a utilizar estes endereços para preservar o conteúdos de websites de projetos científicos nacionais de forma sistemática.

1ª recolha oficial de websites de projectos científicos

Em junho de 2020, o Arquivo.pt obteve 263 endereços relacionados com 100 projetos científicos a partir dos relatórios financiados pela FCT. Grande parte dos endereços (67%) não tinha qualquer versão anteriormente preservada no Arquivo.pt.

Os endereços obtidos apontam para recursos online tais como os websites dos projetos, unidades de I&D, notícias nos media, artigos em revistas científicas ou repositórios, base de dados, vídeos no Youtube ou páginas do Facebook.

Em julho de 2020, lançou-se uma recolha especial a partir deste conjunto de endereços que resultou em 6,9 GB de informação obtidos a partir da visita a 31 606 URLs.

Exposição acerca de projetos de Investigação & Desenvolvimento

A Memória da Investigação Científica é uma exposição online dedicada aos websites de projetos científicos financiados pela Fundação para a Ciência e a Tecnologia (FCT) que o Arquivo.pt tem preservado.

Encontram-se também websites das Unidades de Investigação & Desenvolvimento financiadas pela FCT.

Memorial do Arquivo.pt preserva gratuitamente websites científicos

O serviço Memorial do Arquivo.pt tem preservado websites históricos da FCT que foram desativados. Estes foram criados para eventos ou iniciativas que terminaram e por isso os seus conteúdos deixaram de ser actualizados.

Para incluir um website no Memorial, o Arquivo.pt começa por fazer uma recolha de alta qualidade dos seus conteúdos.

Em seguida, os conteúdos recolhidos são validados em colaboração com os responsáveis pelo website.

Finalmente, o endereço do website é redireccionado para os conteúdos que passaram a ser preservados pelo Arquivo.pt.

Por exemplo, se alguém quiser aceder a qualquer página do site do Encontro Arquivos Científicos realizado em 2014, será redirecionado para o Arquivo.pt.

Assim, os conteúdos permanecem acessíveis ao longo do tempo e os links, as referências em comunicações científicas que possam existir não se quebram.

O serviço de preservação digital Memorial do Arquivo.pt não tem custos para websites da comunidade académica e científica, bastando enviar um pedido para contacto@arquivo.pt.

Para saber mais

Arquivos online ou do online?

thumbnail_tendencias

No final de 2020, recomendamos alguns textos que colocam o futuro em perspetiva.

Destacamos o tema da preservação dos conteúdos online, apresentado no livro   “Tendências 2021”, mais precisamente no capítulo intitulado “Arquivos online ou do online?” da autoria de Daniel Gomes, Gestor do Arquivo.pt.

Fui convidado para escrever acerca dos desafios e ameaças aos arquivos online. A primeira questão que me surgiu foi o que se entende por um “arquivo online”?

A minha preocupação reside nos “arquivos do online” porque ainda nem existe uma consciência instituída acerca da sua necessidade, seja a nível académico, governamental ou individual.

É tecnologicamente impossível preservar toda a informação online. Mas é um absurdo não ter a consciência, e consequentemente a acção, de que temos de preservar alguma da informação online para acesso a curto, médio e longo prazo.

Leia o texto na íntegra nas páginas 23 a 26 do livro em acesso-aberto “Tendências 2021”.

O desafio é cultivar a consciência da importância de preservar conteúdos online aprendendo como fazê-lo na prática.

Votos de Bom Ano!