Arquivo.pt certificado como fornecedor de dados abertos

selo-dados-gov

Última atualização em 7 de Outubro de 2021 às 15:39

O Arquivo.pt tem colaborado com a Agência para a Modernização Administrativa (AMA) com o objetivo de melhorar a preservação dos websites da Administração Pública.

A colaboração assenta em 3 pontos de ação:

  • identificação e recolha de todos os websites da Administração Pública;
  • preservação dos dados publicados em websites da Administração Pública que já não são atualizados no Memorial do Arquivo.pt (ex. “Tenho uma criança”);
  • formação em preservação dos dados abertos publicados online.

A AMA é a organização pública responsável pela promoção dos meios digitais na Administração Pública e tem por objetivo modernizar e simplificar o acesso dos cidadãos aos serviços do Estado.

O Arquivo.pt é um serviço operado pela Fundação para a Ciência e a Tecnologia I.P. (unidade FCCN) que preserva dados publicados na Web entre 1996 e a atualidade, tornando-os acessíveis a qualquer cidadão para fins de memória e investigação.

Diretiva da União Europeia para dados abertos inclui documentos nos sítios na Internet

A Diretiva (UE) 2019/1024 do Parlamento Europeu e do Conselho, relativa aos dados abertos e à reutilização de informações do setor público de 20 de junho de 2019, estipula o seguinte:

“(30) A presente diretiva prevê a definição do termo «documento» e essa definição deverá designar também qualquer parte do documento. O termo «documento» deverá abranger qualquer representação de atos, factos ou informações – e qualquer compilação destes –, seja qual for o seu meio (papel, suporte eletrónico, registo sonoro, visual ou audiovisual).

(34) A fim de facilitar a reutilização, os organismos do setor público deverão, se possível e adequado, disponibilizar os documentos, incluindo os que são publicados em sítios na Internet, num formato aberto e compatível com a leitura por máquina, juntamente com os respetivos metadados, ao melhor nível de precisão e granularidade, num formato que garanta a interoperabilidade

(35) Deverá considerar-se que um documento se apresenta em formato legível por máquina se tiver um formato de ficheiro estruturado de modo a ser facilmente possível, por meio de aplicações de software, identificar, reconhecer e extrair dados específicos. Os dados codificados em ficheiros estruturados num formato legível por máquina deverão ser considerados dados legíveis por máquina. Os formatos legíveis por máquina podem ser abertos ou sujeitos a direitos de propriedade; podem ser normas formais ou não.

(60) A Comissão deverá facilitar a cooperação entre Estados-Membros e apoiar a conceção, o ensaio, a aplicação e a implantação de interfaces eletrónicas interoperáveis que permitam dispor de serviços públicos mais eficazes e seguros.

O serviço público Arquivo.pt tem a missão de preservar os documentos publicados nos sítios da Internet para viabilizar o seu acesso aberto a longo prazo e disponibiliza interfaces eletrónicas interoperáveis (APIs) para o seu processamento automático.

A Lei portuguesa n.º 68/2021 de 2021-08-26 aprova os princípios gerais em matéria de dados abertos e transpõe a Diretiva europeia.

Arquivo.pt certificado como fornecedor de dados abertos da Administração Pública

A AMA reconheceu o Arquivo.pt como serviço público e fornecedor de dados abertos e atribuiu o seu selo de certificação no Portal de Dados Abertos.

O Arquivo.pt faz a recolha genérica de informação publicada na Web de interesse para a comunidade portuguesa. Porém, tem a seu cargo a preservação de websites da Administração Pública como o Portal do Governo em colaboração com o Centro de Gestão da Rede Informática do Governo (CEGER).

Qualquer cidadão pode aceder aos dados abertos resultantes destes arquivos históricos, podendo por exemplo, pesquisar informação oficial publicada em websites dos sucessivos Governos.

Em 2021, o Arquivo.pt disponibilizava acesso aberto a mais de 10 000 milhões de ficheiros (721 TB) oriundos de 27 milhões de websites. Os dados abertos preservados pelo Arquivo.pt podem ser explorados através da interface de pesquisa, automaticamente através de API (https://arquivo.pt/api) ou reutilizando os conjuntos de dados derivados.

Conjuntos de dados derivados disponíveis no Portal de Dados Abertos

Além dos artefactos web originais preservados no Arquivo.pt, este serviço tem gerado conjuntos de dados abertos derivados das suas atividades, que estão agora disponíveis em acesso aberto para que possam ser reutilizados:

Lista de recursos

Eleições Presidenciais 2021: precisamos da sua ajuda!

thumbnail_presidenciais
banner_presidenciais_v
Formulário de sugestão de endereços de páginas, sites e outros conteúdos Web

O Arquivo.pt convida todos os cidadãos a sugerirem páginas da Web relacionadas com as Eleições Presidenciais de 2021 para serem preservadas para o futuro.

As Eleições Presidenciais ocorrerão em Portugal no dia 24 de janeiro de 2021.

As suas sugestões são importantes para que o Arquivo.pt consiga guardar uma memória mais completa deste importante evento eleitoral.

Para sugerir páginas utilize este formulário (https://tinyurl.com/presidenciais-sugerir)

 

Coleção internacional acerca das Eleições Europeias 2019 está disponível

thumbnail print_eleicoes-europeias_eu

Última atualização em 1 de Outubro de 2021 às 9:12

Print www.eleicoes.europeias .eu
Excerto de www.european.elections.eu, preservado pelo Arquivo.pt em maio de 2019

A coleção especial de páginas Web acerca das Eleições Europeias de 2019 está disponível para pesquisa no Arquivo.pt.

Para compilar esta coleção, foram identificadas páginas escritas em 24 línguas europeias, através de pesquisas automáticas no motor de busca Bing e sugestões oriundas de 17 países europeus.

Destaca-se a colaboração do Publications Office of the European Union que reviu a lista dos termos de pesquisa nas diversas línguas da União Europeia.

Entre maio e julho de 2019, o Arquivo.pt recolheu de forma exaustiva páginas relacionadas com as Eleições Europeias em vários países.

A coleção resultante denominada “Eleições Europeias 2019” reúne 99 milhões de ficheiros que totalizam 4,8 TeraBytes de informação.

O relatório técnico “A transnational crawl of the European Parliamentary Elections 2019” detalha a metodologia aplicada. Esta metodologia tem sido aplicada para gerar outras coleções temáticas como por exemplo acerca do Covid-19.

Convidam-se todos os cidadãos, especialmente os investigadores, a explorarem os conteúdos da Web do passado e a incluí-los nos seus trabalhos através deste serviço criado especialmente para pesquisar a coleção multi-lingue Eleições Europeias de 2019: https://arquivo.pt/ee2019

Vídeo “A transnational and cross-lingual crawl of the European Parliamentary Elections 2019”

A transnational and cross-lingual crawl of the European Parliamentary Elections 2019, Ivo Branco, IIPC Web Archiving Conference and RESAW 2021 (slides)

Para saber mais

Coleção especial acerca da Covid-19

Thumbnail Covid-19 collection about pandemic in Portugal

Última atualização em 2 de Novembro de 2020 às 17:23

Banner Covid-19 coleção de páginas Web

Sugira páginas Web acerca da Covid-19

O Arquivo.pt convida todas as pessoas a sugerirem páginas Web que documentem a pandemia da Covid-19 para serem preservadas para acesso futuro.

Colabore para que o Arquivo.pt guarde uma memória completa da realidade portuguesa durante este período.

Envie endereços através deste formulário: https://tinyurl.com/arquivopt-covid19

Milhares de páginas Web para contar a história da pandemia em Portugal

Desde março de 2020, o Arquivo.pt tem feito recolhas especiais de páginas Web relacionadas com a pandemia da Covid-19.

“Futuros académicos, cientistas e jornalistas que estejam a estudar a resposta portuguesa à pandemia da Covid-19 vão querer ler testemunhos em primeira mão de quem foi afectado, registos oficiais do número de vítimas, e recomendações dos médicos, políticos e cientistas da época”, Jornal Público, edição de 1 de maio de 2020.

Diariamente, foram recolhidos conteúdos de um conjunto de 106 sites sobre o tema da Covid-19. Neste conjunto incluem-se, por exemplo, websites da comunicação social, Governo, associações e iniciativas de universidades.

Num outro conjunto estão páginas do Twitter (108 identificadas em maio), vídeos do Youtube (815 identificados em maio) e ainda páginas do Reddit e do Git Hub.

Foram incluídas sugestões da comunidade, tais com as do arquivo municipal de Sines que contribuiu com uma recolha de notícias relacionadas com a Covid-19 no Município de Sines (9 GB), páginas identificadas pelo projeto “Revisionista.pt” e sugestões enviadas através do formulário público.

Colaboração do Arquivo.pt com o IIPC para coleção internacional

Em fevereiro de 2020, o International Internet Preservation Consortium (IIPC), organismo principal no âmbito da preservação da Web, propôs aos associados a realização de uma coleção dedicada ao Novel Coronavirus (COVID-19), a qual se encontra acessível através do Internet Archive Archive-it.

O Arquivo.pt foi dos primeiros serviços a responder, tendo contribuído com 1 237 endereços selecionados, principalmente em Língua Portuguesa.

Com os sucessivos contributos de outros países a coleção do IIPC cresceu. Em julho, as sugestões de websites a preservar superaram as 7 000 linhas e em agosto as 8000. Continua disponível um formulário de participação nesta coleção colaborativa.

O Arquivo.pt realizou 3 recolhas à coleção do IIPC, a primeira a 23 de março, a segunda a 15 de junho e a terceira no final de agosto, acrescentando ao seu acervo conteúdos internacionais para servirem a investigadores de todo o mundo.

Metodologia para a seleção de páginas para a coleção Covid-19

Começou-se por identificar termos relacionados com a temática do Coronavírus que incluíram aspetos sanitários, económicos, políticos, geográficos ou organizacionais.

Em seguida, utilizou-se o serviço Bing Azure, para obter automaticamente através de um script, a seguinte informação para os primeiros 10 resultados para cada termo: o endereço da página, o título e a posição na lista de resultados.

Sobre o conjunto de endereços obtido, averiguou-se qual seria o software de recolha a utilizar e respectivas configurações para recolher as  páginas com a melhor qualidade possível.

Por exemplo, no caso de uma secção de jornal dedicada à Covid-19, há que decidir se gravamos apenas uma página ou se faz sentido recolher todo o site exaustivamente.

Foram utilizados diversos tipos de software para recolher as páginas. Por exemplo, para as recolhas diárias sobre 106 sites utilizou-se o Heritrix. Para a captura de 108 páginas do Twitter optou-se pelo Brozzler e para os vídeos a captura manual com o Webrecorder e Browsertrix.

Para saber mais

Eleições Autárquicas de 2017: precisamos da sua ajuda!

Última atualização em 24 de Agosto de 2017 às 10:39

Temos destacado durante as nossas apresentações que o Arquivo.pt precisa muito da SUA ajuda para conseguir preservar a informação publicada na Web relacionada com as Eleições.

Os sites eleitorais são de manifesta importância histórica. Contudo, são difíceis de identificar porque aparecem e desaparecem rapidamente, e muitas vezes são apenas referenciados em meios impressos (ex. cartazes).

Por isso, a sua colaboração é fundamental!

Para ajudar, basta adicionar endereços de páginas ou sites relacionados com as Eleições Autárquicas de 2017 através do seguinte link:

Se sugerir apenas 1 endereço relacionado com a sua localidade prestará um valioso contributo.

Consegue ajudar?

Se tiver alguma questão, por favor contacte-nos.