Ferramentas Pessoais
  •  
Você está aqui: Entrada Colabore Investigação e Desenvolvimento Plataforma para criação de aplicações de processamento sobre a informação arquivada

Plataforma para criação de aplicações de processamento sobre a informação arquivada

O Arquivo.pt disponibiliza o código, composto por estrutura e bibliotecas, para programadores desenvolverem aplicações capazes de processar os conteúdos arquivados, recorrendo às tecnologias Hadoop e JAVA.

O Arquivo.pt contém coleções Web desde 1996 até aos dias de hoje. Os seus conteúdos são um espelho da nossa sociedade aos longo dos anos, suscitando interesse de estudo em várias áreas, tal como a sociologia, a história, o jornalismo, a política, o marketing, a cultura, etc.

Para além da disponibilização dos conteúdos através de serviços de pesquisa, é dada a oportunidade aos investigadores de criarem e executarem aplicações que processem automaticamente um grande volume de dados arquivados (texto, imagem e som), de uma forma relativamente simples e eficiente.

A plataforma de processamento distribuído do Arquivo.pt actual foi implementada usando o Hadoop versão 0.12.

As aplicações de processamento deverão estar escritas preferencialmente na linguagem JAVA. Porém, o recurso a outras tecnologias poderá ser analisado.

Passos para desenvolvimento de uma aplicação de processamento

O objetivo da disponibilização deste código é permitir aos investigadores o desenvolvimento de aplicações distribuídas, capazes de processar os grandes volumes de dados arquivados, de uma forma que a complexidade do sistema de processamento distribuído lhes seja transparente.

Os investigadores podem assim concentrar os seus esforços no desenvolvimento das suas aplicações de processamento com fins específicos.

Dependências:

Passos:

1 - Contacte-nos e apresente o seu projeto de processamento da informação arquivada;
2 - Será disponibilizado acesso à infraestrutura do Arquivo.pt depois de aprovado o projeto e assinado um termo de responsabilidade;
3 -  O investigador terá de implementar apenas dois métodos da Class src/main/java/pt/arquivoweb/processor/ProcessFile do projeto de código-aberto PwaProcessor;
4 - Editar a Class src/main/java/pt/arquivoweb/processor/ProcessArcs, apenas se a implementação dos métodos da class ProcessFile não for suficiente para executar o novo código;
5 - Adicionar todas a dependências do novo código à diretoria lib;
6 - Executar ant all para criar o ficheiro arquivowebprocessor-VERSÃO.jar na directoria dist;
7 - Enviar o ficheiro jar para a equipa do Arquivo.pt.

 

Se tiver dúvidas, contacte-nos.

Partilhar | |