================
domains rejected
================
sites considered as link farms or spam:
anunciegratis.com.pt
anuncieonline.com.pt
anunciosgratis.pt
tuklu.com.pt
classiopen.com.pt
precos.com.pt
100stress.blogs.pt
123.pt
abc.blogs.pt
acompanhante.com.pt
acompanhantes.pt
advertising.com.pt
advogados.pt
aeroporto.pt
agaja.blogs.pt
agencia.pt
agenciadeviagens.com.pt
agricultura.pt
agua.pt
aidacampos.blogs.pt
aigrene.blog.sapo.blogs.pt
akinator.com.pt
akitoueu.blogs.pt
alarmes.pt
alemanha.com.pt
alemtejo2.blogs.pt
alvitrando.blogs.pt
amasme.blogs.pt
ambiente.pt
america.com.pt
analfabetosexual.blogs.pt
analucia.sapo.blogs.pt
anedotas.pt
angelwings.blogs.pt
animaleja.blogs.pt
antisresse.blogs.pt
apapoila.blogs.pt
apenasmaria.blogs.pt
apenasoamor.blogs.pt
apenasoamor.sapo.blogs.pt
arslvt.min.saude.pt
arteagostinho.blogs.pt
artecorporal.pt
artesanato.pt
artigos.pt
artistas.pt
assistencia.pt
astrologia.pt
atletismo.pt
audio.pt
baixaki.pt
bebes.pt
bebidas.com.pt
beeclic.com.pt
bes.recrutamento.pt
bicicletas.pt
bilhetes.pt
biobraz.com.pt
blogs.pt
bolsa.pt
booking.com.pt
boutique.pt
brinquedos.pt
busca.pt
caes.pt
caldas.da.saude.pt
cambio.pt
campismo.pt
carikato62.blogs.pt
carreira.pt
carro.pt
carrosnovos.pt
casamento.pt
casamentos.pt
casavirtual.pt
cassino.com.pt
chat.com.pt
cientistamaluca.blogs.pt
cinema.pt
cinemas.pt
cogitando.blogs.pt
coisasecoisinhas.blogs.pt
coisasqueirritam.blogs.pt
coisassimples.blogs.pt
colibri.blogs.pt
comboios.pt
compingadesangue.sapo.blogs.pt
comprar.flores.plantas.pt
compras.pt
computador.pt
computadores.pt
computadores.usados.portateis.pt
con.pt
concertos.pt
concursos.pt
consultoria.pt
contactos.pt
convivio.pt
cosmetica.pt
cozinhas.pt
creditos.pt
crianca.pt
cruises.com.pt
culinaria.pt
cursos-de-ensino.formacao.pt
cursos.pt
dance.pt
desporto.motores.pt
desporto.pt
destinos.pt
diamante.com.pt
diario.pt
dicas.pt
emissoradasbeiras.radio.pt
escapadinhas.pt
escola.pt
escolas.com.pt
escortgirl.com.pt
eunet.com.pt
exames.pt
fashion.com.pt
fashion.pt
feias.pt
ferias.com.pt
festa.pt
filme.pt
filmes.com.pt
filmes.pt
financeiras.pt
financiamentos.pt
fitness.pt
formacao.pt
goncalocorreia.blogs.pt
gourmet.pt
gratis.com.pt
gratis.pt
h2o.sapo.blogs.pt
hardware-informatica.computadores.pt
hardware.computadores.pt
hi5.com.pt
hi5.pt
hiphopschool2007.blogs.pt
hmillagirll1.blogs.pt
homem.pt
horoscopo-astrologia.signos.pt
horoscopo.pt
hortadapinta.blogs.pt
hospitaisepe-min.saude.pt
hotelreservation.com.pt
ideiasdetreinador.blogs.pt
ig1.com.pt
ikariam.pt
ikon-id.com.pt
ikonid.com.pt
imagens.natal.pt
imprensa.pt
incoativo.blogs.pt
inconfidencias.blogs.pt
inem.min.saude.pt
infantil.pt
inia.min.agricultura.pt
interiores.pt
investimento.pt
investimentos.pt
investir.pt
irs.pt
jardim.pt
jardins.pt
job.pt
jobs.pt
jogajogos.pt
jogar.pt
jogo.com.pt
jogo.pt
jogos.com.pt
jogos10.pt
jogosgratis.pt
jogosonline.pt
joias.com.pt
jovens.pt
junior.pt
kamasutra.com.pt
kerosermagra.sapo.blogs.pt
maiscarros.pt
mapas.pt
maquinas.pt
marcas.pt
mensagens.pt
mercados.pt
metacafe.pt
metal.pt
meteorologia.com.pt
meteorologia.pt
meudinheiro.pt
meuemprego.pt
microcredito.pt
microjogos.pt
min.economia.pt
miniclip.pt
minijogos.pt
minijuegos.pt
mininova.pt
noivas.pt
noticias.pt
novidades.pt
nuas.pt
obras.pt
obscom.min.economia.pt
ogame.pt
oil.pt
oportunidade.pt
oportunidades.pt
opt.min.saude.pt
osapodamalingua.sapo.blogs.pt
osjogos.pt
ouro.pt
outlet.pt
ovisionario.blogs.pt
padeiradealjubarrota.blogs.pt
paintball.pt
passatempos.pt
piratatuga.pt
porno.pt
qualitec.com.pt
quarto.pt
quinta.pt
radio.pt
receitas.pt
recrutamento.pt
redtube.pt
relogios.pt
restaurante.pt
restaurantes.com.pt
revenda.pt
riscos.sapo.blogs.pt
rock.pt
rosepetals.blogs.pt
rotacaodostempos.blogs.pt
rtp.noticias.pt
rucasplace.blogs.pt
salsugem.blogs.pt
slides.pt
sobreti.blogs.pt
stands.pt
superpeople.pt
swakker.com.pt
swing.pt
tarot.pt
techno.pt
telefones.pt
televisao.pt
tendencias.pt
termas.pt
terra.pt
terrinha.sapo.blogs.pt
thegrillplace.pt
titinhah.sapo.blogs.pt
tomatoma.blogs.pt
top.pt
toques.pt
trabalhos.pt
tradutor.pt
transito.pt
versus.sapo.blogs.pt
vivenda.pt
voos.com.pt
vpmlucio.blogs.pt
weather.pt
webdesign.pt
wireless.pt
wolfram.com.pt
xl.sapo.radio.pt
xn--finanas-yxa.pt
xn--grtis-yqa.pt
xvideos.pt
yunu.com.pt
e-conteudos.ubi.pt
e-learning.iscte.pt


==========
url filter
==========
sites that were picky with our crawl:
|(^http://dominiando\.pt/.*$)
|(^http://www.dominiando\.pt/.*$)


pages identified as spam or link farms by URL:
(^http://[^\&]+/parking.php[0-9]?/?\?ses=[^\&]+&domain=[^\&]+&language=[^\&]+&token=[^\&]*$)
|(^http://[^\&]+/parking.php[0-9]?/?\?ses=[^\&]+&domain=[^\&]+&language=[^\&]+$)
|(^http://[^\&]+/parking.php[0-9]?/?\?ses=[^\&]+&domain=[^\&]+&token=[^\&]*$)
|(^http://[^\&]+/parking.php[0-9]?/?\?ses=[^\&]+&domain=[^\&]+&sub=[^\&]+&token=[^\&]*$)
|(^http://[^\&]+/parking.php[0-9]?/?\?ses=[^\&]+&domain=[^\&]+&category=[^\&]+&keyword=[^\&]+&token=[^\&]*&sub=[^\&]+&pos=[^\&]+$)
|(^http://[^(\&|\/)]+/info/[^\&]+\.html/?\?ses=[^\&]+&category=[^\&]+&keyword=[^\&]+&token=[^\&]*$)
|(^http://[^(\&|\/)]+/info/[^\&]+\.html/?\?ses=[^\&]+&category=[^\&]+&keyword=[^\&]+&token=[^\&]*&sub=[^\&]+&pos=[^\&]+$)
|(^http://[^(\&|\/)]+/info/[^\&]+\.html/?\?ses=[^\&]+&token=[^\&]*$)
|(^http://[^(\&|\/)]+/parking.php[0-9]?/?\?ses=[^\&]+&language=[^\&]+&token=[^\&]*$)


non-interesting pages for crawlers:
|(.*\.blogspot\.com/.*\?widgetType=.*)
|(.*\&action=buy_now.*)
|(^http://[^(\&|\/)]+/search/redirect.php\?f=http%3A%2F%2Fgoogleads\.g\.doubleclick\.net%2Faclk%3Fsa%3Dl%26ai%3D.*)
|(^http://www.buzzmachine.com/.*((\?replytocom=)|(/feed/)|(/tag/)).*)


sites considered as link farms or spam:
|(^http://www.angeltouch\.pt/.*$)
|(^http://angeltouch\.pt/.*$)
|(^http://[^\/]+\.anunciegratis.com.pt/.*)
|(^http://anunciegratis.com.pt/.*)
|(^http://[^\/]+\.anuncieonline.com.pt/.*)
|(^http://anuncieonline.com.pt/.*)
|(^http://[^\/]+\.anunciosgratis.pt/.*)
|(^http://anunciosgratis.pt/.*)
|(^http://[^\/]+\.tuklu.com.pt/.*)
|(^http://tuklu.com.pt/.*)
|(^http://[^\/]+\.classiopen.com.pt/.*)
|(^http://classiopen.com.pt/.*)