Google implementa novo sistema de indexação da web

Ontem o Google anunciou que concluiu o seu novo sistema de indexação de web, chamado de Caffeine. O sistema permite que links e materiais relacionados a um assunto específico sejam encontrados 50% mais rápido do que no antigo sistema, além de agrupar a maior coleção de conteúdo web já oferecida.

Segundo Carrie Grimes, engenheira de softwares da empresa, o antigo sistema indexava em camadas, atualizando alguns índices mais rápido do que outros, e a camada principal era atualizada a cada duas semanas.

Com o Caffeine, a web é analisada em pequenas porções, e a atualização do índice de pesquisa é feita sobre uma base contínua, de forma global. "À medida que novas páginas ou informações sobre as páginas existentes são encontradas, elas são adicionadas diretamente no índice", explica a engenheira.

O Caffeine adiciona novas informações a uma taxa de centenas de milhares de gigabytes por dia e ocupa um banco de dados de 100 milhões de gigabytes.

Fonte: http://imasters.uol.com.br/noticia/17156/tecnologia/google_implementa_novo_sistema_de_indexacao_da_web/