↓ Ir para o conteúdo principal

← todas as notas

📎 Webclip

Utilize linguagens parecidas com a SQL para a estrutura do MapReduce

O texto apresenta o MapReduce como base para processamento distribuído em grande escala e destaca suas limitações, como fluxo rígido, necessidade de código customizado até para operações comuns e pouca visibilidade para otimizações. Em seguida, compara ferramentas que oferecem interfaces mais altas e declarativas sobre Hadoop, com foco em reduzir a complexidade de desenvolvimento.

Fichamento
#

  • O aumento do volume de dados e a expansão de aplicações analíticas em ciência e mercado impulsionaram a busca por estruturas de processamento escaláveis.
  • O MapReduce abstrai detalhes de execução distribuída, tolera falhas e divide o cálculo entre as funções map e reduce.
  • Apesar disso, o modelo é rígido, exige código específico para tarefas frequentes e dificulta otimizações automáticas.
  • Pig Latin fica entre SQL e programação de baixo nível, descrevendo fluxos de dados paralelos e traduzindo-os em tarefas MapReduce.
  • O Pig oferece operadores como join, sort, filter, group, union e split, além de trabalhar com estruturas de dados mais ricas.
  • Hive leva conceitos relacionais e um subconjunto de SQL ao Hadoop, compilando HiveQL em tarefas MapReduce.
  • Hive mantém metadados em uma metastore e oferece DDL, DML e suporte a funções customizadas, mas ainda tem limitações como ausência de UPDATE e DELETE em linhas existentes.
  • HadoopDB combina a escalabilidade do MapReduce com o desempenho de bancos paralelos, usando bancos de nó único coordenados por Hadoop.
  • O texto aponta que bancos paralelos tendem a ter melhor desempenho, enquanto Hadoop e MapReduce oferecem uso mais simples, tolerância a falhas e menor custo.
  • Jaql foi criada para dados JSON e semiestruturados, com uma linguagem declarativa e funcional que pode ser reescrita em tarefas MapReduce.
  • Jaql trabalha com átomos, arrays e registros, aceita várias fontes de dados e usa compilação para detectar paralelismo automaticamente.
  • A conclusão defende que linguagens declarativas de alto nível reduzem o esforço de programação e permitem melhor otimização pelo sistema subjacente.