📎 Webclip
Utilize linguagens parecidas com a SQL para a estrutura do MapReduce
O texto apresenta o MapReduce como base para processamento distribuído em grande escala e destaca suas limitações, como fluxo rígido, necessidade de código customizado até para operações comuns e pouca visibilidade para otimizações. Em seguida, compara ferramentas que oferecem interfaces mais altas e declarativas sobre Hadoop, com foco em reduzir a complexidade de desenvolvimento.
Fichamento#
- O aumento do volume de dados e a expansão de aplicações analíticas em ciência e mercado impulsionaram a busca por estruturas de processamento escaláveis.
- O MapReduce abstrai detalhes de execução distribuída, tolera falhas e divide o cálculo entre as funções map e reduce.
- Apesar disso, o modelo é rígido, exige código específico para tarefas frequentes e dificulta otimizações automáticas.
- Pig Latin fica entre SQL e programação de baixo nível, descrevendo fluxos de dados paralelos e traduzindo-os em tarefas MapReduce.
- O Pig oferece operadores como join, sort, filter, group, union e split, além de trabalhar com estruturas de dados mais ricas.
- Hive leva conceitos relacionais e um subconjunto de SQL ao Hadoop, compilando HiveQL em tarefas MapReduce.
- Hive mantém metadados em uma metastore e oferece DDL, DML e suporte a funções customizadas, mas ainda tem limitações como ausência de UPDATE e DELETE em linhas existentes.
- HadoopDB combina a escalabilidade do MapReduce com o desempenho de bancos paralelos, usando bancos de nó único coordenados por Hadoop.
- O texto aponta que bancos paralelos tendem a ter melhor desempenho, enquanto Hadoop e MapReduce oferecem uso mais simples, tolerância a falhas e menor custo.
- Jaql foi criada para dados JSON e semiestruturados, com uma linguagem declarativa e funcional que pode ser reescrita em tarefas MapReduce.
- Jaql trabalha com átomos, arrays e registros, aceita várias fontes de dados e usa compilação para detectar paralelismo automaticamente.
- A conclusão defende que linguagens declarativas de alto nível reduzem o esforço de programação e permitem melhor otimização pelo sistema subjacente.
