📎 Webclip
Brincando de Crawlers e algumas Dicas Úteis
O texto parte de um script em Ruby para apagar arquivos no Slack usando a API, já que a interface de administração não oferece marcar tudo nem deletar tudo. A partir desse exemplo, reúne quatro dicas para scripts de crawler e tarefas parecidas, com foco em dependências, requisições HTTP, parsing de JSON e paralelismo.
Fichamento#
- Usa Bundler mesmo em scripts pequenos.
- Para acessar páginas web, combina Faraday com Typhoeus.
- Faraday abstrai clientes HTTP diferentes e permite trocar adapters com pouco esforço.
- Typhoeus faz várias requisições em paralelo, o que ajuda em crawlers, mas exige cuidado para não acumular dados demais em memória.
- Em vez de guardar tudo em um array, o texto sugere usar Dalli com Memcached, Redis, MongoDB ou outro armazenamento que aceite inserções assíncronas.
- Para respostas JSON, recomenda Oj junto com oj_mimic_json em projetos Rails.
- O texto diz que Oj é de 2 a 4 vezes mais rápida que a gem JSON e depende de extensão em C, então não funciona com JRuby, apenas com MRI.
- Para processar muitas respostas, indica a gem Parallel.
- No Ruby MRI, o GIL limita a execução paralela real, mas threads ainda ajudam em operações bloqueantes de I/O.
- Para tarefas CPU-bound, o texto orienta usar :in_processes em vez de :in_threads.
- Desde o Ruby 2.0, Copy on Write torna o uso de processos paralelos menos caro em memória.
- Para crawlers e ETL, Parallel pode ser útil, mas o texto recomenda medir para evitar falsa impressão de paralelismo.
