Top 5 AI Models You Can Run Locally on Your Device

The article argues that running AI models on your own device can improve security, stability, and privacy compared with using AI APIs. It recommends GPT4All as an easy cross-platform way to do this and lists five open source models with different sizes and hardware requirements.

Fichamento

#

• Rodar modelos de IA no próprio dispositivo evita depender de servidores externos e de uma conexão de internet para acessar a IA.
• O texto diz que muitas APIs de IA enviam mensagens em texto simples e que algumas empresas coletam dados de conversa ou fazem revisão humana de chats.
• Para uso local, o autor escolhe o GPT4All por ser fácil de usar e ter suporte multiplataforma, em vez de CLI como Ollama.
• O artigo avisa que os modelos podem ocupar de 2 a 6 GB e que é preciso verificar espaço em disco antes de baixar.
• Nous Hermes 2 Mistral DPO é apresentado como um modelo geral, rápido, ajustado e com cerca de 7 bilhões de parâmetros.
• Qwen2-1.5B-Instruct é indicado para dispositivos fracos, mas o texto alerta que ele pode alucinar com facilidade.
• Llama 3 8B Instruct é descrito como um modelo open source, com boa qualidade e personalidade amigável.
• Mini Orca (Small) é sugerido como modelo pequeno e rápido, mais útil para explicações do que para conversa, e também sujeito a alucinações, sobretudo em matemática.
• Mistral Instruct é apontado como um modelo geral com licença para uso comercial e sem limitações éticas.
• O texto ensina a abrir a aba de modelos, baixar um modelo e, depois, ir à aba de chats, criar uma nova conversa e carregar um modelo para testar.