I Tried Coding With AI Glasses. Here’s What Actually Happened.

The author says the glasses were a gift and that he would not have bought them himself, but used them to see whether they could improve his life as a developer. His first tests with AI help for code explanations were disappointing, so he shifted to a different use case focused on recording daily life.

He proposes “life commits”, where the glasses capture moments during the day, classify the image with Apple’s Vision framework, and attach an emotional score through hand gestures or manual input. The resulting timeline is meant to show where time is spent, which environments are common, and how they relate to mood. He says the glasses do not fundamentally change coding, but they do change how he captures and reflects on his life.

Fichamento

#

• Recebeu os óculos de IA como presente e quis avaliar se eles melhorariam sua vida como desenvolvedor.
• Tentou usar a IA integrada para explicar código na tela, mas os resultados foram ruins porque o sistema não reconhecia com precisão o contexto visual.
• Pensou em uma cadeia mais complexa com captura de imagem, OCR, modelo de visão e LLM, mas considerou essa solução trabalhosa, cara e menos confiável do que pedir ajuda diretamente no editor.
• Mudou o foco para “life commits”, uma ideia em que os óculos registram momentos do dia como se fossem commits de Git.
• Descreve um fluxo em que o app pede uma captura a cada hora e classifica a imagem com o Apple Vision framework em categorias como workspace, outdoors, social, exercise, indoors e screen time.
• Associa uma pontuação emocional a cada momento por gestos manuais detectados com VNDetectHumanHandPoseRequest() ou por entrada manual no app.
• Diz que isso cria uma linha do tempo do que a pessoa faz, dos ambientes em que fica e de como esses ambientes se relacionam com o estado emocional.
• Afirma que a música pelos óculos, a conversa com a IA durante o código e a captura rápida de fotos e vídeos são usos convenientes.
• Conclui que os óculos ainda parecem hardware em fase inicial, não mudam de forma fundamental como ele codifica, mas podem ser úteis para capturar e refletir sobre a vida.