How Good is ChatGPT-4o in Assessing Architecture Diagrams? An Exploratory Study with Four Software Engineering Tools
Estudo exploratório da UNIFOR que avalia a eficácia do ChatGPT-4o na análise de diagramas de arquitetura de software em comparação com ferramentas tradicionais de engenharia. O trabalho destaca a capacidade do modelo em interpretar contextos visuais e textuais, apontando caminhos para automação de revisões arquiteturais.
Ideia de startup ou produto
Plataforma SaaS de 'Arquitetura como Código' (Architecture as Code) que conecta repositórios de diagramas a LLMs especializados para auditar automaticamente a conformidade, segurança e escalabilidade da arquitetura antes da implementação.
Aplicações práticas
Integração de IAs generativas em IDEs e ferramentas de modelagem (como Draw.io ou Mermaid) para revisão contínua de código e arquitetura; treinamento de desenvolvedores juniores através de feedback instantâneo sobre desenhos arquiteturais.
Potencial de mercado
Alto. O mercado de ferramentas de 'Developer Experience' (DevEx) e IA para engenharia de software está em expansão acelerada. Soluções que automatizam a garantia de qualidade arquitetural (ArchQuality) reduzem custos de retrabalho e dívida técnica.
Problema abordado
A dificuldade e o alto custo de tempo para revisar manualmente diagramas de arquitetura de software, além das limitações das ferramentas atuais em compreender semântica visual complexa e violações de padrões arquiteturais não triviais.
Metodologia
Pesquisa exploratória utilizando o ChatGPT-4o para analisar quatro diagramas de arquitetura gerados por ferramentas distintas de engenharia de software. A avaliação focou na precisão da interpretação visual e na qualidade das sugestões de melhoria fornecidas pela IA.
Principais descobertas
O ChatGPT-4o demonstra proficiência significativa na identificação de padrões e erros comuns em diagramas, superando expectativas em compreensão de contexto. No entanto, carece de consistência em domínios altamente especializados onde a notação visual não padrão é utilizada.
Quem, com quem,
e pra quê
Parceria entre UNIFOR e empresas de software local (soft houses) ou grandes bancos com centros de desenvolvimento em Fortaleza para validar e treinar modelos de IA focados em dominios específicos de negócios através de diagramas reais.
4 direções estratégicas identificadas
- Startup
AI Architectural Copilot
Plugin para ferramentas de diagramação que utiliza LLMs para sugerir melhorias de design, detectar anti-patterns e gerar documentação técnica a partir do desenho da arquitetura em tempo real.
Impacto alto · Inteligência Artificial - Parceria
Lab de IA para Engenharia de Software
Cooperação técnico-científica entre UNIFOR e empresas de tecnologia para criar datasets de diagramas anotados que melhorem a precisão de modelos de visão computacional em contextos de engenharia.
Impacto médio · Ciência de Dados - Política Pública
Auditoria Automática de Projetos de TI
Uso da tecnologia para auditar propostas de arquitetura em licitações públicas, garantindo que os projetos apresentados pelas empresas vencedoras atendam aos requisitos mínimos de qualidade e modernidade tecnológica.
Impacto médio · Govtech - Produto Corporativo
Módulo de Governança Arquitetural
Incorporação da análise via IA em plataformas de gestão de portfólio corporativo (PPM) para alertar gestores sobre riscos arquiteturais em projetos baseados em seus diagramas atuais.
Impacto alto · Software