Os modelos de linguagem de grande porte (LLMs do inglês Large Language Models) podem aprimorar o trabalho com dados e análises ao ajudar humanos a preparar dados, melhorar modelos e compreender resultados.
A atenção intensa sobre a IA generativa ameaça ofuscar a análise avançada. Empresas investindo recursos em modelos de linguagem de grande porte, como o ChatGPT, correm o risco de negligenciar a análise avançada e seu valor comprovado para melhorar decisões e processos de negócios, como prever a próxima melhor oferta para cada cliente ou otimizar cadeias de suprimentos. As consequências para a alocação de recursos e a criação de valor são significativas. Equipes de dados e análises com as quais nossa equipe trabalha relataram que iniciativas de IA generativa, muitas vezes impulsionadas por líderes seniores temerosos de perder a próxima grande inovação, estão desviando fundos de seus orçamentos. Essa realocação pode minar projetos destinados a entregar valor em toda a organização, mesmo quando a maioria das empresas ainda está buscando casos de uso convincentes para os LLMs.
No entanto, a análise avançada e os LLMs têm capacidades muito diferentes, e os líderes não devem pensar em termos de escolher um ou outro. Essas tecnologias podem trabalhar em conjunto, combinando, por exemplo, o poder preditivo confiável da análise avançada baseada em aprendizado de máquina com as capacidades de linguagem natural dos LLMs.
Considerando essas capacidades complementares, vemos oportunidades para a IA generativa enfrentar desafios nas fases de desenvolvimento e implantação da análise avançada — tanto para aplicações preditivas quanto prescritivas. Os LLMs podem ser particularmente úteis para ajudar os usuários a incorporar fontes de dados não estruturadas nas análises, traduzir problemas de negócios em modelos analíticos e entender e explicar os resultados dos modelos.
Neste artigo, descreveremos alguns experimentos que realizamos com LLMs para impulsionar casos de uso de análise avançada. Também forneceremos orientações sobre monitoramento e verificação dos resultados, que permanecem uma prática recomendada ao trabalhar com LLMs, dado que eles são conhecidos por, às vezes, produzir resultados não confiáveis ou incorretos.
Aplicando LLMs na Análise Preditiva
A análise preditiva está no centro de processos cada vez mais orientados por dados para muitas empresas. É raro encontrar um departamento de marketing que não discuta mudanças nas previsões de churn de clientes e como reagir, ou equipes comerciais que não considerem como aumentar as vendas do próximo mês em resposta a uma queda prevista pela análise preditiva. Vemos oportunidades para expandir o impacto de tais abordagens aproveitando os LLMs das seguintes maneiras para aumentar a variedade de dados usados para treinar e executar modelos ou comunicar melhor com os stakeholders de negócios que usam os resultados da análise preditiva na tomada de decisões.
Incorporando Tipos de Dados Complexos
Na fase de desenvolvimento de projetos preditivos, surgem desafios quando os tomadores de decisão consultam e monitoram regularmente fontes de dados que são difíceis de incorporar em algoritmos preditivos. Por exemplo, avaliações de clientes detalhando experiências negativas são complexas de usar diretamente em modelos de churn, mas possuem um poder preditivo valioso. Para utilizar esses dados em modelos preditivos, é necessário investir um tempo significativo para destilar e estruturar informações relevantes de cada fonte. Isso leva a um trade-off entre o investimento para tornar esses dados utilizáveis e a melhoria antecipada no desempenho do modelo preditivo. Claro, já existem softwares de linguagem natural para ajudar na estruturação de dados, mas seu uso geralmente é circunscrito a casos específicos, como análise de sentimentos.
Os LLMs podem reduzir significativamente o tempo investido na organização de dados e facilitar a análise de tipos de dados complexos. Um prompt preciso pode instruir um LLM a revisar um conjunto de dados para temas chave e retornar sua resposta como dados formatados com rótulos padrão, que são então adequados para uso por modelos preditivos. (Veja “Labeling Unstructured Data.”) Essa habilidade dos LLMs para agilizar o processamento de tipos de dados complexos — de semanas para meros dias ou horas — pode parecer simples, mas representa um avanço notável na prática da análise avançada.
Desde o surgimento dos LLMs, temos visto que o aumento da facilidade de incorporar fontes de dados não estruturadas nas análises levou a um aumento substancial na participação desse tipo de dados em várias aplicações preditivas. Em um projeto recente com uma empresa de telecomunicações que focava em prever a próxima melhor ação (NBA) em um processo de cobrança e recuperação de dívidas, havia uma fonte de dados não aproveitada: reclamações escritas feitas por clientes que frequentemente estavam ligadas a esse processo. Como não havia certeza de que uma análise minuciosa dessa informação poderia trazer um benefício substancial para o projeto NBA, ela foi deixada de lado. No entanto, uma vez que a equipe entendeu que os LLMs poderiam filtrar e categorizar com precisão as reclamações relacionadas ao processo de cobrança e recuperação de dívidas, começou a considerar essa fonte de dados — uma fonte que acabou orientando significativamente o projeto em termos das ações a serem consideradas para melhorar esse processo de negócios.
Explicando previsões.
Durante a implantação de projetos preditivos, como o projeto de telecomunicações mencionado anteriormente, muitas vezes enfrentamos desafios de comunicação ao decodificar e explicar o funcionamento interno e os resultados consequentes dos modelos de aprendizado de máquina. Uma ferramenta que as equipes de ciência de dados costumam usar para entender e comunicar a relevância das diferentes variáveis de entrada para um resultado previsto é a análise de explicações aditivas de Shapley (SHAP). Essa análise pode ser traduzida em uma visualização que descreve a relevância e o impacto direcional das variáveis de entrada em um determinado resultado. Por exemplo, pode ser usada para entender que a frequência de compra é a variável mais relevante ao prever o churn: os clientes menos frequentes tendem a abandonar mais do que os outros. No entanto, explicar os achados de uma análise SHAP para colegas que não são cientistas de dados é muitas vezes complicado devido ao conhecimento técnico necessário.
Os LLMs podem ajudar a enfrentar essa lacuna de comunicação. Percebemos que os conjuntos de dados coletados da web para treinar modelos de IA generativa, especialmente os LLMs, abrangem um amplo conhecimento sobre modelos de aprendizado de máquina e as análises usadas para explicá-los.
Consequentemente, os LLMs podem fornecer resultados úteis em resposta a um prompt bem elaborado que especifique o tópico da previsão, o modelo analítico empregado, os resultados das análises e a técnica usada para entender os resultados (como uma visualização SHAP). Essas informações permitem que os LLMs articulem uma explicação plausível para mudanças nas previsões para os tomadores de decisão e destacam os principais fatores contribuintes.
Mantendo nosso exemplo de churn, experimentamos dar as informações listadas acima ao LLM e solicitá-lo a explicar, em termos simples, as variáveis mais relevantes. Ele retornou um resultado preciso: “NumOfProducts e Idade são consistentemente as características mais impactantes em todas as iterações. Isso sugere que o número de produtos que um cliente possui e sua idade são fortes indicadores de churn potencial. Por exemplo, se a distribuição dessas características mudar (como oferecer mais produtos aos clientes ou o envelhecimento da demografia da base de clientes), isso pode impactar significativamente as previsões do modelo.” Esse resultado ainda pode parecer técnico para alguns, então ficamos animados ao ver que o LLM continuou expandindo o tópico e eventualmente mencionou o impacto nos negócios dos resultados do nosso modelo preditivo de churn (bancário): “O banco deve considerar examinar suas ofertas de produtos e estratégias de engajamento com clientes, particularmente para clientes mais velhos, já que esses parecem ser fatores significativos na previsão de churn.”
Aplicando LLMs em Análise Prescritiva
As análises prescritivas são normalmente empregadas para problemas empresariais que envolvem recursos limitados e múltiplas opções de decisão, como na gestão da cadeia de suprimentos. Técnicas de programação matemática e otimização são as abordagens preferidas para resolver problemas complexos de tomada de decisão, como planos de produção e distribuição que possuem uma miríade de possíveis decisões restringidas por recursos finitos, como capacidades de produção e transporte. As equipes de análise podem usar LLMs para apoiar e agilizar as fases de desenvolvimento e implantação das seguintes maneiras.
Modelagem da mecânica.
Em nossa experiência, representar matematicamente um desafio empresarial com todas as suas nuances é um desafio formidável. Requer uma compreensão precisa dos objetivos dos tomadores de decisão. Por exemplo, ao planejar o sortimento de lojas, os gerentes de categoria dão precedência à lucratividade ou à participação de mercado, ou tentam equilibrar ambos? Definir os limites para as decisões subjacentes também é muito difícil: no problema de sortimento de loja, o espaço de prateleira atribuído a uma categoria é uma restrição, ou essa limitação pode ser anulada em algumas situações? A falta dessas informações na fase de desenvolvimento geralmente resulta em modelos ineficazes. Não é incomum que cientistas de dados percam algo importante; a capacidade de fazer as perguntas certas e traduzir as respostas correspondentes requer uma rara combinação de acumen empresarial e expertise em análise.
Recentemente, começamos a experimentar LLMs para ajudar a desenhar a mecânica dos modelos de otimização, aumentando as capacidades dos tradutores de análises responsáveis por essas tarefas. Com um prompt cuidadosamente elaborado, é possível instruir o LLM a engajar em uma conversa que pode identificar de forma eficaz a compreensão dos tomadores de decisão sobre o problema empresarial e escrever a primeira versão do modelo prescritivo. (Veja “Desenvolvendo a Mecânica do Modelo”). Um exemplo de prompt para o LLM é: “Esclarecimento do Objetivo: Qual é o objetivo principal da otimização da cadeia de suprimentos? É minimizar custos, maximizar lucros, garantir a entrega pontual ou algo mais?” O prompt guia o LLM a identificar e definir as variáveis de decisão, a função objetivo e quaisquer restrições do problema empresarial de modo que possa gerar a formulação matemática do desafio.
Junto ao diálogo, o LLM pode explicar em inglês claro sua compreensão do problema e pedir ao tomador de decisão esclarecimentos para resolver informações faltantes. Perguntamos: “Estamos criando um modelo de programação linear que decide o número ideal de unidades do Produto A e Produto B a produzir. … Antes de prosseguir para escrever o modelo, poderia por favor esclarecer o tempo necessário para o Produto B tanto nos departamentos de corte quanto de acabamento?” Essas interações com o LLM resultaram em uma saída rápida e precisa.
Entendendo os resultdos dos modelos
Mesmo que LLMs possam ajudar equipes a desenvolver modelos prescritivos rigorosos e aplicáveis para auxiliar na tomada de decisão, há outra barreira que, em nossa experiência, é ainda mais severa: a dificuldade em decifrar as soluções que tais modelos produzem. Esta tarefa complicada frequentemente leva os usuários de negócios a desconfiar dos resultados. Além disso, frequentemente vemos equipes técnicas gastarem muitas horas além do orçamento previsto para interagir com equipes de negócios explicando os resultados. Há muitas razões subjacentes, mas uma bastante óbvia é que os tomadores de decisão têm uma abordagem mais sutil para a tomada de decisões do que os algoritmos, que frequentemente ficam presos em soluções de canto. Por exemplo, se o algoritmo prescritivo encontra uma pequena economia ao mudar uma rede de cadeia de suprimentos, ele sugerirá esse movimento independentemente de todos os esforços de gerenciamento de mudanças que tal ação possa implicar.
LLMs podem ser uma ajuda interessante ao implantar análises prescritivas para ajudar as equipes a entender os resultados do modelo. As equipes de análise podem alimentar o AI generativo com a notação matemática que representa o modelo prescritivo, bem como as métricas internas, como a capacidade não utilizada (ou folga) nas restrições que não limitaram a solução e os custos de oportunidade associados a cada condição limitante.
Os tomadores de decisão podem então fazer perguntas para entender os resultados que lhes interessam, e o LLM pode explicar esses resultados em inglês claro até que o usuário esteja satisfeito. Essa conversa permite que o AI generativo identifique e explique áreas onde os trade-offs do modelo podem parecer contra intuitivos para os tomadores de decisão. Além disso, esse método facilita a coleta de feedback adicional dos tomadores de decisão, que pode ser usado para refinar a mecânica do modelo.
Tal abordagem pode ser benéfica para todos os stakeholders da empresa responsáveis pelo sucesso das iniciativas de análise. Em nossos experimentos com este caso de uso, compreendemos que aumentar o nível de autonomia para os proprietários de negócios teria um impacto drástico em seu sentimento de empoderamento e controle sobre a qualidade dos métodos prescritivos comprovados. Para as equipes técnicas, o fato de não precisarem ter múltiplas conversas com os tomadores de decisão sobre tópicos que um sistema automatizado poderia explicar foi um grande alívio.
Um exemplo clássico de interação necessária entre equipes de análise e de negócios em projetos de análise prescritiva é a necessidade de entender por que uma determinada execução algorítmica não está produzindo uma solução que respeite todas as restrições definidas. Veja como essa interação pode ser tranquila com base na resposta que obtivemos após perguntar qual era a fonte de inviabilidade em um problema de distribuição no varejo: “A principal restrição que leva ao estado inviável é o fornecimento insuficiente para atender à demanda combinada e aos requisitos mínimos de estoque. O suprimento total disponível de todos os depósitos não é suficiente para satisfazer as demandas das lojas de varejo.”
Monitoramento da qualidade do modelo e impacto nos negócios
As empresas já devem estar empregando processos para monitorar o desempenho de seus modelos avançados de análise para detectar erros e desvios resultantes, por exemplo, de mudanças em variáveis ou no ambiente de negócios que se desviam das suposições originais do modelo. No entanto, a qualidade da saída dos LLMs (especialmente na ausência de técnicas adicionais que restrinjam ou verifiquem essa saída) é, por design, um tanto imprevisível. A integração de LLMs introduz oportunidades adicionais para erros devido ao potencial de respostas aleatórias ou objetivamente falsas.
A melhor abordagem para controlar a qualidade da saída do LLM dependerá de qual oportunidade de integrar AI generativa com análises avançadas está sendo perseguida. Ao incorporar tipos de dados complexos em modelos preditivos, a abordagem pode ser relativamente direta: as empresas podem investigar o resultado final e observar a melhoria (ou não) da métrica de precisão da tarefa de previsão após adicionar fontes de dados não estruturados. No caso de usar LLMs para explicar previsões e entender resultados prescritivos, as equipes técnicas devem testar intensamente o prompt e as respostas que estão sendo geradas para diferentes perguntas possíveis que os stakeholders de negócios possam fazer. Finalmente, ao criar a mecânica do modelo – uma oportunidade que se concentra principalmente em aumentar a fase de desenvolvimento de modelos prescritivos – as saídas dos LLMs sempre terão que ser supervisionadas por especialistas em modelagem, que devem revisá-las criticamente.
Apesar dessas ressalvas, é importante lembrar que o sucesso de qualquer esforço organizacional de análise depende de sua relevância para a empresa, medida pela frequência de uso, taxa de adoção e satisfação interna dos clientes. Ao permitir que os tomadores de decisão interajam com os modelos analíticos, a integração de AI generativa poderia reduzir as barreiras para adoção, facilitar a gestão de mudanças e promover confiança nos resultados. Como resultado, esperaríamos ver melhorias nessas métricas.
O uso de LLMs em conjunto com ferramentas de análise avançada pode aumentar a eficiência ao simplificar os processos intensivos de mão-de-obra para explicar a validade das previsões e desenvolver modelos prescritivos. LLMs também podem tornar a análise mais eficaz ajudando na incorporação de conjuntos de dados complexos para modelagem preditiva e na compreensão dos resultados dos modelos prescritivos. Ao aproveitar o potencial de fontes de dados não estruturados e identificar oportunidades para o refinamento do modelo, as empresas podem melhorar a qualidade de seus resultados.
Sabemos, a partir da prática atual de AI e análise, que criar equipes multidisciplinares que envolvam proprietários de negócios e especialistas em ciência de dados é essencial para aproveitar plenamente essas oportunidades. Graças à acessibilidade proporcionada pelas capacidades de linguagem natural dos LLMs, a integração de AI generativa na análise deve capacitar os usuários de negócios a desempenhar um papel mais ativo no desenvolvimento e monitoramento de aplicações analíticas.
Fonte:
MIT Sloan Business Review USA – v65-4 – verão de 2024
Sobre os autores:
Pedro Amorim é professor na Universidade do Porto, sócio na LTPlabs e coautor de “The Analytics Sandwich”.
João Alves é gerente digital sênior na LTPlabs.