A inércia algorítmica pode resultar em orientações que levam as empresas ao erro. Isso ocorre quando os algoritmos não são atualizados para levar em conta as mudanças no ambiente, então eles fornecem previsões de baixa qualidade.
Modelos de IA projetados para contabilizar dinamicamente novas circunstâncias nem sempre o fazem de forma eficaz. Esse cenário, chamado inércia algorítmica, pode resultar em orientações inadequadas e decisões falhas.
Os autores exploraram as causas e consequências da inércia algorítmica investigando a agência de classificação de crédito Moody’s e seu uso de modelos algorítmicos para classificar títulos lastreados em hipotecas nos anos que antecederam a crise financeira de 2008.
Eles descobriram que os fatores mais significativos que contribuem para a inércia algorítmica são as suposições enterradas, remodelagem superficial, simulação do futuro desconhecido e compartimentalização especializada.
Expor dados e suposições e redesenhar periodicamente rotinas algorítmicas são duas práticas-chave para evitar essa inércia.
Organizações estão cada vez mais recorrendo a algoritmos sofisticados de análise de dados para apoiar a tomada de decisões em tempo real em ambientes dinâmicos. No entanto, esses esforços organizacionais muitas vezes fracassam – às vezes com consequências espetaculares.
Em 2018, o marketplace imobiliário Zillow lançou a Zillow Offers, um braço “comprador instantâneo” do negócio. Ele alavancou um algoritmo proprietário chamado Zestimate, que calcula quanto um determinado imóvel residencial pode ser esperado para vender. Com base nesses cálculos, a Zillow Offers planejava comprar, renovar e revender imóveis para obter lucro. Embora tenha tido algum sucesso nos primeiros anos, o modelo falhou em se ajustar às novas dinâmicas de um mercado mais volátil em 2021.
O Zillow perdeu em média $25.000 em cada casa vendida no quarto trimestre daquele ano – resultando em um ajuste contábil de $881 milhões. Este é um exemplo do que chamamos de inércia algorítmica: quando as organizações usam modelos algorítmicos para levar em conta as mudanças ambientais, mas não acompanham essas mudanças. Neste artigo, explicamos a inércia algorítmica, identificamos suas fontes e sugerimos práticas que as organizações podem implementar para superá-la.
Um Catastrofismo de Avaliação de Crédito Para entender o fenômeno da inércia algorítmica, conduzimos um estudo aprofundado de outra organização que falhou em responder às mudanças no ambiente: a Moody’s, uma empresa de pesquisa financeira que fornece classificações de crédito para títulos e instrumentos financeiros complexos, como títulos lastreados em hipotecas residenciais (RMBSs).
Cena do filme The Big Short, – no Brasil traduzido como A grande aposta. Nessa cena, o personagem explica o que é uma Tranche. Tranche vem da palavra francesa “porção” e em finanças, geralmente significa parte de um investimento. No filme The Big Short, as tranches mais importantes são os vários graus diferentes de títulos hipotecários subprime, que variam de AAA (supostamente os investimentos mais seguros) a B (supostamente os mais arriscados).
Estes títulos agregaram pacotes de hipotecas individuais em tranches distintas com características únicas durante o período que antecedeu a crise financeira global de 2008.
A Moody’s fez um esforço para levar em conta as mudanças ambientais em suas classificações de crédito, desenvolvendo um modelo algorítmico proprietário em 2000 chamado M3 Prime.
O modelo analisava dados sobre propriedades, detentores de hipotecas e a economia para estimar dois parâmetros centrais para o cálculo de uma classificação de crédito: perdas esperadas para o pool de hipotecas e a proteção de cobertura de perdas necessária para um título manter uma classificação AAA. Um analista apresentava uma recomendação ao comitê de classificação de crédito da Moody’s, que atribuía uma classificação publicamente divulgada para o título.
A Moody’s monitorava essas classificações e melhorava ou rebaixava os RMBSs à medida que o ambiente mudava. O modelo M3 Prime obteve sucesso inicial, então, em 2006, a Moody’s expandiu seu escopo de análise algorítmica introduzindo um modelo derivado, o M3 Subprime.
Entre 2000 e 2008, a Moody’s forneceu classificações de crédito para milhares de RMBSs, mas acabou rebaixando 83% dos RMBSs com classificação AAA avaliados em bilhões de dólares até 2008. O governo dos EUA, junto com 21 estados e o Distrito de Colúmbia, responsabilizou a Moody’s pelo papel que suas classificações infladas desses e de outros produtos desempenharam na precipitação da crise financeira. Em 2017, a agência concordou em pagar US$ 864 milhões para resolver as alegações.
Este é um exemplo particularmente ilustrativo de inércia algorítmica com consequências sociais devastadoras. As decisões da Moody’s oferecem um excelente contexto para explorar a inércia algorítmica porque a organização era explicitamente responsável por analisar as mudanças ambientais como parte de seu serviço principal.
Além disso, conseguimos acessar informações detalhadas sobre seu modelo algorítmico a partir de um relatório produzido pela Comissão de Investigação da Crise Financeira que incluiu extensas entrevistas conduzidas sob juramento com executivos da Moody’s que estavam envolvidos no negócio na época.
Nossa análise nos permitiu identificar os fatores contribuintes mais significativos para a inércia algorítmica – pressupostos enterrados, remodelagem superficial, simulação do futuro desconhecido e compartimentalização especializada – descritos abaixo.
Pressupostos enterrados.
Não revisitar pressupostos fundamentais que sustentam os inputs do modelo algorítmico à luz das mudanças no ambiente contribui significativamente para a inércia algorítmica. Por exemplo, os originadores de empréstimos estavam cada vez mais concedendo hipotecas com padrões de crédito mais baixos e documentação substancialmente menor do que antes.
Assim, um pressuposto original subjacente ao modelo M3 Prime da Moody’s – de que a tecnologia que os originadores de hipotecas estavam usando para simplificar o processo de aplicação de empréstimos também estava permitindo uma avaliação mais precisa dos riscos subjacentes – não foi modificado para refletir o ambiente de empréstimos em mudança.
O diretor de política de crédito da Moody’s disse a um painel federal de inquérito que fazia parte de um comitê de crédito estruturado de alto nível que deveria lidar com questões como a queda nos padrões de originação de hipotecas, mas o assunto nunca foi levantado. “Nós falamos sobre tudo, exceto … o elefante sentado na mesa”, disse ele. O modelo da Moody’s também assumia que os scores de crédito FICO dos consumidores eram o principal fator preditivo de inadimplência de empréstimos.
FICO é a abreviação de Fair Isaac e Co. A Fair Isaac é a empresa que desenvolveu um software personalizado na década de 1980 com o objetivo de ajudar as empresas a determinar o risco de crédito de uma pessoa.
No entanto, a qualidade deste input de dados diminuiu significativamente ao longo do tempo: à medida que o uso desses scores de crédito se tornou cada vez mais comum, os indivíduos encontraram maneiras de inflá-los artificialmente. Como resultado, as hipotecas com baixa ou nenhuma documentação carregavam um risco latente que não estava sendo levado em conta no modelo algorítmico da Moody’s.
Remodelagem superficial.
Este fenômeno ocorre quando as organizações fazem apenas modificações menores no modelo algorítmico em resposta a mudanças substanciais no ambiente. Na Moody’s, algumas das principais mudanças no ambiente incluíam um número crescente de originadores de empréstimos, hipotecas de qualidade cada vez mais baixa e uma queda sem precedentes nas taxas de juros.
A resposta da Moody’s a essas mudanças foi buscar capturar mais negócios no mercado em rápido crescimento, então ajustou o modelo para ser “mais eficiente, mais lucrativo, mais barato e mais versátil”, segundo seu diretor de crédito – não para ser mais preciso. Quando modificou o M3 Prime para introduzir o modelo M3 Subprime, extrapôs curvas de perda para empréstimos subprime com base em empréstimos premium em vez de desenvolver novas curvas de perda para empréstimos subprime.
Simulação do futuro desconhecido.
Confiar em um modelo algorítmico para produzir cenários viáveis para o ambiente futuro também pode deixar as organizações vulneráveis à inércia algorítmica. A Moody’s construiu um motor de simulação com 1.250 cenários macroeconômicos que permitiu estimar possíveis perdas futuras com base em variações em indicadores econômicos como inflação, desemprego e preços de imóveis.
No entanto, o motor de simulação foi limitado por sua estrutura e pressupostos subjacentes, então os analistas não consideraram as mudanças que estavam ocorrendo, não atualizaram os cenários e não representaram com precisão o ambiente macroeconômico em mudança. Com base na crença de que históricos detalhados de desempenho poderiam revelar mais precisamente os vínculos causais entre estresses econômicos e o comportamento do empréstimo, a Moody’s usava estimativas baseadas em parâmetros históricos em vez de distribuições esperadas de perdas para examinar o comportamento em cenários de estresse.
Compartimentalização especializada.
Essa situação surge quando especialistas em diferentes domínios estão envolvidos no design e uso de um algoritmo e não há uma única propriedade ou entendimento compartilhado do modelo. Na Moody’s, as responsabilidades pela rotina de classificação de crédito foram divididas entre os especialistas do domínio (membros do comitê de classificação de crédito) que usavam o modelo quantitativo e os analistas quantitativos que o haviam desenvolvido.
Como a propriedade e o uso do modelo eram distribuídos, e a Moody’s não definia estritamente como usá-lo, os membros do comitê de classificação de crédito estabeleciam regras ad hoc para ajustar os resultados do modelo quando suas saídas não se conformavam ao que seu julgamento especializado os levava a acreditar que deveria produzir. As saídas do modelo não eram consideradas finais; em vez disso, os modelos eram vistos como ferramentas a serem usadas em conjunto com outras abordagens, e havia muita divergência na forma como diferentes comitês de classificação tomavam suas determinações.
Os modelos foram desenvolvidos e modificados por indivíduos que estavam distantes dos domínios nos quais seriam aplicados; grupos díspares de especialistas do domínio então usaram os modelos de maneiras inconsistentes sem entender a lógica subjacente. O diretor de classificação de RMBSs descreveu o modelo como sendo tão tecnicamente complexo que poucas pessoas entendiam como funcionava.
Essa questão está no cerne do que torna difícil combater a inércia algorítmica: os modelos e algoritmos são frequentemente tão complexos que os especialistas do domínio dificilmente conseguem entender os detalhes de seu funcionamento, enquanto os cientistas de dados estão desconectados de como seus modelos estão sendo usados no mundo real.
Desenvolver práticas que combatam a inércia algorítmica
Descrevemos como cada uma das causas da inércia algorítmica se manifestou no uso da Moody’s de um modelo algorítmico para incorporar dinamicamente mudanças no ambiente em suas classificações de crédito. Apesar de reconhecer falhas no modelo e fazer tentativas ativas de mudá-lo, a organização não conseguiu se adaptar efetivamente ao ambiente, contribuindo substancialmente para a crise financeira de 2008.
Para evitar uma degradação semelhante do valor preditivo de algoritmos críticos, sugerimos que as organizações implementem as quatro práticas descritas abaixo.
Expor dados e pressupostos.
As organizações devem articular e documentar os dados usados em seus modelos algorítmicos, incluindo fontes de dados e pressupostos fundamentais subjacentes às suas decisões de seleção de dados, o que pode ter efeitos deletérios.
Os modelos frequentemente incluem operacionalizações de muitos conceitos, e é fácil para as organizações perderem o controle desses parâmetros, que podem estar enterrados em camadas de código de software. Parâmetros que representam o ambiente precisam ser documentados para garantir que permaneçam visíveis. Da mesma forma, os pressupostos fundamentais que sustentam o modelo devem ser articulados e revisitados periodicamente.
A Moody’s usou um conjunto de dados sobre hipotecas premium para treinar um modelo destinado a ser usado para classificar RMBSs compostos por hipotecas subprime. Inicialmente, isso poderia ter sido uma escolha razoável devido à disponibilidade de dados. Mas quando o conjunto de dados inicial de um modelo não é atualizado, pode resultar em inércia algorítmica. Como sugere o caso da Moody’s, os dados nunca são completamente precisos, objetivos e impecáveis. Portanto, tornar transparentes para os usuários do algoritmo as fontes de dados e os pressupostos sobre essas fontes, e refletir continuamente sobre a adequação desses dados, são práticas críticas para organizações que buscam evitar a inércia algorítmica.
As organizações devem manter as fontes de dados claramente organizadas e avaliá-las periodicamente. Diferentes fontes de dados têm qualidades e características diferentes. Garantir que essas fontes sejam distinguidas uma da outra antes de serem alimentadas em modelos algorítmicos, processadas e constantemente comparadas entre si permite que os cientistas de dados identifiquem e eliminem a inércia algorítmica mais cedo, em vez de mais tarde.
Os pressupostos que sustentam o uso de um algoritmo também devem ser documentados e articulados. Qualquer tentativa de modelar o ambiente envolve a quantificação – transformar aspectos da realidade em dados numéricos. Essa quantificação inevitavelmente envolve fazer pressupostos sobre como o ambiente funciona. No entanto, enquanto a quantificação é necessária para que os modelos algorítmicos funcionem, detalhes sobre como ela é realizada podem se perder no processo complexo de design e uso de modelos algorítmicos. Portanto, manter um registro vivo desses pressupostos pode evitar a emergência de inércia algorítmica.
Redesenhar periodicamente rotinas algorítmicas.
Organizações devem regularmente redesenhar — e estar dispostas a reformular completamente — seu modelo algorítmico e reconsiderar como ele se encaixa nas rotinas organizacionais mais amplas. O design inicial de um modelo algorítmico pode exigir muito trabalho, e é natural que uma organização queira colher os benefícios desse trabalho. No entanto, em um ambiente dinâmico e em rápida mudança, é importante estar disposto não apenas a fazer mudanças incrementais em um modelo, mas a reformulá-lo fundamentalmente, se necessário.
É claro que as organizações enfrentam um trade-off quando se trata de reformular uma rotina algorítmica: pode ser muito caro reestruturar completamente um modelo algorítmico. No entanto, as consequências de não fazê-lo podem ser desastrosas.
Por exemplo, quando a Moody’s teve que classificar um número crescente de RMBSs dominadas por subprime, a organização optou por modificar incrementalmente o modelo M3 Prime. No entanto, pode ter sido mais eficaz especificar as distinções entre os mercados prime e subprime e fazer uma reformulação mais profunda do modelo original. Além de repensar o modelo algorítmico em si, uma organização pode considerar como ele é implantado na prática: Hipoteticamente, a Moody’s poderia ter aplicado o modelo M3 Prime de maneira diferente para diferentes tipos de RMBSs — talvez apenas exigindo mais intervenção humana para tranches compostas por empréstimos de menor qualidade.
O redesenho e a reformulação de um modelo algorítmico dependem da compreensão dos processos organizacionais que se interrelacionam com o modelo e da análise das implicações que as mudanças no ambiente têm para ele. Se ficar claro que tanto o modelo quanto os processos com os quais ele se relaciona ou alimenta se tornaram obsoletos ou ineficazes, uma reformulação deve ser seriamente considerada.
Suponha que o modelo falhará.
Pode ser perigoso para uma organização pensar nos cenários futuros apenas através do prisma do que os modelos algorítmicos preveem: Todos os pressupostos incorporados em um modelo limitam os futuros potenciais que podem ser considerados. Para lidar com a inércia algorítmica associada à simulação de um futuro desconhecido, é importante supor que o modelo falhará. Considere cenários além do escopo do modelo algorítmico; isso requer desafiar pressupostos preditivos, bem como presumir que o modelo é fundamentalmente falho.
Uma prática ativa de considerar cenários que estão fora do modelo pode ajudar a motivar e inspirar as duas práticas anteriores — expor dados e pressupostos e redesenhar periodicamente as rotinas algorítmicas — forçando os membros da equipe a considerar ativamente as limitações dos modelos algorítmicos.
Uma abordagem particularmente útil pode ser fazer uso de previsões qualitativas do futuro em vez de previsões quantitativas que dependem de dados disponíveis do passado. Essas formas de planejamento de cenários oferecem oportunidades para considerar visões radicalmente diferentes do que o futuro pode reservar. Isso também pode envolver o desenvolvimento de algoritmos híbridos que não dependem precisamente de dados passados para prever cenários, mas também incorporam neles medidas qualitativas e regras de especialistas introduzidas por especialistas do domínio.
Um especialista em domínio é uma pessoa com conhecimentos ou habilidades especiais em uma área específica de atuação (por exemplo, um contador é um especialista no domínio da contabilidade). O desenvolvimento de software contábil requer conhecimento em dois domínios diferentes: contabilidade e software. Alguns dos trabalhadores de desenvolvimento podem ser especialistas em um domínio e não no outro.
Construir pontes entre cientistas de dados e especialistas do domínio.
As organizações devem criar processos para que cientistas de dados e especialistas do domínio trabalhem juntos para projetar suas rotinas algorítmicas. Na prática, cientistas de dados e especialistas em IA abordam os problemas de maneira muito diferente dos especialistas do domínio. Os especialistas do domínio se concentram em rotinas organizacionais e situações idiossincráticas, enquanto os cientistas de dados se concentram no desenvolvimento de construções generalizáveis baseadas em princípios matemáticos. Para superar a inércia algorítmica, cientistas de dados e especialistas do domínio devem trabalhar juntos para entender como as características das rotinas organizacionais e situações idiossincráticas se mapeiam para os parâmetros matemáticos usados em um modelo algorítmico.
Quando os mundos dos cientistas de dados e dos especialistas do domínio são completamente separados, também há o perigo de que os cientistas de dados e os especialistas do domínio transfiram a responsabilidade confiando superficialmente no trabalho um do outro. Tais pressupostos podem realmente impedir o diálogo crucial entre os dois mundos.
Por exemplo, a Moody’s acabou subvertendo os resultados de seu modelo de classificação de crédito porque os analistas de classificação de crédito não tentaram entender por que o modelo poderia estar gerando resultados que não se encaixavam em suas intuições.
Construir pontes entre cientistas de dados e especialistas do domínio permite que os especialistas do domínio obtenham uma compreensão intuitiva de como o modelo algorítmico funciona. Tal terreno comum poderia permitir que as organizações criassem e usassem modelos que se adaptassem melhor às mudanças no ambiente.
Uma prática estrutural de construção de pontes que as organizações podem usar para facilitar a comunicação entre cientistas de dados e especialistas do domínio é estabelecer uma posição como gerente de produto. Isso deve ser realizado por um único indivíduo com experiência tanto em domínio quanto em ciência de dados, que tenha responsabilidade direta pela supervisão das rotinas algorítmicas.
Por exemplo, alguns especialistas em dados pediram a criação de uma nova estrutura organizacional que inclua um papel de “xerife da inovação” – alguém que seja respeitado tanto por cientistas de dados quanto por especialistas de campo. Dada sua conhecimento e experiência em ambas as áreas, essas pessoas podem ganhar o respeito da organização desenvolvendo e mantendo “canais de comunicação bidirecionais de alta largura de banda” que ajudam a garantir que as rotinas algorítmicas sejam capazes de se adaptar a mudanças ambientais.
Outra prática de construção de pontes é chamada de explicabilidade do modelo: descrever os modelos algorítmicos de maneira prática e compreensível. Para os cientistas de dados, essa explicabilidade pode facilitar o acesso ao conhecimento especializado necessário para contrariar as fontes de inércia algorítmica; para os especialistas do domínio, essa explicabilidade pode ajudá-los a desenvolver uma compreensão profunda e intuitiva de como o modelo leva em conta as mudanças ambientais. A explicabilidade do modelo estabelece um terreno comum entre dois grupos de profissionais que têm diferentes tipos de expertise. Tais práticas permitem que as organizações construam pontes em vez de apenas falar sobre elas.
Organizações que buscam obter os benefícios de análises preditivas poderosas estão cada vez mais enfrentando o problema da inércia algorítmica. Apesar de alavancar algoritmos dinâmicos para se adaptar às mudanças no ambiente, as organizações podem descobrir que os resultados não estão acompanhando os novos desenvolvimentos. Ao expor dados e pressupostos, redesenhar periodicamente rotinas algorítmicas, assumir que seus modelos falharão e construir pontes, as organizações podem aumentar a probabilidade de que seus substanciais investimentos em soluções algorítmicas resultem em uma melhor tomada de decisões.
Quatro Fontes de Inércia Algorítmica
Questões organizacionais e de processo podem resultar em algoritmos que não acompanham as mudanças ambientais no domínio de decisão.
Pressupostos Enterrados
A organização utiliza entradas de dados legados para o modelo algorítmico, apesar de reconhecer mudanças significativas no ambiente.
Remodelagem Superficial
A organização faz apenas modificações menores no modelo algorítmico em resposta a mudanças substanciais no ambiente.
Simulação do Futuro Desconhecido
A organização confia excessivamente no modelo algorítmico para prever o ambiente futuro.
Compartimentalização Especializada
As responsabilidades para a rotina algorítmica são divididas entre membros da equipe em papéis distintos baseados em sua expertise especializada.
Fonte:
Periódico MIT Sloan Business Review, 64 – 4 – Outuno de 2023
Sobre os autores:
Vern L. Glaser é professor associado no Departamento de Estratégia, Empreendedorismo e Gestão na Escola de Negócios Alberta da Universidade de Alberta.
Omid Omidvar é professor associado em Organização e Trabalho na Escola de Negócios Warwick da Universidade de Warwick.
Mehdi Safavi é professor sênior em estratégia e organização no Grupo de Estratégia da Escola de Administração Cranfield da Universidade de Cranfield.
Sobre a pesquisa:
Os autores adotaram uma abordagem de estudo de caso histórico para explorar as causas e consequências da inércia algorítmica, focando no uso de algoritmos pela Moody’s para classificar títulos lastreados em hipotecas antes da crise financeira de 2008.
Eles se basearam em relatórios governamentais de investigações oficiais sobre a crise financeira, os quais incluíam extensos depoimentos de testemunhas que lhes permitiram reconstruir efetivamente as mudanças na rotina de classificação de crédito da Moody’s nos anos anteriores.
Eles obtiveram informações úteis sobre a rotina de classificação de crédito da Moody’s a partir de uma investigação de agências de classificação de crédito selecionadas realizada pela Comissão de Valores Mobiliários e Câmbio dos Estados Unidos, bem como de um relatório da Força-Tarefa da Associação de Mercados Financeiros e de Valores Mobiliários sobre Agências de Classificação de Crédito.
Eles também reuniram dados históricos da Moody’s, como relatórios anuais e declarações públicas, e revisaram a cobertura midiática.
Referências usadas nesse artigo:
1. C. Stokel-Walker, “Why Zillow Couldn’t Make Algorithmic House Pricing Work,” Wired, 11 de novembro de 2021, www.wired.com.
2. W. Parker, “Zillow’s Shuttered Home-Flipping Business Lost $881 Million in 2021,” The Wall Street Journal, 10 de fevereiro de 2022, www.wsj.com.
3. O. Omidvar, M. Safavi e V.L. Glaser, “Algorithmic Routines and Dynamic Inertia: How Organizations Avoid Adapting to Changes in the Environment,” Journal of Management Studies 60, no. 2 (março de 2023): 313-345.
4. “Justice Department and State Partners Secure Nearly $864 Million Settlement With Moody’s Arising From Conduct in the Lead Up to the Financial Crisis,” Departamento de Justiça dos Estados Unidos, 13 de janeiro de 2017, www.justice.gov.
5. “The Financial Crisis Inquiry Report: Final Report of the National Commission on the Causes of the Financial and Economic Crisis in the United States,” arquivo PDF (Washington, D.C.: Comissão de Investigação sobre a Crise Financeira, janeiro de 2011), www.govinfo.gov.
7. A. Rona-Tas e S. Hiss, “The Role of Ratings in the Subprime Mortgage Crisis: The Art of Corporate and the Science of Consumer Rating,” em “Markets on Trial: The Economic Sociology of the U.S. Financial Crisis: Part A,” eds. M. Lounsbury e P.M. Hirsch (Bingley, Reino Unido: Emerald Group Publishing, 2010), 115-155.
8. “The Financial Crisis Inquiry Report.”
9. J. Siegel, “Moody’s Mortgage Metrics: A Model Analysis of Residential Mortgage Pools” (Nova York: Moody’s Investors Service, 1º de abril de 2003).
10. “The Financial Crisis Inquiry Report.”
11. D. Lindebaum, V. Glaser, C. Moser, et al., “When Algorithms Rule, Values Can Wither,” MIT Sloan Management Review 64, no. 2 (inverno de 2023): 66-69.
12. V.L. Glaser, “Design Performances: How Organizations Inscribe Artifacts to Change Routines,” Academy of Management Journal 60, no. 6 (dezembro de 2017): 2126-2154.
13. R.W. Hoerl, D. Kuonen e T.C. Redman, “To Succeed With Data Science, First Build the ‘Bridge,’” MIT Sloan Management Review, 22 de outubro de 2020, https://sloanreview.mit.edu.