Os designers de produtos digitais voltados para o consumidor têm tendido a focar na novidade e na velocidade (o famoso “mova-se rápido e quebre as coisas”). Eles dedicaram mais esforço à inovação do que a antecipar como os clientes — e agentes mal-intencionados — poderiam interagir com os produtos. Mas, à medida que os produtos digitais se tornam a principal forma de os consumidores se conectarem com outras pessoas, realizarem pagamentos e armazenarem informações privadas, essa visão precisa mudar. Os autores defendem que as empresas devem incorporar proteções no núcleo de seus produtos digitais — começando desde as fases iniciais do processo de design. Elas também precisam estabelecer um plano para melhorias contínuas e um diálogo com os clientes. O modelo de segurança desde o design pode facilitar a inovação, em vez de restringi-la, ao fornecer uma abordagem fundamentada para o desenvolvimento de produtos.
Três anos após a morte de seu marido, Alice se cadastrou em um aplicativo de namoro. A plataforma, impulsionada por algoritmos avançados, orgulha-se de conseguir conectar pessoas que, de outra forma, talvez nunca se encontrassem. Alice logo começou a conversar com Jim, que morava do outro lado do país. Ele compreendia a dor e a solidão de Alice porque também havia perdido seu parceiro recentemente. Seis meses após se conhecerem no aplicativo, Jim foi demitido. Ele ficou profundamente deprimido. Acumulou dívidas. Alice fez o possível para consolá-lo. Ela até lhe enviou dinheiro. Mas, poucos dias depois que o cheque foi descontado, Alice ficou devastada ao descobrir que Jim havia desativado sua conta. Após uma investigação policial, ela soube que Jim não era real: golpistas haviam criado uma persona para explorá-la — e ela não era a única vítima. Os golpistas miravam usuários vulneráveis, explorando justamente a facilidade e a escala que tornavam o serviço tão atraente e inovador.
Plataformas de namoro estão longe de ser o único tipo de produto digital com esse tipo de vulnerabilidade. À medida que as empresas correm para lançar recursos e produtos digitais, muitas vezes ignoram riscos potenciais. Mesmo produtos digitais aparentemente inofensivos apresentam perigos imprevistos que podem possibilitar condutas criminosas terríveis. Considere o Telegram, um aplicativo de mensagens que promove seus recursos de criptografia e anonimato. Em 2019, um sul-coreano chamado Cho Joo-bin usou a plataforma para atrair adolescentes e jovens mulheres, induzindo-as a revelar informações pessoais. Ele então as chantageava para que compartilhassem vídeos pessoais explícitos, que ele vendia online. Em 2020, as autoridades condenaram Cho a 40 anos de prisão.
À medida que as interações dos consumidores com produtos e plataformas digitais aumentam, mais empresas estão reconhecendo a necessidade de focar na segurança de seus produtos digitais desde as fases mais iniciais do desenvolvimento. O desenvolvimento de produtos que consideram a segurança como uma característica essencial não é, por si só, algo novo. Em indústrias como a automobilística e a de aviação, a segurança é priorizada durante o design do produto. Mas os designers de produtos digitais voltados para o consumidor tendem a focar na novidade e na velocidade — “mova-se rápido e quebre as coisas” — criando uma cultura de desenvolvimento de produtos na qual o bem-estar do cliente não tem sido uma preocupação central. À medida que os produtos digitais envolvem cada vez mais conexões pessoais, pagamentos e nossas informações mais privadas, essa visão precisa mudar — assim como a forma como esses produtos são desenvolvidos.
Estamos defendendo um novo modelo de desenvolvimento de produtos. Passamos mais de uma década pesquisando segurança e comportamento do consumidor em relação a produtos digitais, ensinando segurança online para mais de 200 profissionais e realizando palestras sobre o tema em locais como as Nações Unidas e a Harvard Business School. Defendemos que as empresas que desenvolvem produtos digitais inovadores devem incorporar proteções em seu núcleo — começando nas fases mais iniciais do processo de design. Elas precisam estabelecer um plano para melhorias contínuas e abrir um diálogo com os clientes. A segurança não deve ser um complemento, mas uma característica fundamental do produto. A segurança de um produto deve valer para todos os usuários, incluindo os mais vulneráveis. Pode parecer que queremos impor uma restrição adicional a equipes de desenvolvimento de produtos já muito sobrecarregadas. Mas o modelo que recomendamos, segurança desde o design (SBD), pode facilitar a inovação, em vez de restringi-la, ao fornecer uma abordagem fundamentada para o desenvolvimento de produtos.
Um modelo em três etapas
Empresas inteligentes implementam a SBD usando um modelo de três etapas: elas alinham as prioridades organizacionais em torno da segurança, incorporam considerações de segurança nos processos de desenvolvimento de produtos e promovem o engajamento e o feedback contínuo dos usuários.
Alinhar-se em torno da segurança. O apoio de toda a organização a um foco em segurança é crucial. Empresas inteligentes falam sobre segurança como uma prioridade central e a incluem explicitamente em suas missões e valores. Considere como a OpenAI descreve sua abordagem ao desenvolvimento de produtos em seu estatuto publicamente disponível:
Estamos comprometidos a realizar a pesquisa necessária para tornar a AGI \[inteligência artificial geral] segura e a promover a ampla adoção dessa pesquisa em toda a comunidade de IA. Estamos preocupados com o fato de o desenvolvimento tardio da AGI se tornar uma corrida competitiva sem tempo para precauções de segurança adequadas. Portanto, se um projeto alinhado em valores e consciente da segurança estiver perto de construir a AGI antes de nós, comprometemo-nos a parar de competir e a começar a ajudar esse projeto. Trabalharemos os detalhes caso a caso, mas uma condição típica de acionamento pode ser “uma chance maior do que 50% de sucesso nos próximos dois anos”.
Outra forma de uma organização demonstrar que a segurança é um valor central é incorporá-la à sua estrutura organizacional. Isso pode significar elevar um executivo responsável pela segurança ao nível da alta diretoria ou tomar outras medidas para aumentar a visibilidade e a influência da segurança no organograma. Por exemplo, na OpenAI, quatro equipes relacionadas à segurança — política, segurança, proteção e red teaming (um grupo que simula ataques cibernéticos para avaliar a segurança) — atuam durante todo o processo de desenvolvimento de produtos. Elas trabalham de forma colaborativa para identificar e abordar riscos potenciais associados às tecnologias de IA. Devido ao seu compromisso com o desenvolvimento responsável de IA, a empresa prioriza a engenharia e a pesquisa em aprendizado de máquina sobre questões urgentes de risco.
As empresas também devem comunicar seu compromisso com a segurança aos clientes e partes interessadas externas. Elas devem destacar ferramentas específicas e escolhas de design que comprovem esse compromisso. Quando os usuários percebem que seu bem-estar é uma prioridade, eles passam a confiar na organização, acreditando que ela está ativamente trabalhando para proteger seus interesses, mesmo reconhecendo que nenhum produto está livre de riscos.
As empresas devem comunicar não apenas suas intenções e compromissos, mas também seus resultados. Por exemplo, o Microsoft Xbox publica relatórios de transparência duas vezes por ano, que mostram estatísticas de aplicação relacionadas aos seus padrões de comunidade. Os relatórios demonstram que a Microsoft fala sério quando pede aos usuários que sigam essas regras. Ao compartilhar a trajetória de aprendizado da empresa e demonstrar seu progresso, a Microsoft ajuda os consumidores a participar do diálogo contínuo sobre riscos de segurança nas comunidades de jogos.
Incorporar a segurança ao design do produto. Assim como a pesquisa de mercado fornece dados fundamentais para os desenvolvedores de produtos, as empresas que utilizam o modelo de segurança desde o design usam estruturas de avaliação de riscos nas fases mais iniciais da concepção do produto para entender melhor as vulnerabilidades e identificar oportunidades de reduzi-las ou eliminá-las. A filosofia de design exige que gerentes de produto e engenheiros abordem riscos potenciais de forma proativa, em vez de colocar os produtos no mercado e esperar para ver como os usuários podem explorá-los.
A avaliação de riscos deve evoluir ao longo do ciclo de vida de um produto digital. Uma equipe de segurança desde o design precisa buscar novas necessidades e tendências dos usuários, muitas vezes em estreita comunicação com equipes de experiência do usuário, equipes jurídicas e até os próprios usuários finais. Essa etapa do modelo funciona porque capacita aqueles que têm uma visão ou uma preocupação sobre riscos a compartilhá-la.
Promover o engajamento contínuo. Comunicar sobre segurança ajuda a construir confiança com os usuários e os encoraja a se envolver em questões de segurança. Uma empresa pode aumentar o engajamento pedindo aos usuários e à comunidade que usem seu produto de uma maneira alinhada com sua visão. Por exemplo, o Pinterest adota uma abordagem única com seu Código do Criador, que pede aos usuários para “se expressarem… mas com gentileza”. Em vez de focar apenas em comportamentos proibidos, o código descreve comportamentos positivos específicos que incentiva na plataforma. O Pinterest também destaca o apoio ao código de alguns de seus principais criadores, aumentando assim a legitimidade e a eficácia da iniciativa.
Quando uma empresa prioriza a segurança dentro de sua organização e em seu fluxo de desenvolvimento de produtos, os usuários tendem a perceber.
Uma empresa também pode impulsionar o engajamento comunicando atualizações regulares de progresso, bem como o acúmulo de seu aprendizado e mudanças ao longo do tempo. Fazer isso reforça a ideia de que a própria empresa está disposta a aprender, tanto com seus erros quanto com sua comunidade, o que, por sua vez, incentiva os consumidores a fornecer feedback. Considere novamente o Pinterest, que publica uma linha do tempo de suas iniciativas que mostra o compromisso contínuo da empresa em adotar políticas que protejam os usuários. O Airbnb oferece outro exemplo desse princípio em ação. A empresa publicou um histórico narrativo de sua proibição de festas, detalhando a evolução de suas políticas e o raciocínio por trás delas. Ajudar os usuários a entender o contexto das regras pode aumentar a disposição deles em cumpri-las.
As empresas que cumprem seus compromissos, compartilham o que aprendem e aplicam consistentemente as regras demonstram que suas iniciativas de segurança são parte integrante de suas operações. Pelo exemplo, elas encorajam os usuários a levar os riscos a sério e a modificar seu comportamento de acordo. Além disso, como os usuários entendem que o processo de desenvolvimento do produto está evoluindo continuamente, eles são menos propensos a buscar um produto “perfeito”; eles estão dispostos a interagir com uma empresa que demonstra seu compromisso com o aprendizado e a atualização de seus produtos de forma centrada no usuário.
Como as empresas usam o modelo
O modelo de três etapas permite que as empresas priorizem a segurança sem sufocar a inovação. Vamos ver como algumas empresas implementaram proteções em seus produtos enquanto facilitavam a inovação, impulsionavam as vendas e melhoravam o relacionamento com os clientes.
A Snap Inc., controladora da empresa de mídia social Snapchat, integrou os princípios de segurança desde o design em sua plataforma. Reconhecendo os riscos potenciais associados à comunicação digital, a Snap tornou prioridade proteger os usuários, especialmente os membros mais jovens da comunidade, de conteúdos e interações prejudiciais. Por exemplo, o Snapchat introduziu o recurso Here for You em 2020, que fornece recursos locais de saúde mental quando os usuários pesquisam termos associados a crises, como ansiedade, luto ou bullying. O Here for You incorpora de forma eficaz um recurso de segurança importante em uma oferta central do produto — a busca por vídeos.
Outro exemplo notável das iniciativas de segurança do Snapchat é seu programa Trusted Flagger, que permite que ONGs, agências governamentais e parceiros de segurança relatem conteúdos que violam as diretrizes da comunidade. Relatórios de sinalizadores confiáveis são imediatamente priorizados, permitindo que a empresa identifique e remova rapidamente conteúdos particularmente perigosos. De fato, conteúdos sinalizados geralmente são removidos em até 15 minutos, impedindo a disseminação e tornando a plataforma mais inclusiva e acolhedora, mesmo para os usuários que correm maior risco de serem alvos desse tipo de conteúdo. Esforços como esse ajudaram a Snap a se envolver de forma cooperativa com especialistas do setor e coalizões que anteriormente eram críticos frequentes de seu produto.
O Tinder, a maior plataforma de namoro online do mundo, é outra empresa que prioriza a segurança no design de suas ofertas. Uma série de recursos de design de produto, como verificação de fotos, uma equipe dedicada a fraudes e ferramentas de educação do usuário, ajuda a mitigar golpes de falsificação de identidade, como os mencionados no início deste artigo. E em maio de 2021, o Tinder lançou o Are You Sure? (Você tem certeza?), que usa IA para detectar linguagem prejudicial nas mensagens antes de serem enviadas. Quando tal linguagem é identificada, o sistema solicita aos remetentes que reconsiderem suas palavras. O recurso Are You Sure? mudou a forma como os usuários interagem, criando um ambiente mais respeitoso: usuários que encontraram o aviso “Você tem certeza?” foram menos propensos a serem denunciados por mensagens inadequadas no mês seguinte. No Plenty of Fish, aplicativo irmão do Tinder, houve uma redução de 84% nos avisos de “Você tem certeza?” acionados apenas alguns meses após o lançamento do recurso. Os usuários adaptaram seu estilo de comunicação para ser mais respeitoso.
O programa Are You Sure? fez parte de uma iniciativa de segurança mais ampla e multifacetada no Match Group, empresa controladora do Tinder. (Um de nós, Tomomi, é ex-diretora de segurança desde o design no Match Group.) A filosofia de segurança desde o design foi incorporada de forma permanente ao processo de desenvolvimento de produtos no Match Group. Uma equipe dedicada à segurança revisa todos os novos produtos e recursos. Ela garante que as considerações de risco sejam abordadas desde a concepção até o lançamento, trabalhando de perto com as equipes de produto, engenharia, jurídica e de privacidade. Ao integrar a equipe de segurança desde o design no processo de desenvolvimento de produto, em vez de alocá-la em grupos jurídicos, regulatórios ou de conformidade, o Match Group demonstra que o bem-estar do usuário pode ser uma parte fundamental do desenvolvimento de produtos.
O aumento da segurança do produto frequentemente promove a inclusão ao reduzir a quantidade de comportamentos negativos que grupos marginalizados experimentam, uma ocorrência infeliz e frequente na cultura digital. Por exemplo, o TikTok usa algoritmos de inteligência artificial e supervisão humana para identificar assédio ou bullying — especialmente de menores, que são os usuários mais engajados e mais vulneráveis da plataforma. E o modo de segurança do YouTube restringe conteúdos para garantir que menores não possam interagir com ou visualizar conteúdos explícitos ou inadequados. Nesses casos, os princípios de segurança desde o design são incorporados aos produtos por meio de tecnologias avançadas de detecção e mitigação. Pesquisadores da Universidade Médica Bangabandhu Sheikh Mujib determinaram que sistemas de detecção baseados em aprendizado de máquina são até 91% eficazes na identificação de comportamento de cyberbullying e assédio, sendo muito mais rápidos do que detectores humanos.
Adaptação contínua
Quando uma empresa prioriza a segurança dentro de sua organização e em seu fluxo de desenvolvimento de produtos, os usuários tendem a perceber. Sabemos que isso é verdade porque conseguimos rastrear o engajamento dos clientes após o alinhamento organizacional sobre segurança. Os usuários entendem que a versão atual do produto não é perfeita e confiam que a empresa continuará a refiná-lo e melhorá-lo. Além disso, eles também são mais propensos a mudar seu comportamento e colaborar com a empresa para aprimorar o produto. Esse não é um fenômeno novo: um estudo de 2008 no Journal of Interactive Marketing mostrou que sinais de segurança, como atualizações de produto, garantias de segurança e transparência no desenvolvimento de produtos, ajudam a reduzir a percepção de risco dos usuários e aumentam o engajamento com os produtos.
Esse ciclo de feedback pode criar um círculo virtuoso. Ao contrário das preocupações de que as medidas de segurança prejudicam a inovação, vimos que a segurança desde o design pode impulsionar o desenvolvimento de produtos: o uso de ferramentas de inteligência artificial pelo Tinder para examinar mensagens antes de serem enviadas, por exemplo, e a integração de recursos de saúde pelo Snap em sua funcionalidade principal de busca são designs de produto inovadores que provavelmente não teriam surgido se a segurança não fosse uma parte central do desenvolvimento de produtos.
Outro exemplo é o painel de atividades do Instagram, que ajuda os usuários a monitorar a quantidade de tempo que passam na plataforma. O Instagram decidiu abordar preocupações sobre o uso excessivo e seu impacto na saúde mental por meio do design, apesar de suas preocupações iniciais de que o painel poderia diminuir o tempo que os usuários permaneciam no aplicativo. Ele ofereceu aos usuários a possibilidade de definir lembretes para alertá-los quando atingissem seu limite diário no aplicativo. Além disso, criou um ambiente que pesquisadores da Universidade de Stanford descobriram que provavelmente melhora o bem-estar do usuário, além de aprimorar a experiência geral, levando a um maior engajamento e confiança.
A segurança desde o design bem-sucedida muda efetivamente o comportamento dos usuários. A Uber Japão desenvolveu uma lista de verificação que os ciclistas de entrega devem seguir antes de poderem receber pedidos, e eles devem completar a lista toda vez que fizerem login. Ela envolve revisar e confirmar medidas de segurança importantes, como usar capacete, não usar o celular enquanto pedala, seguir as regras de trânsito, saber quando chamar a polícia em emergências e selecionar a rota correta no aplicativo de navegação. (Tomomi foi a principal desenvolvedora desse recurso do produto.) A lista de verificação funciona porque atinge os ciclistas no momento ideal — quando estão prestes a iniciar suas entregas do dia. O design reflete o princípio da economia comportamental dos empurrões (nudges), que são modificações de baixo custo nos recursos do produto que podem resultar em mudanças comportamentais significativas. O recurso foi posteriormente lançado na Austrália e em outros mercados da Uber.
As empresas não precisam fazer uma grande reformulação no desenvolvimento de produtos para começar. Elas podem incorporar princípios de segurança em pequenas etapas.
A queda significativa nas mensagens “Você tem certeza?” no Tinder indica que os usuários adaptaram seu comportamento para se alinhar mais de perto ao uso pretendido da plataforma. Os esforços do Match Group para promover um ambiente seguro influenciaram a forma como consumidores e outras partes interessadas viam o produto. “Ao transmitir a expectativa de comunicações respeitosas e permitir que os usuários façam uma pausa para repensar uma mensagem que possa ofender, o Tinder está envolvendo sua comunidade para criar uma plataforma mais segura”, disse Scott Berkowitz, presidente da RAINN, a maior organização dos Estados Unidos de combate à violência sexual, em um comunicado publicado pelo Tinder.
Às vezes, incluir segurança no design do produto pode levar a novas linhas de negócios. Tome como exemplo a proibição de festas do Airbnb. Após vários casos amplamente divulgados de usuários do Airbnb organizando grandes festas em residências, a empresa implementou a proibição e comunicou claramente seu motivo aos usuários e anfitriões. A empresa explicou que a segurança de sua comunidade e dos bairros ao redor das propriedades alugáveis era sua prioridade. Muitos anfitriões (e seus vizinhos) receberam bem a proibição. E a plataforma observou uma queda de 44% ano a ano na taxa de relatos de festas perturbadoras. Ainda assim, vários anfitriões do Airbnb queriam poder receber casamentos, festas ou outros grandes eventos em suas propriedades. Assim, a empresa introduziu categorias de aluguel; anfitriões com propriedades maiores que podem acomodar com segurança mais de 16 pessoas podem fazê-lo, mas a proibição oficial de festas para listagens menores continua em vigor. O Airbnb encontrou uma forma de gerar uma nova fonte de receita enquanto também protegia a segurança e os interesses dos anfitriões e de seus vizinhos.
Começando
As empresas não precisam fazer uma grande reformulação no desenvolvimento de produtos para começar. Elas podem incorporar princípios de segurança em pequenas etapas. Recomendamos começar com uma avaliação de riscos. Comece elaborando perguntas adaptadas ao seu contexto específico. Essas perguntas devem partir de questões básicas, como: Qual é o risco? Quais são as consequências se o risco não for abordado? Qual é o nível do risco? Qual é a probabilidade do risco? Suas respostas alimentarão conversas sobre o que pode acontecer quando consumidores de diversos perfis e preferências usam seu produto.
Embora imaginar riscos potenciais possa ser desafiador, envolver gerentes de produto na avaliação ajudará a avançar essa conversa. Os gerentes de produto devem se comprometer a integrar a segurança ao design. Eles também devem responder a perguntas importantes, como: Como o risco será monitorado? Quando o risco será reavaliado? Ter um diálogo contínuo com o gerente de produto é coerente com o espírito da segurança desde o design e ajuda a ampliar o escopo de riscos que podem não ter sido aparentes inicialmente ou que estavam ocultos no processo de desenvolvimento do produto. Outras partes interessadas, incluindo as equipes jurídicas e de privacidade corporativas, também são recursos úteis para detalhar riscos e desafios adicionais.
A avaliação de riscos deve refletir os diversos casos de uso do produto. É impossível imaginar todas as maneiras pelas quais os consumidores podem usar (ou abusar de) um produto, mas é útil adotar uma visão ampla desde o início.
A presença de risco não significa que um novo produto ou recurso não deva ser introduzido. Pelo contrário, é um ponto de partida para um diálogo entre o defensor da segurança, gerentes de produto e outras partes interessadas. Um passo concreto a ser dado é identificar os níveis relativos de prioridade entre os riscos identificados, considerando o cronograma e os recursos disponíveis. A equipe de produto pode então decidir se deve agir imediatamente para mitigar um risco ou aceitá-lo por enquanto.
Outro passo importante é configurar sistemas para monitorar e abordar continuamente ameaças e vulnerabilidades online. A avaliação de riscos deve ser vista não como um evento único, mas como um compromisso contínuo com a segurança do produto. Portanto, esses sistemas devem ser atualizados constantemente ao longo do tempo.
Algumas organizações construíram modelos para tipos de risco acumulando conhecimento de avaliações anteriores. Elas então classificam os riscos inerentes a novos produtos para agilizar o processo de avaliação. Por exemplo, um produto online que envolva conteúdo gerado por usuários pode ter categorias de risco relacionadas a “conteúdo gerado por usuários”, “má conduta envolvendo menores”, “dano offline” e “viés algorítmico”. O objetivo aqui não é tentar cobrir todos os riscos possíveis (o que é impossível), mas sim ter uma abordagem fundamentada para a avaliação de riscos.
O modelo de segurança desde o design não exige uma reformulação completa dos processos de uma empresa. Mesmo pequenos ajustes derivados de uma avaliação de riscos podem, gradualmente, levar a mudanças organizacionais mais significativas. Isso pode se manifestar como uma mudança no fluxo de trabalho geral de desenvolvimento de produtos da empresa ou como uma nova fonte de receita, como vimos com o Airbnb.
A segurança desde o design exige aprendizado contínuo, adaptação e melhoria. Empresas que incorporam esse conceito no desenvolvimento de produtos e na cultura organizacional construirão confiança com seus usuários. Elas também melhorarão a experiência do usuário, o que levará a um maior engajamento — ambos contribuindo para o sucesso a longo prazo.
Fonte:
Uma versão deste artigo foi publicada na edição de maio–junho de 2025 da Harvard Business Review.
Sobre os autores:
Tomomichi Amano é professor assistente de administração de empresas na Harvard Business School.
Tomomi Tanaka é fundadora do Safety by Design Lab e professora adjunta na Universidade Kindai, em Osaka.