Problem

Despite the increasing need for digital accessibility, the current state of technology is far from inclusive. Individuals with disabilities often face a variety of barriers when trying to access and use technology, such as a lack of keyboard support, poor color contrast, and a lack of alternative text for images. These barriers limit their ability to fully engage with technology and the digital world.

Opportunity

AI has the potential to revolutionize digital accessibility and provide solutions to help individuals with disabilities access technology with ease. AI algorithms can analyze and interpret data, making it possible to detect and correct accessibility barriers. For example, AI can analyze images and provide alternative text for individuals with visual impairments, or it can analyze website designs and offer suggestions for improving accessibility.

One of the ways AI can help improve digital accessibility is by automating the design process. AI algorithms can analyze website designs and offer suggestions for improving accessibility, such as improving color contrast or adding alternative text for images. This can help designers create more inclusive websites and applications from the beginning, reducing the need for retroactive accessibility modifications.

Another way AI can help improve digital accessibility is by providing real-time feedback to individuals with disabilities. For example, an AI-powered screen reader can provide real-time feedback to individuals with visual impairments, helping them navigate websites and applications with ease. Furthermore, AI can also help in the development of assistive technologies, such as speech recognition software or eye-tracking devices, to better serve individuals with disabilities.

In addition to these solutions, AI can also be used to improve digital accessibility through the use of personalized user interfaces. AI algorithms can analyze an individual’s unique needs and preferences, and adjust the interface accordingly. This can provide a more tailored and accessible experience, enabling individuals with disabilities to better engage with technology.

Artificial Intelligence can be used in several ways to assist in digital accessibility. Other solutions could include:

1. Hearing for the Deaf and Hard of Hearing: Speech recognition and speech synthesis technology can be used to translate audio into text and make content accessible to people with hearing loss. In addition, real-time translation into sign languages can also be implemented.
2. Reading for the blind and people with low vision: Optical Character Recognition (OCR) technology can be used to scan and translate text into audio, making the content accessible for people with low vision or blindness.
3. Navigation Accessibility: Artificial Intelligence can be used to develop accessible apps and websites that provide features such as keyboard navigation, image description, and real-time captions.
4. Machine learning to identify accessibility: Machine learning algorithms can be trained to identify accessibility issues in apps and websites, providing recommendations and solutions to improve accessibility.
5. Voice Interaction: Artificial Intelligence can be used to develop voice assistants that help people with physical limitations to interact with devices and applications more easily and intuitively.

Conclusion

In conclusion, AI has the potential to greatly impact the field of digital accessibility, providing innovative solutions that can help individuals with disabilities access technology with ease. From automating the design process to providing real-time feedback, and personalized user interfaces, AI has the power to make the digital world more inclusive and accessible to all. Organizations and individuals need to recognize the potential of AI in this area and invest in its development and implementation so that we can build a more inclusive digital future for everyone.

References

• Accessibility Guidelines for Artificial Intelligence, W3C
• AI for Accessibility, Microsoft
• The Role of AI in Digital Accessibility, The Paciello Group

Context

The use of AI and ML technologies has grown exponentially in recent years, and their impact on society has been profound. However, without proper consideration for accessibility, AI and ML can perpetuate and amplify existing inequalities, particularly for people with disabilities. The design process of AI and ML must prioritize accessibility to ensure that these technologies are usable and accessible to everyone, regardless of their abilities.

Problem

Unfortunately, many AI and ML technologies are not designed with accessibility in mind, leading to barriers for people with disabilities. For example, a voice-based virtual assistant may not be accessible to someone who is deaf or hard of hearing. Similarly, an AI-powered recommendation system that does not consider accessibility may not provide relevant recommendations for users with disabilities.

Objective

The objective of incorporating accessibility into the design process of AI and ML is to create technologies that are usable and accessible to everyone, regardless of their abilities. This includes people with disabilities, as well as older adults, who may have age-related limitations. By considering accessibility from the outset, designers can ensure that AI and ML technologies are inclusive and provide equal opportunities for all users.

Solution

The solution to incorporating accessibility into the design process of AI and ML is to follow established design principles and guidelines. For example, the Web Content Accessibility Guidelines (WCAG) provide a comprehensive set of guidelines for creating accessible web content. Similarly, the Accessible AI toolkit provides guidelines for creating accessible AI systems. These guidelines cover a wide range of accessibility considerations, including keyboard accessibility, color contrast, and alternative text for images.

Incorporating accessibility into the design process of AI and ML also requires designers to conduct user research and testing with people with disabilities. This includes testing prototypes with real users, as well as conducting surveys and interviews to understand their needs and requirements.

Topic of Discussion

One of the key topics of discussion when it comes to the importance of including accessibility in the design process of AI and ML is the issue of fairness and bias. AI and ML algorithms are only as fair and unbiased as the data used to train them. If the data used to train AI and ML algorithms is not representative of all users, including people with disabilities, these algorithms may perpetuate and amplify existing inequalities.

Conclusion

In conclusion, incorporating accessibility into the design process of AI and ML is crucial for ensuring that these technologies are usable and accessible to everyone, regardless of their abilities. By considering accessibility from the outset, designers can create technologies that are inclusive and provide equal opportunities for all users. The solution to this problem involves following established design principles and guidelines, conducting user research and testing with people with disabilities, and addressing issues of fairness and bias in the training data used for AI and ML algorithms.

Incorporating accessibility into AI and ML design is not only a matter of social responsibility, but it also makes good business sense. By creating accessible technologies, companies can tap into new markets, improve customer satisfaction, and enhance the overall user experience. The benefits of accessibility are clear and undeniable, and designers and developers must prioritize accessibility in the creation of AI and ML technologies.

Reference List:

Web Content Accessibility Guidelines (WCAG) 2.1. W3C.

Accessible AI toolkit. Google.

Inclusive Design for Artificial Intelligence. Microsoft.

The Importance of Accessibility in Machine Learning. Fast Forward Labs.

The Double Diamond and Design Thinking Process provide a framework for incorporating digital accessibility into the design process from start to finish. The Double Diamond is a design process model that consists of four stages: Discover, Define, Develop, and Deliver. Design Thinking, on the other hand, is a user-centered approach that involves empathy, experimentation, and iteration.

Discover stage

Understanding the needs of users with disabilities The first stage of the Double Diamond is the Discover stage, where designers research and understand the needs of users with disabilities. This stage is also where designers gain a deeper understanding of digital accessibility laws and guidelines, such as the WCAG 2.1. To ensure that designs are inclusive of all users, designers can conduct user research and testing with people with disabilities. This can include interviews, surveys, and usability tests, and can be done through organizations such as the International Association of Accessibility Professionals (IAAP).

Define stage

Defining accessibility requirements The second stage of the Double Diamond is the Define stage, where designers define the accessibility requirements for the project. This stage is where designers translate the insights gathered in the Discover stage into design requirements. In this stage, designers can also identify any potential barriers that may affect accessibility, such as color combinations or keyboard navigation.

Develop stage

Designing an accessible prototype The third stage of the Double Diamond is the Develop stage, where designers create a prototype of the design. This is where the accessibility requirements defined in the Define stage are put into practice. To ensure an accessible design, designers should follow basic accessibility principles, such as using accessible color combinations, designing for keyboard navigation, incorporating accessible text and images, and testing the prototype for accessibility.

Deliver stage

Finalizing and testing the design The final stage of the Double Diamond is the Deliver stage, where designers finalize and test the design for accessibility. This stage is also where designers receive feedback from users with disabilities and make any necessary changes. Testing the design with automated tools, such as WAVE or aXe, can help designers catch any accessibility issues. However, manual testing is also crucial and allows designers to experience the interface as someone with a disability would. In his article “The Importance of Manual Testing in Accessibility,” author Eric Bailey writes, “Manual testing is an important part of the accessibility process because it allows you to experience the interface as someone with a disability would.”

Conclusion

Incorporating digital accessibility into the design process from start to finish is crucial for ensuring that designs are usable for everyone, regardless of their abilities. The Double Diamond and Design Thinking Process provide a framework for designers to follow, while conducting user research and testing, defining accessibility requirements, and following basic accessibility principles, such as using accessible color combinations, designing for keyboard navigation, incorporating accessible text and images, and testing the prototype for accessibility, all help to create an inclusive and accessible design. By following these guidelines, designers can not only meet legal requirements but also create a more inclusive digital world for all.

Antes de começar, você já sabe como obter os dados?
Se não, acesse: Monitoramento de produtos digitais.

O que são?

As métricas são adotadas para melhorar processos de gerenciamento da qualidade. Por esse motivo, são utilizadas para mensurar defeitos no produto e processos de verificação e validação.

O papel da medição de software é quantificar e/ou qualificar alguns atributos de um produto ou de um processo de software. Comparando essas informações é possível tirar conclusões sobre a qualidade do software. Possibilita ainda mensurar se mudanças organizacionais — adoção de novas ferramentas, funcionalidades, metodologias dentre outros — estão sendo positivas ou não para os processos de desenvolvimento da mesma. Nesse caso são feitas medições antes e depois da mudança a fim de verificar se a mesma foi positiva ou não para a organização (SOMMERVILLE, 2008).

Quais são?

Existem diversas métricas de diversas áreas, e identificar quais são úteis e relevantes para cada caso, é uma das tarefas mais difíceis e que exige bastante planejamento.

Métricas qualitativas e quantitativas

Indicadores quantitativos, como usuários ativos ou receita, medem a quantidade de algo e não sua qualidade. Indicadores qualitativos ajudam a entender porque algo aconteceu, como por exemplo, nível de satisfação dos usuários.

Combinar os dois permite ter uma visão mais equilibrada do que realmente está acontecendo com o produto, além de reduzir o risco de perder de vista o fator de sucesso mais importante: os clientes. Afinal, são eles que compram e utilizam o produto.

Métricas de vaidade Vs. Métricas de valor

Métricas de vaidade são aquelas que mostram dados que podem iludir, e refere-se também ao tamanho da amostragem, como: “nós crescemos 400% neste mês”, mas o crescimento é na ordem de 1 para 10 ou 1 mil para 1 milhão?; “Cresci 100%”, mês passado tinha 1 e nesse tem 2.

Em contrapartida, métricas de valor são aquelas que realmente medem o sucesso do produto e/ou serviço, como: usuários ativos; nível de engajamento; custo de aquisição de cliente; receita e lucro.

Exemplo I: Número de usuários cadastrados ou que usaram o modo free para teste (métrica de vaidade) Vs. usuários ativos (métrica de valor).

Exemplo II: Número de download (métrica de vaidade) Vs. taxa de conversão de sign ups (métrica de valor).

Exemplo III: Número de acessos (métrica de vaidade) Vs. número de produtos vendidos (métrica de valor).

Métrica Única de Sucesso (OMTM)

O conceito One Metric That Matters (OMTM) ajuda a encontrar a métrica correta para a empresa durante suas diferentes fases. A OMTM deve apresentar algumas qualidades, como: responder às questões mais importantes para a organização, forçar o fundador a traçar metas e objetivos dentro de um período de tempo e considerar a organização como um todo, ou seja: todas as fases devem estar interligadas.

Para identificar se uma OMTM é boa, é preciso se certificar que ela seja simples e que a informação seja transmitida de maneira clara e precisa. Além disso, os dados devem ser comparativos e deve haver alta capacidade para gerar mudanças. Números cumulativos ou absolutos não têm muito significado nesse tipo de avaliação — o ideal é um percentual.

Exemplos:

• OMTM do Medium é o tempo de leitura;
• OMTM do Uber é o tempo de chegada do carro;
• OMTM do Netflix é o tempo assistido;
• OMTM do Airbnb é a avaliação da estadia;
• OMTM da Eduk, é a quantidade de cursos que os usuários estão assistindo.

Um detalhe importante sobre isso, é que esse OMTM deve ser sobre o usuário do produto/serviço, e não sobre o produto/serviço em si.

Indicadores Chave de Performance (KPI)

São as métricas mais relevantes, refere-se aos indicadores de sucesso. Informações que permitirão que acompanhe a evolução do produto/serviço. Têm foco nas metas e objetivos que quer atingir.

Exemplo:
A KPI de um cursinho pré-vestibular, seria a porcentagem de alunos aprovados em universidades renomadas.

Classificações

Indicadores de produtividade
Avalia a performance do produto.
Exemplo: Taxa de churn (quantas pessoas deixaram de ser assinantes do produto).

Indicadores de qualidade
Quão errado tem feito as coisas. Taxa de erros e acertos. Verifica também a frequência de retrabalho.
Exemplo: Número de undeploy (quantidade de vezes que um software tentou ser colocada em produção e precisou voltar por algum erro).

Indicadores de capacidade
Qual é a produtividade do time e/ou da pessoa.
Exemplo: quantas tasks uma pessoa consegue fazer por dia.

Indicadores estratégicos
Quão próximo está da meta que quer atingir.
Exemplo: aumentar a porcentagem de empresas utilizando o produto.

Pontuação de Promoção em Rede (NPS)

O NPS serve para medir o grau de satisfação do usuários com a empresa, produto, funcionalidade e/ou serviço.

Site com bastante conteúdo relacionado a esta métrica: satisfacaodeclientes.com/

Como colher o feedback?

“Qual a probabilidade de recomendar o produto a um amigo?”

Resultado
• Entre 1 e 6, não gostaram, são usuários detratores, aqueles que vão falar mal do produto por não terem gostado.
• Entre 7 e 8, são usuários passivos, não vão falar mal do produto, mas também não vão indicar para outros. Não são clientes leais nem entusiastas.
• Entre 9 e 10, são usuários promotores, vão divulgar positivamente o produto para a rede de contato.
• Solicitar justificativa.

Faixas do NPS
• Entre 75 e 100: zona de excelência
• Entre 50 e 74: zona de qualidade
• Entre 0 e 49: zona de aperfeiçoamento
• Entre -100 e -1: zona crítica

Como calcular a porcentagem de NPS

& NPS = % Promotores — % Detratores

Exemplo:

55% — 20% = 35% → ruim, precisa aperfeiçoar.

Taxa de cliques (CTR)

O CTR (Click Through Rate) representa o número de vezes que os usuários clicaram em determinada ação em relação ao total de vezes que essa ação foi proposta para ele.

Como calcular

Dividir o número total de cliques pelo número de vezes que o elemento foi exibido.

Exemplo:

10 cliques / 1000 visualizações x 100 = 1% CTR

O que fazer quando o CTR está abaixo do esperado
• Focar mais na linguagem do público alvo
• Incluir imagens que tocam os usuários
• Melhorar o call-to-action
• Analisar o funil de conversão para fazer ajustes mais precisos

Exemplo:

Usuários Ativos Diariamente (DAU)

O DAU (Daily Active Users) mede o quanto você consegue fidelizar os seus usuários.

Exemplo: O Facebook não mede seu sucesso pelo número de usuários cadastrado (alguns já não estão mais vivos), então precisa medir o sucesso com usuários que estão interagindo (like, comentário, e etc) dentro de sua plataforma.

Se os usuários pagantes estão inativos, logo vão deixar de ser pagantes.

É mais barato manter um usuário do que conseguir novos.

Usuário ativo
Acessa a plataforma e realiza uma ação.

Usuários Ativos Diariamente — DAU (Daily Active Users)
Exemplos de ferramentas: e-mail, calendário, jogos, e etc.

Usuários Ativos Semanalmente — WAU (Weekly Active Users)
Exemplos de ferramentas: Fóruns, Analytics, e etc.

Usuários Ativos Mensalmente — MAU (Monthly Active Users)
Exemplos de ferramentas: contabilidade, viagem…

Então depende do caso para medir o uso do produto.

Taxa de Abandono — Churn Rate

Refere-se a taxa de pessoas que deixam de ser assinantes. Representa o número de cancelamento mensal pelo número de usuários ativos.

Condição básica para o sucesso:
Growth Rate (taxa de crescimento) > Churn Rate (taxa de cancelamento)

Ações:
• Manter boa qualidade com novos e velhos usuários
• Ações de bom relacionamento
• Sucesso do cliente = sucesso para o negócio.

Lifetime Value (LTV) e Custo de de Aquisição do Cliente (CAC)

Lifetime value ou “Valor de vida do cliente” é o quanto que seu cliente te entrega enquanto é assinante produto.

Exemplo I:

O cliente assina por 6 meses, e a assinatura mensal é de R$ 100, então a LTV vai ser de R$ 600.

6 meses x 100 reais = 600 reais

Isso mostra quanto se pode investir no cliente, então o CAC < LTV.

Exemplo II:

Á proporção (CAC:LTV) de 1:3 ou 1:5 é considerada boa.

Exemplo III:

R$ 1,00 investido, R$ 3,00 de retorno. Se o LTV é de R$ 1.000,00, o CAC deve ser de R$ 200 a R$ 333.

Linha de base
Linha de base são os números atuais.
• Número de visitante
• Número de páginas visitadas
• Tempo de sessão
• Fontes de tráfego

Felicidade, Engajamento, Adoção, Retenção e Sucesso de tarefa — HEART

Para utilizar este framework, deve-se definir quais são os objetivos, depois entender quais são os sinais que o mercado da, e por fim, quais são as métricas que serão medidas.

Etapas

Objetivos
• Discuta com a equipe quais são esses objetivos
• Gere consenso de onde querem chegar

Sinais
• O que alertará que algo ocorreu?
• Quais são os sinais de insucesso?
• Qual é a dificuldade de coletar?

Métricas
• Refinar a discussão em relação aos objetivos
• Priorize o que deseja medir
• Reavalie periodicamente

Como usar

Felicidade

Mede a satisfação do usuário

Métricas para usar
• NPS.
• Ou qualquer outra pesquisa de satisfação.

Engajamento

Medir o quanto o usuário interage com o produto.

Adoção

Métricas que vão mostrar se as pessoas estão aderindo ao produto e o uso de novas funcionalidades.

Métricas para usar
• Growth rate (taxa de crescimento)

Retenção

Refere-se a porcentagem de usuários ativos pela unidade de tempo definido. Deve-se diminuir o Churn Rate para aumentar a Retenção.

Métricas para usar
• Churn Rate
• LTV.

Sucesso de tarefas

O quanto seus usuários estão conseguindo completar as tarefas que ele queria completar.

Métricas para usar
• Tempo de uso para realizar a tarefa
• Quantidade de tarefas completadas
• Quantidade de erros

Aplicação

Sucesso não é marcar uma caixinha. Sucesso é ter impacto. Se você completar todas as tarefas e nada melhorar, isso não é sucesso. — Christina Wodtke (Coach de OKR)

Depois de tudo que leu neste artigo, você já sabe como obter os dados?
Se não, acesse: Monitoramento de produtos digitais.

Todos sabem como feedback é de extrema importância, então, deixe o seu aqui em baixo, por favor! Obrigado!

Utilizar uma ferramenta dentro de um produto para obter alguns dados previamente definidos para medir o sucesso do produto.

Antes de começar, você já sabe quais são as métricas que irá acompanhar?
Se não, acesse: Métricas para medir o sucesso de produtos digitais

Por que monitorar?

A análise do usuário ajuda você a aprender como os usuários interagem com seus produtos, experiências e campanhas para que você possa melhorá-los.

Podemos medir seus efeitos no engajamento do produto (por exemplo, exibições de página, tempo no site, etc.) e conversões (inscrições e vendas). Mas como medimos e testamos diretamente a UX?

Cases da Amazon:

A empresa começou a medir, e observou que quando o tempo de carregamento dos produtos dela levava 100ms a mais, suas vendas caíram 1% (a performance do site gerava um declínio nas vendas).

Em seus testes, também notaram que o cadastro estava gerando algum tipo de problema para os usuários completarem aquela etapa, mesmo o formulário sendo muito simples de usar. Quando resolveram reduzir esse formulário e permitiram que as pessoas continuassem o processo sem necessariamente precisar se cadastrar, eles tiveram um aumento naquele ano de 40%, o que deu mais de 300 milhões de dólares, o que dá mais de 1 bilhão de reais.

Fonte 1 e Fonte 2.

Objetivo geral

Receber dados para medir o sucesso do produto.

Objetivos específicos

• Entender as jornadas dos usuários.
• Identificar quais são as features mais utilizadas
• Verificar quais features não estão sendo usadas
• Apontar pontos onde usuários estão tendo dificuldades para usar
• Obter dados precisos para as métricas que medem o sucesso do produto

Como monitorar?

Para obter as informações de uso dos usuários, existem no mercado diversas ferramentas que são “inseridas” dentro do código através de scripts para fazer este trabalho.

Opções de ferramentas

Listei algumas das principais ferramentas que encontrei e comparei suas principais funcionalidades. É interessante observar que algumas ferramentas se completam, mas não entrarei no mérito técnico se é ou não viável utilizar mais de uma ferramenta dentro de um único sistema.

Comparação:

Já sabe quais métricas podem ser úteis para você?
Se não, acesse: Métricas para medir o sucesso de produtos digitais.

Todos sabem como feedback é de extrema importância, então, deixe o seu aqui em baixo, por favor!