Projeto acadêmico de reconhecimento do alfabeto em LIBRAS

LibrasFlow:
onde os gestos viram palavras.

O LibrasFlow utiliza visão computacional para mapear com precisão 21 pontos das mãos e reconhecer o alfabeto da LIBRAS em tempo real. Uma solução leve, rápida e que funciona direto no seu navegador.

Testar com minha câmera Entender o método

Sem instalar nada. As imagens ficam no seu dispositivo.

Poses reais extraídas do conjunto de dados do projeto

0 amostras de mãos
no conjunto de dados

0 letras do alfabeto
reconhecidas

0 coordenadas por mão
(21 pontos em x, y, z)

<0 de resposta por quadro,
do gesto à letra

Demonstração ao vivo

Faça um sinal. Veja a letra aparecer.

Ative a câmera, mostre uma das mãos e faça uma letra do alfabeto em LIBRAS. Segure o sinal por um instante: o anel em volta da letra fecha quando o reconhecimento se firma.

A imagem da sua câmera aparece aqui

Todo o processamento acontece dentro do seu navegador.

0 fps

Para o melhor resultado: boa iluminação, fundo limpo e a mão inteira dentro do quadro. O modelo lê uma pose por vez, então reconhece as 21 letras que se fazem com a mão parada.

Como funciona

Da imagem à letra, em seis passos

Cada quadro da câmera vira uma estrutura geométrica de 21 pontos, e é sobre essa estrutura que o modelo decide. A abordagem mantém o sistema leve e estável diante de variações de luz, fundo, roupa e tom de pele.

01
Captura

Cada quadro da câmera entra no fluxo espelhado, para você se ver como num espelho.
02
Detecção da mão

O MediaPipe localiza a mão e devolve 21 pontos de referência: juntas, articulações e pontas dos dedos.
03
Coordenadas

Cada ponto tem x, y e z. O eixo z guarda profundidade, e é ele que separa sinais em que um dedo passa na frente do outro.
04
Normalização

Os pontos são centrados no pulso e divididos pelo maior valor. A mesma letra vira o mesmo vetor, perto ou longe da câmera, em qualquer canto do quadro.
05
Classificação

Um modelo treinado com dezenas de milhares de mãos recebe as 63 coordenadas e devolve a letra mais provável.
06
Filtro de estabilidade

A letra é confirmada depois de se repetir em vários quadros seguidos, o que mantém a leitura firme enquanto a mão passa de um sinal para o outro.

Os 21 pontos que o MediaPipe devolve para cada mão. O ponto 0 é o pulso, e é nele que todas as outras coordenadas são ancoradas.

Alfabeto

As 21 letras que o modelo aprendeu

Cada mão abaixo vem de uma amostra real do conjunto de dados: a mais representativa de cada letra, traçada com os mesmos 21 pontos que o modelo recebe.

Letras com movimento: são traçadas com uma trajetória da mão, e não com uma pose fixa. Reconhecê-las pede um modelo que leia sequências no tempo — o próximo passo do projeto.

Próximos passos

O que vem depois

Reconhecer os sinais com movimento (H, J, K, X, Z) com um modelo sensível ao tempo
Ampliar o conjunto de dados com mais pessoas, mãos e cenários
Detectar as duas mãos ao mesmo tempo
Avançar do alfabeto para sinais de palavras inteiras

Créditos