Ler como um robô

Visão geral

A pergunta. Um computador só guarda 0 e 1. Como é que reconhece a letra que escrevemos à mão num ecrã ou numa carta? A atividade responde com um método real, simplificado o suficiente para caber numa ficha A6: a imagem passa a uma grelha de 35 bits, a grelha passa a um vetor, e o vetor é comparado com os vetores das letras que o robô já conhece. A mais parecida é a resposta.

O que os alunos aprendem. No fim da aula, os alunos devem conseguir:

• converter uma imagem simples numa grelha de 0 e 1 (binarizar) e explicar o que se perde;
• escrever essa grelha como uma única fila de bits (um vetor) e dizer para que serve;
• comparar dois vetores posição a posição e decidir qual é o mais parecido com uma medida simples;
• explicar porque é que contar só as coincidências engana o robô, e porque é que contar as diferenças (distância de Hamming) resolve o problema;
• apontar dois ou três aspetos em que os reconhecedores reais vão mais longe.

O que os alunos fazem. Cinco níveis de fichas A6, cada um com um gesto novo: escrever bits (nível 1), decidir e escrever o vetor (nível 2), reconhecer uma letra comparando com a memória (nível 3), descobrir a falha da medida e trocá-la (nível 4) e desafios em pares (nível 5). Cada aluno recebe uma letra diferente nos níveis 1 e 2, o que dá assunto para comparar com o colega do lado.

Ligação a outras atividades. Se a turma já fez «Números binários» (Primeiros Bits), a ideia de bit está dada; se não fez, a secção «Explicações para o professor» tem o necessário. «Ver como um robô» continua a história com imagens em vez de letras.

Antes da aula

Pré-requisitos

• Contar até 35 e somar sete números pequenos.
• Ler uma grelha por linhas e colunas (como uma tabela).
• Saber o que é um bit ajuda, mas não é necessário: a atividade define-o no diapositivo 5 («círculo pintado é 1, vazio é 0»).

O que preparar

• Abrir Diapositivos (PDF) em ecrã inteiro e verificar que a letra manuscrita dos diapositivos 3 e 5 se vê bem do fundo da sala.
• Imprimir e cortar as fichas (ver tabela). Cortar ao meio na vertical e na horizontal pelas marcas; as marcas estão nas margens e no centro de cada folha.
• Separar os cartões por nível, em cinco montes. Dentro de cada monte, baralhar: os alunos vizinhos devem receber letras diferentes.
• Um lápis e uma borracha por aluno. Uma régua ajuda a seguir as linhas da grelha nos níveis 3 e 4, mas não é necessária.

O que imprimir

As fichas estão em Fichas A6 (PDF), a preto e branco, quatro cartões A6 por folha A4, cada folha com cartões de um só nível. Na Academia de Verão foram impressas frente e verso, quatro por página, sem cor; aqui recomendamos só frente, porque os cartões são cortados e distribuídos um a um.

Regra geral para uma turma de $𝑛$ alunos: níveis 1, 2 e 3, $\frac{𝑛}{8}$ cópias das suas duas páginas (arredondar para cima); nível 4, $\frac{𝑛}{2}$ cópias da página 7; nível 5, $\frac{𝑛}{8}$ cópias da página 8. Para 24 alunos são 33 folhas A4; para 28 alunos, 40.

Fichas A4 (PDF) tem os mesmos 32 cartões, um por página, ampliados ao dobro. Serve para alunos que precisam de letra e células maiores, para projetar um cartão, e para quem prefere «cada exercício numa página», como pediu um dos instrutores da academia.

Tempos

Variante de 45 minutos. Abertura 4, nível 1 8, nível 2 8, nível 3 12, nível 4 8 (só os cartões 4.1 e 4.3), fecho 5. O nível 5 fica para quem acaba cedo ou para uma segunda aula.

Guião da aula

Explicações para o professor

Binarizar: da imagem aos bits

Uma câmara capta milhões de píxeis, cada um com uma cor. Aqui reduzimos a imagem a 35 células (5 colunas × 7 linhas) e a dois valores: 1 se a letra passa pela célula, 0 se não passa. Perde-se informação, de propósito: é o preço de ter algo pequeno que se compara depressa. A grelha 5×7 é a das fichas da Academia de Verão e é também a de muitos ecrãs de texto antigos, em que cada caráter era desenhado em 5×7 pontos. O diapositivo 6 trata da decisão nas células de fronteira; nos sistemas reais a mesma dificuldade leva a usar tons de cinzento (quanto do píxel está coberto) em vez de só 0 e 1.

A caligrafia de cada um

A letra que entra no robô é sempre uma letra escrita por alguém, e duas pessoas nunca escrevem a mesma letra da mesma maneira: a inclinação, a largura, o tremor da mão e a caneta mudam o traço, e o traço muda a grelha. O mesmo A escrito por três pessoas:

00100001000101001010011101000110001

caneta azul, direita · 13 bits a 1 · 0 diferenças para o modelo

00100001000100001010011100100110001

lápis, inclinada · 12 bits a 1 · 3 diferenças para o modelo

00100001000101001010011101001010001

lápis fino, nervosa · 13 bits a 1 · 2 diferenças para o modelo

Entre estes três A há 3, 2 e 5 células diferentes; o modelo A da memória fica a 0, 3 e 2 diferenças de cada um. É por isto que a atividade começa sempre na caligrafia (os cartões trazem letras de quatro mãos diferentes, e nos cartões 2.7, 2.8 e 5.4 a mão é a do aluno) e é por isto que um robô com um só modelo por letra acaba por falhar: a secção seguinte e o nível 5 mostram onde.

Matriz e vetor

A grelha é uma matriz de 7 linhas e 5 colunas. Para a guardar e comparar, aplana-se numa fila de 35 bits, o vetor: linha 1, linha 2, até à linha 7. Chama-se a isto aplanar (em inglês, flattening) e é literalmente o que acontece na memória de um computador, onde tudo é uma sequência. Duas letras na mesma grelha dão vetores do mesmo comprimento, o que permite comparar a posição 1 com a posição 1, a 2 com a 2, até à 35. Nas fichas, a comparação faz-se linha a linha nas grelhas, o que é a mesma coisa sem a fila de 35 dígitos, mais difícil de seguir com o olho.

Medir semelhança: coincidências ou diferenças

Com dois vetores $𝑥$ e $𝑦$ de 35 bits, a medida dos níveis 3 e 4 (primeira parte) conta as posições em que ambos têm 1:

É o produto interno dos dois vetores. Quanto maior, mais parecidas. A falha: só vê o que coincide. Uma letra da memória que contenha a letra lida (o E contém o L) empata com a resposta certa, e um vetor todo a 1 (a «mancha») coincide com tudo, por isso empata ou ganha sempre. Dito de outra forma, a medida favorece quem tem mais 1.

A medida do nível 4 (segunda parte) conta as posições em que os dois vetores diferem:

É a distância de Hamming. Quanto menor, mais parecidas; a própria letra dá 0; a mancha dá 35 menos o número de 1 da letra lida, o pior resultado possível. A distância de Hamming conta o que falta e o que está a mais, e por isso não tem a falha anterior. Para vetores de 0 e 1 é também o quadrado da distância euclidiana, a «distância em linha reta» entre dois pontos, o que liga esta atividade à geometria que os alunos conhecem.

Empates

Com qualquer das medidas pode haver empate (ficha 5.1: o I deslocado fica à mesma distância do I e do T). Um sistema real pode escolher ao acaso, pedir mais informação (que letra vem antes e depois na palavra), ou declarar que não tem a certeza. Boa pergunta para a turma: «Se fosses tu, o que fazias?»

O que os reconhecedores reais fazem de forma diferente

O método da atividade é o vizinho mais próximo (em inglês, nearest neighbour): guardam-se exemplos e escolhe-se o mais parecido. É um método real e, com uma grelha maior e muitos exemplos por letra, funciona bem com dígitos manuscritos. Os sistemas a sério diferem em cinco pontos que vale a pena dizer aos alunos, sem exagerar nenhum:

1. Grelhas maiores e tons de cinzento. Uma referência clássica, o conjunto MNIST de dígitos manuscritos, usa 28 × 28 = 784 píxeis, cada um com um nível de cinzento, em vez de 35 bits.
2. Muitos exemplos por letra. Em vez de um modelo de cada letra, milhares de exemplos escritos por pessoas diferentes; a letra lida é comparada com todos, e a decisão pode ser por maioria entre os $𝑘$ mais próximos.
3. Normalização. Antes de comparar, a letra é centrada e ajustada em tamanho, o que resolve o problema da ficha 5.1. Também se treina com versões deslocadas e rodadas dos exemplos.
4. Características aprendidas. Uma rede neuronal não compara píxel a píxel; aprende, a partir dos exemplos, que combinações de píxeis (um traço horizontal ao meio, uma curva fechada) distinguem as letras.
5. Contexto. Um leitor de palavras usa a letra anterior e a seguinte e um dicionário; um leitor de matrículas sabe o formato das matrículas.

A tabela de diferenças da ficha 5.2 mostra o que fica igual: mesmo nos sistemas reais, as confusões acontecem entre as classes cujas representações estão mais perto.

Soluções

Cada letra manuscrita foi escrita de novo para esta edição, por quatro «escritores» com mão diferente; a solução é a grelha obtida com a regra do diapositivo 6. Nos níveis 1 e 3 os círculos vêm pintados, por isso não há margem; no nível 2 aceitar uma ou duas células diferentes junto à borda.

Nível 1 — Da letra aos bits

Nível 2 — Da grelha ao vetor

Níveis 3 e 4 — comparações

Para cada cartão: a grelha da letra lida e, por letra da memória, as sete contagens por linha e o total. No nível 3 e nos cartões 4.1 e 4.2 contam-se coincidências (maior ganha); nos cartões 4.3 e 4.4 contam-se diferenças (menor ganha).

Nível 5 — Desafios

Erros comuns e como responder

Inclusão

A atividade é toda em papel, sem leitura longa, e cada nível tem um gesto só; mesmo assim, há adaptações que mudam muito para alguns alunos.

Extensões

• Um alfabeto inteiro. Cada aluno desenha uma letra diferente e escreve o seu vetor; a turma junta os 26 e procura, com a tabela de diferenças da ficha 5.2, os pares mais parecidos.
• Tons de cinzento. Repetir o nível 1 com três valores por célula (0, 1 e 2, conforme a letra cobre pouco, algum ou muito do círculo) e ver se a comparação fica mais fiável.
• Várias amostras por letra. Guardar na memória três A diferentes em vez de um e decidir por maioria entre os mais próximos; discutir porque é que os sistemas reais guardam milhares.
• Palavras e contexto. Dar aos alunos uma palavra em que uma letra fica empatada entre duas hipóteses (por exemplo, «Q_ATRO») e ver como o contexto resolve o que a distância não resolve.
• Imagens em vez de letras. A atividade seguinte, «Ver como um robô», descreve imagens por características e usa o mesmo tipo de comparação.

Verificação da aprendizagem

Cinco perguntas rápidas, em voz alta ou numa meia folha, no fim da aula.

1. Uma grelha de 5 colunas e 7 linhas tem quantos bits? 35.
2. O que é o vetor de uma letra? As linhas da grelha escritas uma a seguir à outra, numa fila só de 35 bits.
3. Porque é que contar só os 1 que coincidem engana o robô? Porque ignora o que está a mais: uma letra que contém a letra lida, ou uma mancha toda a 1, empata ou ganha.
4. Como se conta a distância de Hamming entre duas letras? Posição a posição, contando aquelas em que uma tem 1 e a outra tem 0; quanto menor, mais parecidas.
5. Diz uma coisa que os reconhecedores reais fazem e que nós não fizemos. Grelhas maiores com cinzentos; muitos exemplos por letra; centrar a letra antes de comparar; aprender os traços importantes; usar o contexto. Qualquer uma serve.

Fontes e créditos

Atividade da Academia de Verão Primeiros Bits (Instituto Superior Técnico e TreeTree2, 2025 e 2026), guião de instrutores, diapositivos e fichas A6; guião do professor publicado pelo CoTEDI (2025). Esta edição reorganiza os níveis, acrescenta os níveis 4 e 5, substitui as letras manuscritas por desenhos novos e junta as explicações e as soluções. As letras, as grelhas e as soluções foram geradas por programa a partir do mesmo esqueleto de cada letra, pelo que as soluções são verificáveis. Contacto: cotedi@treetree2.org · primeirosbits.org · cotedi.pt