Introdução à tecnologia de imagem 3D de visão automática (II)

Luz estrutural

Luz Estruturada (Structured Light), que usa um diodo laser (LD) ou um processador de luz digital (DLP) para projetar padrões pré-projetados com estruturas especiais (como manchas discretas, raias, luz estrutural codificada, etc.) sobre o objeto, usando outra câmera para observar a deformação do padrão refletido através de diferentes alturas do objeto, se a superfície do objeto é plana, o padrão de luz estrutural observado é semelhante à projeção, sem deformação, mas uma certa mudança de escala ocorre de acordo com a distância. No entanto, se a superfície do objeto de medição é irregular, com alta ou baixa diferença, o padrão de luz estrutural observado terá diferentes graus de deformação com a mudança de altura do objeto de medição, com base nessas deformações, a informação de localização e profundidade do objeto de medição pode ser calculada.

A imagem fotográfica estrutural é geralmente dividida em três etapas (técnica de projeção de faixas, por exemplo):

第1Passo, a faixa é gerada:Gerar uma faixa sinusoidal por programação de computador, projetar essa faixa sinusoidal para o objeto medido através de um dispositivo de projeção, usar uma câmera CCD para fotografar o grau de curvatura da faixa modulada pelo objeto, desregular a faixa curvada para obter a fase e, em seguida, converter a fase para a altura do campo inteiro. Aqui é usado o método de deslocamento de fase de quatro passos, portanto, são produzidas quatro faixas de diferença de fase pi/2. Em seguida, as quatro faixas são projetadas em tempo sobre o objeto (máscara), coletando o gráfico à esquerda do quadro abaixo (também quatro, é claro) e coletando quatro faixas da superfície de referência (não moduladas, as mesmas quatro).

Passo 2, fase de recuperação:As fases moduladas são calculadas a partir de quatro gráficos de faixas moduladas coletados, o gráfico de fases obtido aqui é um gráfico de fases truncadas, porque o resultado obtido pelo algoritmo de fases de quatro passos é obtido a partir do cálculo da função de paralelo e, portanto, é limitado a [-pi, pi], ou seja, sempre que seu valor excede esse intervalo, ele começa novamente.

Passo 3: Reconstrução 3D:A redução dos dois acima obtém a diferença de fase, que caracteriza a altura da superfície de referência relativa do objeto medido, e substitui a fórmula de fase e conversão de altura (onde os parâmetros correspondentes são calibrados), para obter a imagem da estrutura 3D, a reconstrução 3D específica depende muito do suporte do algoritmo, e o processo de reconstrução específico requer um algoritmo muito complexo.

A tecnologia de imagem tridimensional de luz estrutural é atualmente a principal forma de percepção visual tridimensional do robô, o sistema de imagem de luz estrutural é composto por vários projetores e câmeras, as formas estruturais comuns são: projetor único - câmera única, projetor único - câmera dupla, projetor único - câmera múltipla, câmera única - projetor duplo e câmera única - multi-projetor e outras formas estruturais típicas.

A luz estrutural e a visão bióptica são baseadas no princípio da triangulação, exigindo que a câmera e o projetor ou a visão bióptica entre as duas câmeras devem estar separadas a uma certa distância, e há um certo ângulo de aperto a (geralmente > 15 °) para alcançar a medição, todos existem grandes volumes, se a superfície do objeto é íngreme ou há degraus que podem gerar desvantagens de bloqueio.

O sistema de orientação visual robótica 3D, desenvolvido com base na luz estrutural e na tecnologia de reconhecimento de objetos 3D, permite a localização e a captura totalmente livres de peças empilhadas dispersas em grandes intervalos de medição de profundidade. Em comparação com os métodos tradicionais de posicionamento visual bidimensional, que só reconhecem peças de profundidade fixa e só podem obter informações de localização parciais de liberdade das peças, tem maior flexibilidade de aplicação e maior alcance de detecção. Oferece soluções de automação eficazes para problemas industriais como carregamento de máquinas-ferramentas, classificação de peças e empilhamento de paletes.

A tecnologia de óptica estrutural e o triângulo laser têm algumas semelhanças, mas o sistema mais sofisticado obtém informações mais ricas e pode gerar nuvens de pontos com mais detalhes. As câmeras ópticas estruturais são mais adequadas para cenários em que o objeto está estático, enquanto as câmeras triangulares a laser são mais adequadas para o estado de movimento do objeto, especialmente na correia transportadora ou na linha de transporte. Em cenários complexos de luz ambiental ou luz solar direta, câmeras triângulares a laser de alta potência têm mais vantagens, o laser projetando uma luz muito estreita de comprimento de onda, o sensor de imagem pode filtrar a interferência da luz ambiental através de um filtro de banda estreita. As câmeras fotográficas estruturais usam principalmente fontes de luz LED, sem riscos de segurança. As câmeras triangulares a laser usam o laser, o que representa um risco potencial para a segurança dos olhos. Para cenários de aplicações submicrônicas, a câmera óptica estrutural tem mais vantagens, e a câmera triangular a laser não alcança a precisão submicrônica devido à presença de manchas dispersas a laser. As câmeras ópticas estruturais são capazes de obter imagens tridimensionais em todo o campo de visão de uma só vez, em vez de obter informações de profundidade sobre a seção do objeto de medição de uma só vez, como as câmeras triângulares a laser. Na aplicação prática, as câmeras de luz estrutural projetam luz branca ou azul calibrada com precisão e com estruturas especiais sobre o objeto de medição, com estruturas comuns com linhas, listras ou malhas paralelas. Quando a luz estrutural é irradiada sobre a superfície do objeto, a estrutura da luz varia com a mudança de altura e baixa da superfície do objeto. Tomando a luz estrutural em forma de faixa, por exemplo, as faixas se espessam ou finam na superfície do objeto, o que significa que os pontos de amostragem nesses lugares estão mais próximos ou mais distantes da câmera, e algoritmos de reconhecimento de padrões e reconstrução tridimensional especialmente projetados completam a imagem tridimensional com base nas informações. Alguns projetores de câmeras ópticas estruturais também têm o papel de câmeras RGB para obter informações de textura e cor do objeto medido.

A câmera óptica estrutural ZIVID do agente inteligente Hao Ai usa um projeto de câmera única de projetor único, semelhante à visão estéreo bióptica ativa, mas com menos de uma câmera. Na forma de uma fonte de luz estruturada projetada ativamente, o homem adiciona pontos característicos fáceis de reconhecer ao objeto de medição alvo. Como a estrutura é pré-conhecida e não aleatória, a extração de características é menor e, ao mesmo tempo, evita problemas de cálculo de correlação. As câmeras ópticas estruturais de um único projetor e câmeras de visão estéreo bióptica ativa também enfrentam problemas de média de bloco, resolução e precisão. A câmera óptica estrutural ZIVID resolve esses problemas introduzindo a luz estruturada com codificação de domínio temporal e espaço. No entanto, como as câmeras ópticas estruturais e as câmeras triângulares a laser, há perda de dados e erros de detecção para objetos espelhados, escuros ou absorvidores. Aqui está o contraste entre a nuvem de pontos obtida pela câmera óptica estrutural ZIVID e a câmera de visão estéreo bióptica:

Xiaomi no Xiaomi 8 Transparent Explorer EditioncabeloCom a tecnologia de luz estruturada 3D do Android Camp, a OPPO também usou a luz estruturada 3D no Find X. VivocabeloCom a tecnologia ToF 3D, 300.000 pontos de medição infravermelhos. A quantidade de informação de profundidade eficaz de ToF é 10 vezes a luz estrutural, além de maior quantidade de informação, a distância de trabalho de ToF também é maior do que a luz estrutural, a distância de uso pode chegar a 3 metros, atingindo três vezes o último.

Triângulo laser

Triângulo a laser (Triangulação a laser) método de medição é a lente da câmera e o laser em um certo ângulo, a fonte de luz a laser é projetada para a superfície do objeto medido, gerando a linha de contorno da superfície do objeto, para obter a imagem tridimensional do objeto medido, o objeto e a câmera devem ter um movimento relativo para gerar várias linhas de contorno da superfície do objeto, e finalmente a câmera formará essas linhas de contorno em uma imagem tridimensional. O método mede o desvio geométrico de uma linha, cujo valor está relacionado à altura do objeto. É baseado em uma tecnologia de imagem unidimensional de varredura de objetos. Dependendo da distância entre o emissor e o objeto medido, os pontos laser aparecem em diferentes locais no campo de visão da câmera. A via óptica triangular é formada por pontos de laser, câmeras e emissores de laser, por isso a técnica é frequentemente chamada de triangulação. A tecnologia é sensível a superfícies estruturadas ou complexas, e alguns raios laser não podem ser refletidos na câmera quando o objeto é muito alto.

De acordo com a relação angular entre o feixe de entrada e a linha da superfície do objeto medido, o método de triangulação a laser pode ser dividido em dois tipos de diagonal e direto. O raio direto é o ângulo de 0 entre o feixe de entrada e a linha da superfície do objeto medido. A diagonalidade é o ângulo entre o feixe de entrada e a linha da superfície do objeto medido a > 0. Os padrões comuns de disposição direta e inclinada são especificamente mostrados na imagem abaixo:

0。常见的直射式和斜射式布置方式具体如下图所示： '},'attribs':{'0':'*0+f*1*0+2*0+2l'}},'apool':{'numToAttrib':{'0':['author','7199826170790019073'],'1':['abbreviation-data',{'id\':\'ada42032-e80f-47aa-9339-f0446b4f775a\',\'abbr_ids\':\'enterprise_7167327385522552836\',\'is_visible\':1,\'is_first\':1}'],'nextNum':2}},'type':'text','referenceRecordMap':{},'extra':{'channel':'saas','isEqualBlockSelection':true,'pasteRandomId':'7130c64e-2988-4a72-8c56-e4e337338490','mention_page_title':{},'external_mention_url':{}},'isKeepQuoteContainer':false,'isFromCode':false,'selection':[{'id':44,'type':'text','selection':{'start':0,'end':110},'recordId':'L6myd0qeMoEGsaxELDBDBngn'}],'szpayloadMap{},'isCut'-lark-x-data-format='record-text-color='-transparent; margem: 0px; acolhimento: 0px; contorno: 0px; largura máxima: 100%; caixa-tamanho: fronteira-caixa! importante; overflow-wrap: palavra de ruptura! importante; '>

Direto

Tipo inclinado

Os princípios da triangulação a laser são apresentados abaixo por exemplo.

As linhas trazidas vermelhas, verdes e azuis indicam que a luz refletida será projetada a diferentes distâncias em diferentes locais da superfície da câmera, com base nessas posições, a distância entre o sensor e a superfície do objeto é calculada. A mudança na distância vertical d levará a uma mudança na posição de imagem da câmera d'. Pode-se ver que o alcance e a precisão da medição desta técnica se limitam mutuamente. Quanto maior a precisão significa que a mudança na distância vertical é refletida em menor deslocamento sobre a superfície da imagem da câmera. Assim, o escopo das mudanças na posição alvo é necessariamente limitado. À medida que a profundidade do alvo aumenta, ela rapidamente ultrapassa o tamanho físico do sensor de imagem da câmera. No projeto específico do sistema óptico, é necessário equilibrar o alcance da medição e a precisão da medição de acordo com as necessidades de medição para alcançarMuito bem.Efeitos.

As câmeras baseadas em triangulação laser consistem principalmente em diodos laser (LD), lentes de reunião, lentes de recepção, sensores de imagem e uma unidade de processamento de sinal. Seu caminho é especificamente como mostrado na imagem abaixo:

• x indica o desvio da superfície do objeto em relação ao plano de referência inicial

• x' indica o desvio do objeto em um sensor de imagem

• a indica o ângulo do feixe laser com o eixo óptico da lente de recepção

• β indica o ângulo entre o eixo óptico da lente recebida e a superfície do sensor de imagem

• L indica a distância entre a superfície do objeto e a lente de recepção

• L' indica a distância entre a lente recebida e o sensor de imagem

Usando um princípio triangular semelhante, obtém-se:

Os métodos de triangulação a laser têm uma resolução e precisão de medição muito elevadas, que podem ser escaladas até os níveis de milímetros e mícrons, mas em aplicações práticas são limitados pela distância horizontal da câmera e da fonte de luz a laser, e o tempo de medição é longo e só é adequado para medições a distâncias mais curtas. Para câmeras triangulares a laser direto, embora aumente o ângulo de aperto entre o eixo óptico da câmera e o plano do laser, pode melhorar a resolução do eixo z, mas com o aumento do ângulo de aperto θ, o fenômeno de bloqueio óptico também será cada vez mais evidente, especialmente quando a superfície do objeto tem uma convexão e uma flutuação, essa estrutura existe um certo bloqueio: a área que o raio laser não pode iluminar é chamada sombra, a área que a câmera não pode receber a luz refletida é chamada área cega.

Se a superfície do objeto medido for desigual, além do bloqueio óptico, pode haver múltiplos reflexos.

Como mostrado abaixo, o raio 1 é a luz que penetra na superfície do objeto.第1O segundo reflexo, o raio de luz 2, é o segundo reflexo de luz que ocorre na superfície do objeto, e os dois raios de luz estão em diferentes posições de imagem no detector.

Como mostrado abaixo, a luz vermelha que entra ocorre duas vezes na superfície do objeto, ambas nas mesmas posições de imagem no detector.

O Zivid 2+ M60

O agente inteligente Zivid 2+ M60É uma câmera robótica 3D + 2D fixa de alta resolução para requisitos de resolução, precisão e detalhesAltoaplicação. A câmera é o produto da câmera 3D Zivid que captura a nuvem de pontos mais clara e densa, com até 5.000 pontos por centímetro quadrado, com uma precisão dimensional superior a 99,8%, e tudo pode ser apresentado na sua forma real. Para testes de qualidade e tarefas de montagem delicadas, ele permite observar facilmente cada detalhe, característica e defeito. A nuvem de pontos mais impressionante foi capturada em apenas 100 milissegundos.

Sobre a inteligência

Hao Ai Intelligent é o agente especializado da ZIVID na China no campo da visão 3D.

A Hao Ai Intelligence se concentra em fornecer soluções globais de visão de máquina 3D para ajudar a melhorar o nível de fabricação inteligente da China e a atualização da indústria!

Atualmente, temos um grupo de engenheiros de aplicações de visão de máquina 3D altamente qualificados e engenheiros de pesquisa e desenvolvimento de algoritmos com capacidade completa de avaliação de projetos de visão de máquina e capacidade de desenvolvimento de algoritmos básicos. Nossa solução global de visão de máquina 3D foi implementada com sucesso em várias áreas como baterias de potência, indústria automotiva, eletrônicos de consumo, eletrodomésticos brancos e inspeção de traço, acumulando uma rica experiência em aplicações de projetos de visão de máquina 3D e desenvolvimento de software!

Os principais produtos inteligentes de Hao Ai: solução integral de visão de máquina 3D, incluindo câmera 3D de luz estrutural, câmera de varredura de linha laser, sensor de contorno laser de linha SICK 3D, câmera TOF, sistema de medição 3D de alta precisão, sistema de posicionamento de guia visual, sistema de captura desordenada, etc., podem alcançar a planicidade, a diferença de altura, a medição de posição, a detecção de defeitos convexos, a detecção de cola, o polimento de robô de guia visual, a montagem de posicionamento de robô de guia visual, a captura desordenada de peças de trabalho e outras funções.