Introdução à tecnologia de imagem 3D de visão automática (1)

Visão geral da tecnologia de imagem 3D

A imagem 3D, que adiciona profundidade à imagem 2D tradicional para tarefas de localização, identificação e detecção de maior precisão, é amplamente utilizada em eletrônica de consumo, medicina e indústria.

De acordo com a forma como os dados são obtidos, podem ser divididos em contato e sem contato. O tipo de contato pode ser dividido em dois tipos, sem danos e prejudiciais, de acordo com o objeto testado. O tipo sem contato pode ser dividido em tipo de transmissão e tipo de reflexão de acordo com o uso do sinal. Os reflexos podem ser divididos em duas categorias ópticas e não ópticas. A óptica pode ser dividida em dois tipos ativos e passivos, de acordo com a necessidade de fontes de luz artificial adicionais. A imagem visual passiva depende apenas da informação de radiação fotográfica gerada pela cena alvo recebida pela câmera, que é medida pelo valor da escala de cinza dos pixels da imagem bidimensional.

A visão passiva é frequentemente usada em situações de imagem tridimensional em condições específicas, como ambientes internos, cenário de alvo com uma faixa dinâmica limitada e sem obstrução, superfícies não suaves e texturas ou características geométricas claras, o que facilita a busca de pontos de correspondência através da correspondência estéreo. A visão estéreo ativa é usar a modulação de luz (como codificação de luz estrutural, modulação a laser, etc.) para iluminar a cena alvo, codificar os pontos da superfície da cena alvo e, em seguida, decodificar a imagem da cena obtida para obter de forma confiável pontos de correspondência entre as imagens e resolver a informação tridimensional da cena por meio da triangulação. A vantagem da visão estéreo ativa é a alta resistência à interferência, os requisitos ambientais são baixos (como a eliminação da interferência da luz ambiental através de filtros de banda), a precisão da medição tridimensional, a repetibilidade e a alta confiabilidade, e a desvantagem é que é fácil criar problemas de bloqueio para cenários estruturais complexos. De acordo com o princípio da imagem, pode ser segmentado ainda mais, como mostrado na imagem a seguir:

Tipo de contato devido à necessidade de mover a sonda ou a sonda com a superfície do objeto de teste, o tamanho é limitado, também é fácil arranhar o objeto de teste, a precisão também é relativamente pobre. Uma máquina de medição de coordenadas (CMM) mede informações tridimensionais sobre o objeto medido através de pontos discretos na superfície da sonda e do objeto. Atualmente, a imagem 3D é predominantemente baseada no uso de princípios ópticos sem contato, mais segura, mais eficiente e mais precisa. Um exemplo intuitivo é que, no passado, os construtores de estradas não tinham uma solução econômica para medir a profundidade usando barras metálicas semelhantes a barras retas para a manutenção de estradas em buracos, mas o processo mudou com a aplicação da tecnologia de imagem óptica 3D.

Este artigo aborda principalmente as principais tecnologias de imagem 3D no campo da visão de máquina, incluindo o tempo de voo, a luz estrutural, o triângulo a laser, a visão bióptica e a imagem de campo de luz, e, por fim, adiciona uma introdução ao radar de onda milimétrica e ao radar a laser e aos cenários de aplicação e ao nível de precisão de cada programa de imagem 3D.

Lei do tempo de voo

Tempo de voo (ToF), que emite um sinal de luz infravermelha usando um diodo emissor de luz (LED) ou um diodo laser (LD) para medir a distância entre o sensor e o objeto medido com base na diferença de tempo de emissão e retorno do sinal. A câmera ToF mede a distância iluminando ativamente o objeto medido usando uma fonte de luz modulada, como um laser, e capturando a luz refletida com um sensor sensível ao comprimento de onda do laser. O sensor mede o atraso de tempo entre a emissão da luz da câmera e a recepção da luz emitida pela câmera. O atraso de tempo é proporcional ao dobro da distância (ida e volta) entre a câmera e o objeto; Portanto, a distância pode ser estimada como profundidade = cΔt/2, onde c representa a velocidade da luz. Este processo é semelhante ao ultra-som, que mede a distância através do som e não da luz, enquanto o radar mede a distância através das ondas de rádio. Em comparação com o ultra-som, as câmeras de tempo de voo (ToF) são capazes de gerar mapas de profundidade de alta resolução com alta precisão (profundidade) (resolução espacial equivalente a uma câmera RGB) e cobrem uma faixa maior - afinal, a velocidade da luz é muito maior do que a velocidade do som. Embora o radar seja mais distante, a precisão e a resolução do tempo de voo (ToF) são melhores.

Existem vários métodos diferentes para medir o T, dos quais dois são os mais comuns: o método de onda contínua (CW) e o método de pulso. O método de onda contínua (CW), às vezes também chamado de tempo de voo indireto (iToF), mede o deslocamento de fase entre os pulsos de luz enviados e recebidos. O método de pulso, às vezes também chamado de tempo de voo direto (dToF), mede o tempo que passa entre o pulso emitido e o pulso de luz recebido. Este método é basicamente semelhante ao princípio do sensor laser 3D, mas o sensor laser 3D é escaneado ponto a ponto e a câmera ToF obtém informações de profundidade da imagem inteira ao mesmo tempo. Vale ressaltar que a grande maioria dos sistemas ToF de onda contínua atualmente implementados e usados ​​no mercado usa sensores CMOS, enquanto os sistemas ToF de pulso usam sensores não CMOS (especialmente CCD). Uma das vantagens do uso dos sensores de imagem CW iToF é que eles são produzidos em massa com base em infraestruturas de semicondutores tradicionais, permitindo imagens de curto alcance de alta densidade de pixels a um custo econômico. A escolha do iToF ou do sistema de imagem em profundidade dToF depende, em última análise, das necessidades da aplicação e do ambiente de uso. O iToF é adequado para imagens de curto alcance que exigem alta resolução espacial (0,5 m, 5 m e 10 m). O dToF é mais adequado para imagens de longa distância que exigem menos resolução espacial. A inteligência artificial (IA) e o design de sistemas ópticos tornam a linha de divisão entre a escolha da tecnologia iToF e a tecnologia dToF menos clara. Em sistemas de borda inteligentes que percebem o ambiente, os sensores iToF e dToF são integrados com imagens RGB e sensores de inércia para melhorar o desempenho e eliminar a falsificação com a ajuda da IA.

Assim como o mouse mudou a interação com o computador e a tecnologia de tela táctil impulsionou a popularidade de smartphones e tablets, a tecnologia Time of Flight (ToF) está ajudando a realizar interações 3D sem contato. A tecnologia do tempo de voo (ToF) tem utilidades semelhantes para impulsionar a Indústria 4.0. Desde a visão de máquina industrial para a inspeção de qualidade, até a inspeção de volume para a gestão de ativos e tecnologias de navegação para impulsionar a produção autônoma (equipamento), a indústria de fabricação está começando a adotar essas tecnologias de sensores e gradualmente se movendo para sistemas de alta resolução adequados para ambientes industriais difíceis. Atualmente, as aplicações da tecnologia Time of Flight (ToF) estão a surgir ao nosso redor, desde a segurança da cabine de automóveis até equipamentos esportivos domésticos, jogos e colaboração remota 3D realista. Até mesmo para a detecção de armazéns em armazéns, barris e tanques de armazenamento de grandes dimensões. Uma das aplicações futuras da tecnologia de tempo de voo (ToF) é em veículos autônomos, como complemento a radar, LIDAR e outros sensores de profundidade.

As câmeras de profundidade ToF de consumo atuais são: Kinect 2 da Microsoft, SR4000 da MESA e câmeras de profundidade ToF da PMD Tech usadas no Google Project Tango. Estes produtos já têm muitas aplicações em reconhecimento corporal, reconhecimento de gestos e modelagem ambiental, o mais típico é o Kinect 2 da Microsoft.

A imagem ToF pode ser usada para captura de imagens 3D de grande campo de visão, longa distância, baixa precisão e baixo custo, cujas características são: velocidade de detecção rápida, maior campo de visão, distância de trabalho longa, preço barato, mas baixa precisão, vulnerável à interferência da luz ambiental. Para objetos lisos (que refletem a luz em direções diferentes) ou com ângulos (que refletem várias vezes), a precisão da imagem no tempo de voo pode ser afetada.

Semelhante às câmeras normais, a frente do chip da câmera ToF requer uma lente que coleta a luz. No entanto, ao contrário das lentes ópticas normais, é necessário adicionar um filtro de banda para garantir que somente a luz do mesmo comprimento de onda da fonte de luz irradiada possa entrar.

Vantagens do ToF: o tempo de voo ainda funciona corretamente sem a iluminação ambiental devido ao uso de uma fonte de luz ativa para irradiar o objeto. Em comparação com câmeras estéreo ou sistemas de triangulação, a câmera ToF é compacta e leve, em comparação com o tamanho geral da câmera, ideal para algumas ocasiões que exigem câmeras leves e de pequeno volume. O princípio do algoritmo de tempo de voo é relativamente simples, por isso as câmeras ToF podem calcular informações de profundidade rapidamente em tempo real, de dezenas a 100 fps. As câmeras biópticas exigem algoritmos de correlação complexos e processamento mais lento. O cálculo de profundidade do ToF não é afetado pela escala de cinza e características da superfície do objeto, permitindo uma detecção tridimensional muito precisa. As câmeras estéreo biópticas exigem uma boa variação das características do alvo, caso contrário não será possível realizar cálculos de profundidade. Devido à velocidade da luz é muito rápida, a câmera ToF precisa de um design complexo para alcançar a detecção da diferença de sinal de ida e volta, a fabricação é relativamente difícil, a precisão do cálculo de profundidade da câmera ToF não varia com a distância, e pode ser básicamente estável em toda a faixa de medição na escala de cm, o que é muito significativo para algumas aplicações de movimento de grande escala. Em relação às câmeras ópticas estruturais, a precisão da câmera ToF é menor dentro de 10 metros e maior fora de 10 metros. Uma vantagem significativa da câmera ToF é que a distância de trabalho é relativamente larga, pode cobrir a faixa de 0,5 metros a 10 metros, alguns cenários com requisitos de precisão pouco elevados até chegar a algumas centenas de metros, a unidade de irradiação geral da cena usa LED infravermelho em vez de laser, sem prejudicar os olhos. O alcance da imagem da câmera óptica estrutural é de apenas 2 a 3 metros, mas a precisão será maior. Portanto, embora as câmeras ToF possam trabalhar a curtas distâncias, não são uma boa opção quando são necessários requisitos de precisão.

As câmeras de profundidade TOF exigem alta precisão para medir o tempo, o impulso de emissão deve ser alcançado em um tempo muito curto (em picosegundos), mesmo com componentes eletrônicos de alta precisão, é difícil alcançar a precisão em milímetros. Portanto, na área de medição de curta distância, especialmente na faixa de 1m, a precisão da câmera de profundidade TOF também tem uma grande lacuna em comparação com outras câmeras de profundidade, o que limita sua aplicação na área de alta precisão de curta distância. As câmeras ToF têm certas vantagens em medição a longa distância, mas são relativamente caras e não possuem informações de cor.

A precisão da câmera ToF está em grande parte relacionada com a distância, e é geralmente pensado que pode ser estimada por uma distância de imagem de 1%, portanto, se o objeto está a 5 metros de distância, a câmera ToF pode atingir uma precisão de 5 cm. A precisão da câmera estéreo bióptica é de aproximadamente 5-10% da distância de imagem, e a câmera óptica estrutural é a mais alta precisão, pode atingir 1 mm.

Extensão: O radar óptico é um tipo de tempo de voo?

LiDAR (Light Detection and Ranging), também conhecido como ToF Laser Scanner, às vezes chamado de Laser Radars, mede a distância de um objeto medido com base no tempo de voo, emitindo um pulso laser em vários ângulos para o ambiente circundante. Além disso, o radar óptico mede a intensidade da luz refletida para refletir mais detalhes no mapa de profundidade. Além disso, o ToF 3D também pode ser visto como uma tecnologia LiDAR sem scanner.

doenteVisionário-T MiniCâmera 3D

As câmeras 3D SICK Visionary-T Mini, com a tecnologia 3D Time of Flight (TOF), permitem uma carcaça compacta e aplicações de automação de robótica, veículos de transporte e logística de excelente qualidade de dados sem dados de medição de distância precisos e confiáveis em 2D e 3D. Além disso, mesmo que o espaço de instalação seja pequeno, o sistema de visão deve ser facilmente integrado ao projeto da máquina correspondente. A gama de câmeras 3D SICK Visionary-T Mini combina alto desempenho com um design estrutural compacto e maior eficiência de custo. Além disso, os sensores de visão 3D fornecem mapas detalhados de dispersão bidimensionais e tridimensionais com alta densidade de pixels para análise de dados. O modo de operação automática simplifica a integração da máquina e garante uma operação mais fácil.

Sobre a inteligência

A SICK é a agência especializada da SICK na China no campo da visão 3D.

A Hao Ai Intelligence se concentra em fornecer soluções globais de visão de máquina 3D para ajudar a melhorar o nível de fabricação inteligente da China e a atualização da indústria!

Atualmente, temos um grupo de engenheiros de aplicações de visão de máquina 3D altamente qualificados e engenheiros de pesquisa e desenvolvimento de algoritmos com capacidade completa de avaliação de projetos de visão de máquina e capacidade de desenvolvimento de algoritmos básicos. Nossa solução global de visão de máquina 3D foi implementada com sucesso em várias áreas como baterias de potência, indústria automotiva, eletrônicos de consumo, eletrodomésticos brancos e inspeção de traço, acumulando uma rica experiência em aplicações de projetos de visão de máquina 3D e desenvolvimento de software!

Os principais produtos inteligentes de Hao Ai: solução integral de visão de máquina 3D, incluindo câmera 3D de luz estrutural, câmera de varredura de linha laser, sensor de contorno laser de linha SICK 3D, câmera TOF, sistema de medição 3D de alta precisão, sistema de posicionamento de guia visual, sistema de captura desordenada, etc., podem alcançar a planicidade, a diferença de altura, a medição de posição, a detecção de defeitos convexos, a detecção de cola, o polimento de robô de guia visual, a montagem de posicionamento de robô de guia visual, a captura desordenada de peças de trabalho e outras funções.