Método de detecção de defeitos baseado em visão de máquina para peças moldadas por injeção

Nos últimos anos, devido à crescente conscientização sobre a proteção ambiental, os veículos elétricos se tornaram cada vez mais populares entre os consumidores.

Para produzir veículos elétricos de alta qualidade, os fabricantes devem usar peças moldadas por injeção de alta qualidade para os trocadores de calor.

Como parte importante do trocador de calor, as peças moldadas por injeção devem ser extremamente estáveis ​​para garantir a operação segura e eficiente dos veículos elétricos.

Linhas de fusão geralmente se formam em peças moldadas por injeção e reduzem a aparência, a qualidade e as propriedades mecânicas do produto.

Atualmente, a principal maneira de determinar se há ou não um fio defeituoso em uma peça moldada por injeção é a olho nu. Esse método depende de julgamento subjetivo e é menos preciso.

Ao mesmo tempo, trabalhar por muito tempo em um ambiente cheio de odores fortes de produtos químicos e plásticos tem um certo impacto na saúde dos trabalhadores.

Aplicação da Visão Computacional na Detecção de Defeitos

A adoção da visão computacional pode resolver efetivamente os problemas acima.

À medida que a inteligência artificial se desenvolve rapidamente, pesquisadores e engenheiros usam amplamente o aprendizado de máquina na detecção de defeitos.

Alguns especialistas et al. projetaram um sistema de detecção de defeitos baseado em visão computacional para defeitos de superfície em barras de liga de alta temperatura à base de níquel.

Primeiro, os pesquisadores pré-processam as imagens usando filtragem gaussiana, binarização adaptativa e métodos morfológicos.

Em seguida, eles aplicam a detecção de bordas e a localização de contornos do Canny para localizar os contornos dos defeitos.

Por fim, eles integram as coordenadas relativas dos defeitos, a posição da câmera e o ângulo da barra para atingir o objetivo de detecção de defeitos.

Por fim, o sistema integra as coordenadas relativas dos defeitos, a posição da câmera e o ângulo da barra para atingir o objetivo de detecção de defeitos.

Avanços em sistemas de inspeção baseados em aprendizado de máquina

Outros especialistas et al. propuseram um método de detecção de defeitos de superfície baseado em visão de máquina para peças automotivas de pequenas amostras, usando uma rede de candidatos de região de estrutura de guia para melhorar a rede de candidatos de região da rede de detecção Faster RCNN e utilizando uma função de perda focada para melhorar o desequilíbrio positivo e negativo da amostra para atingir a detecção de defeitos de superfície em peças de pequenas amostras.

Alguns engenheiros propuseram um algoritmo leve de detecção de defeitos na superfície da manga baseado no YOLOv5, que pode efetivamente reduzir os requisitos de desempenho do equipamento implantado e diminuir o custo do equipamento de inspeção.

Outro engenheiro propôs um algoritmo de detecção com baixo esforço computacional e alta estabilidade, que primeiro decompõe a imagem usando a transformação de onda de cisalhamento sem amostragem descendente, depois filtra os componentes de alta frequência decompostos e realiza o aprimoramento da imagem e, finalmente, reconstrói a imagem original usando a transformação de onda de cisalhamento sem amostragem descendente, combinando operações morfológicas e o algoritmo de Sobel para realizar a detecção de defeitos.

Alguém propôs uma rede EfficientNetV2 aprimorada para o reconhecimento de defeitos em superfícies de malha de arame.

Primeiramente, os pesquisadores adicionam divisão de canais e conversão de canais antes e depois da extração de recursos.

Depois, eles compactam gradualmente a semântica de alto nível extraída.

Por fim, eles constroem o sistema de aquisição de imagens para construir um conjunto de dados que dá suporte à detecção de defeitos na malha de arame.

Especialistas projetaram um sistema de inspeção de qualidade de embalagens, primeiramente, usando filtro mediano para eliminar ruído de imagem, depois usando algoritmo Canny para obter nitidez de bordas e, finalmente, realizando detecção de defeitos por meio do alinhamento de imagem.

Outro engenheiro projetou um método de detecção de defeitos de rosca com base em visão de máquina, propôs um método eficiente de extração de características de rosca e estabeleceu um conjunto de dados de defeitos de rosca para melhorar efetivamente a eficiência da detecção de rosca.

O artigo combina a tecnologia de visão de máquina existente para realizar a inspeção on-line da viga da peça moldada por injeção para determinar se a viga da peça moldada por injeção atende aos padrões de produção, de modo a tornar a produção geral de peças moldadas por injeção mais segura e confiável.

Tipo de defeito

O defeito estudado neste artigo é uma linha de solda, conforme mostrado na Figura 1.

Durante o processo de moldagem por injeção, a alta velocidade de injeção causa linhas de solda para formar na intersecção dos fluxos materiais.

Os defeitos ocorrem principalmente nas áreas das vigas da peça moldada, especialmente na seção intermediária das vigas.

Fig. 1 Diagrama esquemático de defeitos na linha de fusão

O comprimento da peça moldada por injeção é de 870 mm e a largura é de 510 mm, conforme mostrado na Figura 2a.

Os inspetores examinam tanto a parte frontal quanto a traseira da peça.

Áreas de fácil inspeção, como estilhaços, clipes e furos passantes, estão concentradas nas extremidades esquerda e direita, enquanto os feixes ficam no meio.

Durante a produção de peças moldadas por injeção, a máquina injeta material de dois pontos, A e B.

As linhas de fusão se formam principalmente na intersecção do fluxo de material, de modo que os dois feixes verticais no meio não geram linhas de fusão e não exigem inspeção.

O comprimento das vigas varia de uma área para outra, mas a largura das vigas é a mesma, com um valor de 3 mm.

Para capturar uma imagem clara e completa de toda a área do feixe, a equipe usou uma lente FA com distância focal de 8 mm, posicionada a 260 mm dos feixes, com base no comprimento dos feixes (210 mm no lado longo), conforme mostrado na Fig. 2b.

A imagem capturada tem uma resolução de 2,448 × 2,048, um campo de visão de 260 mm × 170 mm e a fórmula de análise visual aparece na Equação (1).

O sistema obtém uma resolução visual de 0.0088 mm por pixel.

Inspecionar a área do feixe em linha reta ajuda a detectar quebras completas de forma mais eficaz, mas dificulta a detecção de fios fundidos.

Fig. 2 Estrutura esquemática da peça moldada por injeção

(a) Peça moldada por injeção (b) Viga

Métodos de inspeção de fios de fusão

O artigo propõe um método de detecção de linha de fusão usando extração de esqueleto e julgamento de declive.

É dividido principalmente em 3 etapas:

1. Pré-processamento de imagem

Operações morfológicas e filtragem gaussiana eliminam a interferência reflexiva na imagem original adquirida, enquanto a binarização destaca as informações da borda do feixe.

2. Extração e corte de regiões defeituosas

Combine as imagens processadas e primeiro aplique a correspondência de modelos para extrair a região do feixe.

Em seguida, extraia o esqueleto e use a aproximação poligonal no esqueleto para encontrar uma linha que atenda ao limite.

Por fim, aplique a transformação afim com base na linha encontrada para cortar a região a ser detectada.

3. Identificação de defeitos

Por fim, use a linha encontrada para aplicar uma transformação afim e cortar a região a ser detectada.

Nas arestas extraídas, pegue pontos em intervalos fixos e conecte-os para formar uma linha reta.

Em seguida, calcule a inclinação de cada reta e, quando a inclinação exceder o limite definido, o sistema a sinalizará como defeituosa.

Quando a inclinação excede o limite definido, o sistema a reconhece como defeituosa.

O fluxograma de detecção de linha de solda é mostrado na Fig. 3.

Fig. 3 Fluxograma para inspeção de linha de fusão

• • Pré-processamento de imagem

Durante a aquisição da imagem, a luz de fundo interfere na imagem, dificultando a extração completa da região do feixe.

Com base nas características da área perturbada, aplique um filtro gaussiano para suavizar as bordas da imagem.

Em seguida, use operações morfológicas para eliminar a interferência da luz de fundo.

Por fim, aplique o método Otsu para binarizar e destacar as informações de borda dos feixes.

A imagem pré-processada é mostrada na Fig. 4.

Fig. 4 Imagem pré-processada

• • Método de corte baseado na extração do esqueleto

1. Correspondência de modelos

A correspondência de modelos é o método mais comumente usado no processamento de imagens porque permite que os usuários encontrem a parte da imagem grande que mais corresponde à imagem do modelo.

Para facilitar o processamento subsequente da imagem, o sistema intercepta a imagem correspondente e mostra o resultado na Fig. 5.

Figura 5 Resultado da interceptação de correspondência de modelo

2. Extração de esqueleto

Para cortar a imagem de forma mais eficaz, o sistema primeiro extrai o esqueleto do feixe.

O sistema pode obter melhores resultados com o método de extração de esqueleto.

Os métodos comuns de extração de esqueleto incluem algoritmo de refinamento, algoritmo de extração de esqueleto baseado na análise do eixo de simetria e método de decomposição de forma.

Neste artigo, usamos o algoritmo de refinamento para processar os dados da imagem.

O algoritmo Zhang⁃Suen é um algoritmo de refinamento comum.

Comparado a outros algoritmos de extração de esqueleto, este algoritmo oferece alta eficiência de execução, por isso o escolhemos.

A imagem após a extração do esqueleto é mostrada na Fig. 6a.

Na figura, podemos ver problemas como interferência de ruído e descontinuidade do esqueleto.

Portanto, aplique a filtragem gaussiana para eliminar ruído na imagem.

Em seguida, use o método Otsu para clarear as bordas da imagem.

Por fim, conecte o esqueleto usando um método de corrosão e expansão único, conforme mostrado na Fig. 6b.

Fig. 6 Diagrama de extração do esqueleto

(a) Extração de esqueleto (b) Otimização de esqueleto

3. Corte de imagem

Corte de imagem é a técnica e o processo de dividir uma imagem em diversas regiões com propriedades únicas e apresentar um alvo de interesse.

Com base nas características da imagem, usamos um método de corte baseado em bordas.

O algoritmo de corte de imagem baseado na aproximação de polígonos pertence ao método de corte baseado em arestas, que corta a imagem de acordo com as características das arestas da imagem.

As etapas específicas são:

(1) O algoritmo clássico de Canny realiza a detecção de bordas para encontrar a borda do feixe na imagem e registra as informações da borda.

(2) O algoritmo Douglas-Peucker aproxima múltiplas arestas na aresta do feixe encontrada, e a imagem aproximada aparece na Figura 7.

O algoritmo Douglas-Peucker é um algoritmo recursivo para aproximação poligonal de linhas dobradas.

O algoritmo Douglas-Peucker aproxima múltiplas arestas da aresta do feixe encontrada, e a imagem resultante é mostrada na Figura 7.

Onde: P₀ e P_n são o ponto inicial e o ponto final da linha de dobra; L é a reta composta por P₀ e P_n; d (P_i, L) representa a distância de P_i à reta L.

O algoritmo é fácil de implementar porque adota uma abordagem recursiva. Como o algoritmo adota uma abordagem recursiva, é mais fácil de implementar.

(3) Com base nos vértices do polígono encontrados, calcule cada aresta do polígono.

Os resultados são mostrados na Tabela 1, e a imagem poligonal é mostrada na Fig. 8.

A imagem extraída do esqueleto tem uma contagem de pixels horizontais de 414 pixels.

O sistema calcula a escala de pixels como 2.5 pixels/mm, com base no comprimento real do feixe no campo de visão, que é 160 mm.

Como o sistema divide o comprimento real da viga em seções de 30 e 40 mm, ele define o valor limite para uma seção da viga em [60, 130].

(4)defina a área ROI com base nas informações de linha reta retidas, e a Fig. 9a mostra a área ROI.

Com base na área da ROI, aplique a transformação afim para obter a imagem de cada seção do feixe. A imagem transformada afim aparece na Fig. 9b.

Use operações matriciais para obter o efeito de transformação específico.

A fórmula de transformação afim é mostrada na Equação (3).

Onde: (x, y) são as coordenadas qui-quadrado de um ponto na imagem original;

é a matriz de transformação afim; É a matriz de transformação afim; O sistema obtém as coordenadas qui-quadrado $(x\text{'},y\text{'})$ dos pontos correspondentes na imagem transformada, realizando a operação de multiplicação de matrizes.

Figura 7 Aproximação do Polígono

Figura 8 Diagrama de polígono

Fig. 9 Mapa de corte de imagem

(a)Região ROI (b) Resultado após transformação afim

• • Método de Julgamento de Declive

• • 1. Aplique o operador de detecção de bordas Canny para extrair bordas da região do feixe segmentado e obter o conjunto de pontos de borda.

• • 2. Selecione pontos do conjunto de pontos de borda em intervalos fixos para formar o conjunto de pontos de intervalo.

Os resultados são mostrados na Tabela 2, e a imagem dos pontos do intervalo é mostrada na Fig. 10.

Figura 10 Imagens de pontos de intervalo

• • 3. Conecte dois pontos na mesma aresta e calcule a inclinação k de cada linha a partir da fórmula da inclinação.

A fórmula da inclinação é mostrada na equação (4).

Onde (x1, y1) e (x2, y2) representam as coordenadas de dois pontos conhecidos na imagem original.

A Tabela 3 mostra os resultados, listando as inclinações da borda superior nas linhas 1 a 4 e as inclinações da borda inferior nas linhas 5 a 6.

Para linhas retas na mesma aresta, defina as inclinações da primeira e da última linhas como zero para evitar influenciar a inclinação.

A linha de fusão se forma na intersecção dos fluxos de material, o que não ocorre nas extremidades das vigas e, portanto, evita a falha na inspeção.

A Fig. 11 mostra um gráfico de linha da inclinação das retas.

Figura 11 Gráfico de linha de declive linear (para evitar interferência, as inclinações do primeiro e do último segmento de linha são definidas como 0)

(a) Gráfico de linha de declive linear da borda superior (b) Gráfico de linha de declive linear da borda inferior

• • 4. Defina um limite (após muitos experimentos, o valor empírico de [0, – 15] é finalmente escolhido como o limite de julgamento, que corresponde ao ângulo de inclinação real de cerca de 0°) e quando a inclinação k de um segmento de linha excede esse limite, é julgado que há um defeito na região, caso contrário, a região é normal.

Em experimentos específicos, outros tipos de defeitos, como bordas soltas, podem existir na borda da viga e afetar a inclinação, resultando em erros de julgamento.

Para eliminar erros de julgamento, o sistema define uma regra com base na característica de que os defeitos se distribuem nas duas extremidades da viga: quando 2 a 4 segmentos de linha têm valores de k anormais na região e esses segmentos se distribuem simetricamente, o sistema julga a presença de defeitos nessa região e os marca adequadamente.

Essa abordagem ajuda a evitar erros de julgamento e mostra os resultados da detecção de defeitos na Fig. 12.

Fig. 12 Resultados da detecção de defeitos

 

(a) Verdadeiro Normal (b) Previsto Normal (c) Defeito Verdadeiro (d) Defeito Previsto

Resultados e discussão

A equipe desenvolveu o código experimental usando o ambiente de desenvolvimento integrado PyCharm 2023, a linguagem de programação Python 3.9 e a biblioteca de visão de máquina OpenCV-Python 4.7.0.72.

O sistema de hardware consiste principalmente na câmera industrial Hikvision MV-CS050-10GM, lente Hikvision FA com distância focal de 8 mm, fonte de luz branca de anel LED Hikvision e robô Fanuc LR MATE 200iD/4S.

O experimento simula a produção real da fábrica e adota o método de julgamento de declive e o método de inspeção em linha reta para inspecionar 100 peças moldadas por injeção, respectivamente.

Primeiro, o robô agarra as peças moldadas por injeção colocadas na área de carga do equipamento e as coloca na correia transportadora.

Em seguida, a correia transportadora transfere as peças para a área de inspeção visual para fotografia e inspeção. Por fim, o sistema emite os resultados da inspeção em tempo real.

O experimento coleta um total de 400 imagens da área do feixe, incluindo 354 amostras normais e 46 amostras de linhas de fusão.

Comparando os dois métodos, a Tabela 4 mostra os resultados do método de julgamento de declive, e a Tabela 5 apresenta os resultados do método de detecção de linha reta.

Tabela 4 Resultados de detecção do método de julgamento de declive

Tabela 5 Resultados dos métodos de teste em linha reta

Analisando os dados de teste na Tabela 45, descobrimos que o método de julgamento de declive tem uma taxa de detecção incorreta de 2%, uma taxa de vazamento de 4.3% e precisão de 97.8%; enquanto o método de detecção em linha reta tem uma taxa de detecção incorreta de 1%, uma taxa de vazamento de 45.6% e precisão de 92.7%.

A análise dos dados de teste na Tabela 45 mostra que o método de julgamento de declive tem uma taxa de detecção incorreta de 2%, taxa de vazamento de 4.3% e precisão de 97.8%, enquanto o método de detecção em linha reta tem uma taxa de detecção incorreta de 1%, taxa de vazamento de 45.6% e precisão de 92.7%.

• • O método de extração do esqueleto tem valor de referência para a linha de fusão gerada na viga, o que fornece uma melhor base para a segmentação subsequente dos defeitos.

• • O método de julgamento de declive pode atender aos requisitos de detecção de defeitos com comprimento de 2 mm e ângulo de depressão maior que 8.53°, mas é difícil detectar defeitos com ângulo de depressão menor que 8.53°.

• • Comparado com o método de detecção linear, o método de julgamento de declive aumenta a taxa de detecção falsa em 1%, melhora a taxa de precisão em 5% e reduz significativamente a taxa de vazamento.