Desenvolvendo o primeiro sistema médico de imagem 3D OCT em

Desenvolvendo o primeiro sistema médico de imagem 3D OCT em tempo real do mundo
com LabVIEW e NI FlexRIO
"Nos beneficiamos da flexibilidade e escalabilidade
da plataforma PXI e NI FlexRIO para desenvolver o
primeiro sistema de imagem OCT 3D em tempo real
do mundo. Nós usamos LabVIEW para programar,
integrar, e controlar as diferentes partes do sistema,
combinando aquisição de grandes quantidade de
canais com FPGA e processamento GPU para
cálculo em tempo real, renderização, e exibição "
- Dr. Kohji Ohbayashi , Kitasato University, Graduate School of Medical Science
O desafio:
Criar um instrumento médico que pode detectar câncer durante exames médicos de rotina sem submeter o paciente ao severo estresse de uma
biópsia.
A solução:
Utilização de tomografia de coerência óptica (OCT) e um sistema de aquisição de dados de 320 canais combinando o arranjo de portas
programáveis em campo (FPGA) do hardware NI FlexRIO e processamento GPU para criar o primeiro sistema de imagem OCT 3D em tempo real
do mundo.
Autor(es):
Dr. Kohji Ohbayashi - Kitasato University, Graduate School of Medical Science
D. Choi - Kitasato University, Center for Natural Science
H. Hiro-Oka - Kitasato University, Center for Natural Science
A. Kubota - System House Co.
T. Ohno - System House Co.
R. Ikeda - System House Co.
K. Shimizu - Kitasato University, Department of Opthalmology
OCT, ou Tomografia de Coerência Óptica, é uma técnica de imagem não invasiva que fornece imagens transversais da subsuperfície do material.O
interesse na tecnologia OCT continua a crescer porque esta fornece uma resolução muito maior que outras técnicas de imagem tais como a imagem por
ressonância magnética (MRI) ou tomografia por emissão de pósitrons (PET). Adicionalmente, o método não requer muita preparação e é extremamente
seguro para o paciente, devido ao uso de saída de laser de baixa energia e não requerer radiação ionizante.
O OCT usa uma fonte de luz de baixa intensidade e as correspondentes reflexões de luz para criar imagens – um método similar ao ultrassom, porém
este mede luz ao invés de som. Quando o feixe de luz é projetado em uma amostra, muita luz é dispersada, mas uma pequena quantidade reflete como
um feixe colimado, o qual pode ser detectado e usado para criar uma imagem.
O OCT é uma ferramenta de diagnóstico promissora em muitos campos da medicina. Em aplicações de OCT, a velocidade do sistema de imagem é
crucial para inspeção rápida e obtenção de uma boa qualidade de imagem sem artefatos de movimento. Para inspecionar o olho humano, o qual pode
ser mantido relativamente parado usando um apoio para o queixo, nós devemos usar uma alta taxa do A-scan para eliminar todos os artefatos de
movimento. Entretanto, na OCT endoscópica, como no caso dos sistemas digestivo e respiratório, o tecido cujas imagens estão sendo feitas não podem
ser fixados no local, então nós devemos usar métodos de OCT de alta velocidade para eliminar artefatos de movimento.. Além disso, em biópsia óptica
não invasiva em tempo real, a velocidade do sistema de imagem deve ser rápida o suficiente para exibir a imagem 3D em tempo real para diagnóstico
imediato, como um endoscópio convencional. Alguns métodos anteriores haviam sido propostos para o OCT de alta velocidade, porém nenhum foi bem
sucedido na exibição em tempo real dos filmes do OCT 3D.
Sistema de primeira geração
Nós desenvolvemos nossa primeira geração de sistemas OCT de alta velocidade no domínio espectral (SD) para ser capaz de produzir um A-scan a uma
taxa de 60 Mhz. O elemento chave do método OCT foi usar demultiplexadores ópticos para separar as 256 bandas espectrais estreitas de uma largura
de banda incidente de uma fonte de luz. Isto permitiu a detecção simultânea e paralela de uma margem de sinal de interferência (um requisito crítico para
sistemas de imagem OCT) em todos os comprimentos de onda no espectro medido. Como resultado, a taxa do A-scan era igual à velocidade de
aquisição de dados da taxa de digitalização do conversor analógico para digital (ADC) no sistema.
Nós baseamos nosso sistema de aquisição de dados em 32 digitalizadoras de 8 canais de alta densidade NI PXI-5105 (
http://sine.ni.com/nips/cds/view/p/lang/en/nid/203023), que usamos para digitalizar todos as 256 bandas espectrais simultaneamente com uma taxa de
amostragem de 60 MS/s. Nós usamos a memória onboard do digitalizador para adquirir dados, então o transferimos para um PC e usamos o LabVIEW (
http://www.ni.com/labview/) para processar e visualizar os dados. O módulo de temporização e sincronização NI PXI-6652 (
http://sine.ni.com/nips/cds/view/p/lang/en/nid/13639) e a tecnologia de sincronização NI-TClk era outra parte crítica do nosso sistema de primeira
geração, fornecendo coerência de fase entre todos os canais no sistema em dezenas de picossegundos.
Usando os demultiplexadores ópticos em um sistema SD-OCT como analisadores de espectro, nós atingimos imagem OCT de 60 milhões de
1/7
www.ni.com
Usando os demultiplexadores ópticos em um sistema SD-OCT como analisadores de espectro, nós atingimos imagem OCT de 60 milhões de
digitalizações axiais por segundo. Usando um digitalizador ressonante para digitalização lateral, nós demonstramos uma taxa de quadros de 16 KHz com
1.400 A-lines por quadro, uma faixa de profundidade de 3 mm, e 23 µm de resolução.
Próxima geração da arquitetura de sistema
Enquanto nós podíamos capturar vídeos OCT volumétricos com nosso sistema anterior, a massiva quantidade de dados adquiridos por todos os canais
simultaneamente significava que estávamos limitados pela memória onboard dos digitalizadores. No total, a duração de um vídeo OCT estava limitada a
aproximadamente 2,5 segundos. Depois de transferir os dados para o PC, nós necessitávamos de três horas para processar completamente e renderizar
os dados do vídeo 3D. No final, a biópsia óptica em tempo real (um objetivo primário para OCT endoscópico) não foi possível com este sistema.
Entretanto, nosso novo sistema alcança a exibição de imagem 3D em tempo real (em essência exibe OCT 4D) com um A-scan, B-scan, e taxa de volume
de 10 Mhz, 4 Mhz, e 12 volumes por segundo, respectivamente.
O sistema experimental é mostrado na figura 1. A configuração é similar ao nosso sistema anterior, mas foram feitas duas modificações principais –
escolhemos um centro de comprimento de onda de 1.310 nm ao invés de 1.550 nm e atualizamos nosso sistema de aquisição de dados para
processamento em tempo real.
Em nosso sistema, a fonte de luz é uma banda larga de diodo superluminescente. Um filtro seleciona a faixa de comprimento de onda para corresponder
aos demultiplexadores ópticos. Amplificamos a saída de luz do diodo com um amplificador semicondutor óptico e o dividimos igualmente no instrumento
de amostra e no instrumento de referência com o acoplador. Nosso sistema direciona a luz do instrumento de amostra sobre a amostra com uma lente
colimadora e uma lente objetiva. Usamos um digitalizador ressonante e um espelho galvanômetro para digitalizar o feixe de luz na amostra. A frequência
de ressonância do digitalizador é 4 KHz, o qual determina a taxa do B-scan do sistema. Nosso sistema coleta a luz retroespalhada da amostra com a
iluminação óptica e a direciona para outro acoplador. O instrumento de referência inclui um circulador óptico. Combinamos a saída amplificada e a luz de
referência com outro acoplador. O instrumento de referência inclui um circulador óptico, lente colimadora e espelho de referência.
O sistema envia a saída do acoplador para dois demultiplexadores ópticos para detecção balanceada. Os demultiplexadores ópticos dividem a luz em
320 comprimentos de onda e esta então é direcionada a fotorreceptores diferenciais. Os dados de saída do sistema fotorreceptor são enviados para o
sistema de aquisição de dados. Embora o sistema OCT possa atingir uma taxa de A-Scan mais rápida baseada na velocidade conversão de 50 MHz do
conversor A/D, nós selecionamos uma taxa de A-scan de 10 MHz para o trabalho inicial.
Aquisição de dados e processamento em tempo real
Construímos nosso sistema de aquisição de dados de 320 canais com o hardware modular FPGA NI FlexRIO (http://www.ni.com/flexrio/) programado
com o NI LabVIEW FPGA Module (http://sine.ni.com/nips/cds/view/p/lang/en/nid/11834), uma linguagem de desenvolvimento gráfico que nós podemos
usar para projetar os circuitos do FPGA sem necessariamente conhecer linguagem VHDL. O NI FlexRIO combina módulos adaptadores de E/S
customizáveis substituíveis, com um módulo FPGA programável pelo usuário em um chassi PXI ou PXI Express. FPGAs habilitam a implementação do
algoritmo de processamento em hardware, então atingimos melhoras significativas em nosso desempenho de processamento movendo partes do código
do PC para o FPGA.
A figura 2 mostra um diagrama do nosso sistema de aquisição de dados. Para aquisição de alta velocidade, usamos o módulo adaptador NI 5751 (
http://sine.ni.com/nips/cds/view/p/lang/en/nid/209099), o qual tem uma taxa de amostragem de 50 MS/s em 16 canais simultaneamente com 14 bits de
resolução. O módulo adaptador faz a interface para o módulo FPGA NI PXIe-7962R (http://sine.ni.com/nips/cds/view/p/lang/en/nid/208166), o qual
usamos para realizar o primeiro estágio do processamento – subtração do ruído da amostra de corte e multiplicação da função de janela. No total, nós
temos 20 módulos entre os dois chassis PXI Express, então nós usamos dois módulos de sincronização e temporização NI PXIe-6674T (
http://sine.ni.com/nips/cds/view/p/lang/en/nid/209100) para distribuir os clocks para o sistema e assegurar sincronização precisa de fase em todos os
canais no sistema.
Construir nosso sistema baseado na plataforma NI PXI foi decisivo para obter o desempenho necessário. Primeiro, nós precisavámos de uma alta taxa
de transferência de dados do PXI Express. Com PCIe x4 roteados para cada slot no chassi, pode-se suportar a taxa de transferência de 700 MB/s para
cada módulo. Adicionalmente, a arquitetura do chassi PXI Express permite comunicação ponto a ponto entre diferentes instrumentos usando DMA direta,
eliminando a necessidade de enviar dados através do processador host ou memória para comunicação entre módulos. Para nossos requisitos de
transferência e processamento, precisávamos comunicar entre diversos módulos NI FlexRIO FPGA com baixa latência e alta transferência. Implementar
a DMA direta necessária para atender esta necessidade normalmente requer programação complexa e de baixo nível. Felizmente, a tecnologia de
transmissão NI P2P (peer-to-peer) fornece uma alto nível de abstração o qual nos permitiu conectar facilmente múltiplos FPGAs no sistema sem se
preocupar com o nível de implementação. Ao invés disto, focamos nossa expertise nos algoritmos do FPGA que determina o desempenho da imagem no
sistema.
Usando transmissão P2P, nós transmitimos os dados pré-processados nos módulos NI PXIe-7962R para os módulos FPGA NI PXIe-7965R (
http://sine.ni.com/nips/cds/view/p/lang/en/nid/208167), que são construídos baseados no FPGA de alta performance Virtex 5 SX95. Estes FPGAs contém
um grande número de partes de processamento digital de sinal (DSP), então nós os usamos para nosso intenso processamento para transformada
rápida de Fourier (FFT). Para atingir a capacidade de criar a imagem 3D, os dois FPGAs no sistema calcularam mais de 700.000 FFTs de 512 pontos por
segundo. Enquanto nós usávamos o LabVIEW FPGA IP para mais projetos nossos, fomos capazes de facilmente integrar o Xilinx CORE Generator™
VHDL IP na nossa aplicação LabVIEW FPGA para obter este complexo processamento de FFT.
Usando o LabVIEW para integrar e controlar as diferentes partes do sistema, nós transferimos dados sobre uma interface de fibra-óptica MXI-Express de
alta velocidade do sistema PXI para um PC Dell Precision T7500 quad-core com uma unidade de processamento gráfico (GPU) NVIDIA Quadro FX 3800
para realizar a renderização e exibição 3D em tempo real. Nós também precisávamos armazenar os dados por longos períodos de tempo para
aplicabilidade em testes agrupados de triagem de câncer. Enquanto nossa arquitetura não limita o tempo de aquisição de imagem, nós habilitamos o
logging de até 100 minutos no nosso sistema de protótipo armazenando os dados no sistema RAID NI HDD-8264 (
http://sine.ni.com/nips/cds/view/p/lang/en/nid/203951), o que forneceu três TB de espaço em disco rígido.
Quando definimos nosso sistema, nós estimamos nossas quantidades de dados e velocidade de transferência necessária como listado na tabela 1. O
número de canais (320) determina as amostras por A-Scan (varredura em profundidade – depth scan). Então escolhemos 256 A-scans em um B-scan
(Imagem transversal 2D) para obter qualidade de imagem razoável. Isto significava que 81.920 amostras de dados compunham nosso B-scan. Com 256
B-scans por varredura do volume, nós tínhamos 20.971.520 amostras por volume, e usando ADCs de 14 bits, cada amostra tinha dois bytes. Nosso
objetivo era atingir uma taxa de volume de 12 volume/s, nós precisávamos de uma taxa de dados global de pouco mais de 500MB/s, o qual nós
atingimos com a interface MXI-Express NI PXIe-8375 (http://sine.ni.com/nips/cds/view/p/lang/en/nid/207823).
Termos
Quantidade e velocidade do tráfego de dados
Número de amostras por A-scan
320 amostras
Número de amostras por B-scan (frame)
320 by 256 = 81,920 amostras
Número de amostras por V-scan (volume)
320 by 256 by 256 = 20,971,520 amostras
Número de volumes por segundo
12 volumes/segundo
Número de B-scans por segundo
256 by 12 = 3,072 B-scans/segundo
Número de amostras por segundo
20,971,520 by 12 = 251,658,240 amostra/segundo
Número de bytes por segundo
251,658,240 by 2 bytes = 503,316,480 bytes/segundo
Números de FFT por segundo
256 by 256 by 12 = 786,432 FFTs/segundo
Total de bytes armazenados
503,316,480 by 60 by 100 = 3,019,898,880,000 bytes
Quantidade de dados e velocidade do tráfego de dados
Uma fotografia do nosso sistema é mostrada na Figura 3. O rack da esquerda contém nosso banco de fotorreceptores e o da direita é o sistema de
aquisição de dados. Os dois chassis PXI estão no centro do rack, enquanto o bloco conector de sinais estão acima e abaixo. O PC Dell está no piso no
canto inferior esquerdo.
Resultados
Nós projetamos o sistema com três diferentes modos de apresentação em tempo real: (a) amostras contínuas da imagem 3D renderizada, (b)
digitalização contínua de quadro transversal 2D em um cubo 3D ao longo de cada eixo, e (c) apresentação contínua de todos os dados de imagem
B-scan adquiridas.
A figura 4 mostra um exemplo de uma apresentação 3D renderizada continuamente. A amostra está exibindo a pele de um dedo humano. As imagens
2/7
www.ni.com
A figura 4 mostra um exemplo de uma apresentação 3D renderizada continuamente. A amostra está exibindo a pele de um dedo humano. As imagens
renderizadas são continuamente atualizadas e nós podemos alterar arbitrariamente a direção de visualização em tempo real. A figura 4a mostra
claramente o padrão da impressão digital enquanto a figura 4b mostra as glândulas sudoríparas. Nós podemos observar as glândulas sudoríparas em
tempo real.
Embora os dados a 12 volumes/s são continuamente transferidos do sistema de aquisição de dados para o PC, arrays de dados volumétricos devem ser
reformatados para o processo de renderização GPU, o qual causa um gargalo no processamento de dados. Atualmente, nosso sistema de prototipagem
atualiza a imagem renderizada duas vezes por segundo, mas a placa GPU foi aferida para realizar o processamento da renderização a quatro vezes por
segundo. Portanto, nós podemos aumentar a taxa de atualização do sistema para maior otimização do nosso algoritmo.
A figura 5a mostra um corte de um vídeo em tempo real apresentando imagens OCT renderizadas da estrutura de três camadas em um esôfago extraído
de um porco. Apresentação em tempo real de faixas transversais 2D digitalizadas ao longo dos eixos designados como x, y, ou z também é possível,
como mostrado nas figuras 5b, 5c, e 5d. A faixa de profundidade é 4 mm. Esta imagem de profundidade de penetração é suficiente para detectar câncer
em fase inicial.
Enquanto apresenta imagens 3D renderizadas, nós também podemos virtualmente cortar parte do tecido e revelar a estrutura interna em tempo real. A
figura 6a é uma imagem renderizada de um pedaço da carne de frango vista de cima. A figura 6b mostra um corte virtual de uma fina camada de tecido.
Conforme nós aumentamos a espessura da camada de corte, como nas figuras 6c e 6d, nós podemos ver um objeto na carne de frango. O processo de
corte virtual pode ser feito reversamente em tempo real. Neste caso em particular, nós podemos ver a forte luz refletida de uma agulha de metal que nós
inserimos na amostra. Ao rotacionarmos a imagem renderizada, nós podemos ver a agulha diretamente sem um corte virtual conforme mostrado na
figura 6e. O corte virtual de uma imagem renderizada é útil para estimação de profundidade e a propagação do câncer em tempo real.
Conclusão
Globalmente, nós utilizamos a flexibilidade e a escalabilidade da plataforma PXI e NI FlexRIO para desenvolver o primeiro sistema de imagem OCT 3D
em tempo real do mundo. Usamos o LabVIEW para programar, integrar, e controlar diferentes partes do sistema, combinando aquisição de grande
quantidade de canais com processamento FPGA e GPU para cálculos em tempo real, renderização, e exibição.
Usando o processamento baseado em FPGA fornecido pelo NI FlexRIO, nós calculamos mais de 700.000.512 pontos de FFT a cada segundo para obter
a imagem 3D, enquanto mantivemos uma grande densidade de canais para o sistema de 320 canais. O uso do PXI nos permitiu alta taxa de
transferência de dados através do PCI Express, temporização precisa e sincronização de vários módulos e fluxo de dados “peer-to-peer” para transferir
dados diretamente entre os módulos FPGA sem passar pelo host. Também fomos capazes de manter uma alta conexão com alta taxa de transferência
entre E/S e o processamento GPU no PC host, bem como integrar hardware RAID para aumentar a capacidade de armazenamento de dados de
imagem.
Com este sistema de processamento, nós demonstramos a exibição contínua em tempo real de imagens OCT 3D, e nos permitiu rotacionar a imagem
3D renderizada em qualquer direção em tempo real. Observação de tecidos, tais como a traquéia ou esôfago, com boa profundidade de penetração da
imagem demonstra a aplicabilidade de nosso método para biópsia óptica. Além disso, a revelação dentro de uma estrutura cortando virtualmente a
superfície do tecido em tempo real seria muito útil para diagnóstico de câncer. Observamos ainda mudanças dinâmicas no tecido com nosso sistema, o
que os cirurgiões poderiam utilizar para observar o fluxo de sangue e mudanças no tecido durante a cirurgia.
Agradecimentos
Este trabalho é apoiado pelo programa “Desenvolvimento de sistemas e tecnologia para medição e análise avançada” da Japan Science and Technology
Agency (JST).
Informações do autor:
Dr. Kohji Ohbayashi
Kitasato University, Graduate School of Medical Science
Kitasato 1-15-1, Sagamihara
Kanagawa
Japão
Tel: +81-42-778-8034
[email protected] (mailto:[email protected])
Imagem 3D renderizada em tempo real da pele dos dedos
3/7
www.ni.com
Configuração experimental do sistema de imagem OCT de alta velocidade. Imagem 2 de 7.
Sistema de processamento e aquisição de dados de 320 canais. Imagem 3 de 7.
4/7
www.ni.com
Fotografia do Sistema DAQ. Imagem 4 de 7
5/7
www.ni.com
Imagem 3D renderizada em tempo real da pele dos dedos (a) Direção da vista para clara visualização da impressão digital (b) Direção da vista para clara
visualização das glândulas sudoríparas. Figura 5 de 7.
Imagens OCT em tempo real do esôfago extraído de um porco (a) Imagem 3D renderizada, cortes transversais 2D da imagem escaneadas ao longo de um eixo. (b)
Eixo X (c) Eixo Y (d) Eixo Z. Imagem 6 de 7
6/7
www.ni.com
O corte virtual revela uma agulha de costura que nós inserimos dentro de uma amostra de carne de frango. Figura 7 de 7
Informações legais
Esse estudo de caso (esse "estudo de caso") foi desenvolvido por um cliente da National Instruments ("NI"). ESSE ESTUDO DE CASO É FORNECIDO "COMO
ESTÁ", SEM GARANTIAS DE QUALQUER NATUREZA E SUJEITO A DETERMINADAS RESTRIÇÕES, COMO ESTABELECIDO DE FORMA MAIS ESPECÍFICA
NOS TERMOS DE USO DA NI.COM (http://ni.com/legal/termsofuse/unitedstates/us/ (http://ni.com/legal/termsofuse/unitedstates/us/)).
7/7
www.ni.com