DE102022112479A1

DE102022112479A1 - Robust view classification and measurement in ultrasound imaging

Info

Publication number: DE102022112479A1
Application number: DE102022112479.7A
Authority: DE
Inventors: Dominik Neumann; Awais MANSOOR; Vlad Comanelea-Serban; Sasa Grbic; Mallory Selzo; Andrzej Milkowski
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2021-05-20
Filing date: 2022-05-18
Publication date: 2022-11-24

Abstract

Für eine robuste Ansichtsklassifikation (12) und Messungsschätzung (14) bei einer sequenziellen Ultraschallbildgebung (10) werden die Klassifikation und/oder die Messungen für ein gegebenes Bild oder eine gegebene Bildsequenz gegatet (17, 18). Das Gating (17, 18) stellt zum Verhindern von Oszillationen in den Ergebnissen eine konsistente Ausgabe bereit.For robust view classification (12) and measurement estimation (14) in sequential ultrasound imaging (10), the classification and/or measurements for a given image or image sequence are gated (17, 18). The gating (17, 18) provides a consistent output to prevent oscillations in the results.

Description

HINTERGRUNDBACKGROUND

Die vorliegenden Ausführungsformen betreffen die Ultraschallbildgebung. Bei Unterleibs-Ultraschalluntersuchungen wird eine Echtzeitbildgebung mehrere Minuten lang bei etwa 20 Frames pro Sekunde ausgeführt, was zu tausenden individueller Frames zur Abdeckung aller relevanten Ansichten führt. Der Sonograph folgt typischerweise einer medizinischen Richtlinie zur Untersuchung von Organen oder anderen interessierenden anatomischen Strukturen, wodurch ein kontinuierlicher Strom sequenzieller Bildgebungsdaten erzeugt wird.The present embodiments relate to ultrasound imaging. For abdominal ultrasound exams, real-time imaging is performed for several minutes at approximately 20 frames per second, resulting in thousands of individual frames to cover all relevant views. The sonographer typically follows a medical guideline to examine organs or other anatomical structures of interest, producing a continuous stream of sequential imaging data.

Während des Scans wählt der Sonograph manuell „Schlüsselbilder“ aus, die dann mit einem identifizierten Ansichts-Label (beispielsweise „linke Niere transversal“, „Hauptgallengang“,...) gespeichert werden. Für einige dieser Schlüsselbilder misst der Sonograph ferner gewisse interessierende Größen (beispielsweise Nierenlänge, -breite und/oder -höhe, Lumendurchmesser, Gallenblasen-Wanddicke,...). Die Messung geschieht typischerweise, nachdem der Benutzer eine geeignete Ansicht gefunden hat (beispielsweise hohe Bildqualität, Organabdeckung,...), er „friert“ das Bild dann ein und platziert schließlich Messschieber auf dem Bild. Schlüsselbildauswahl, Ansichtsidentifikation, „Einfrieren“ des Bilds und Platzierung des Messschiebers erfolgen manuell ohne Vorbereitung, während gescannt wird. Diese manuellen Schritte sind für Benutzerfehler anfällig und können zwischen Sonographen inkonsistent sein (beispielsweise Tippfehler, unterschiedliche Abkürzungen, Variabilität zwischen Benutzern). Die Qualität der Ergebnisse hängt von der Erfahrung und dem Können des Benutzers ab. Angesichts der Anzahl der Bilder kann der Gesamtprozess ineffizient und mühsam sein.During the scan, the sonographer manually selects "key frames" which are then saved with an identified view label (e.g. "left kidney transverse", "common bile duct",...). For some of these key images, the sonographer also measures certain variables of interest (e.g. kidney length, width and/or height, lumen diameter, gallbladder wall thickness,...). The measurement typically happens after the user has found a suitable view (e.g. high image quality, organ coverage,...), he then "freezes" the image and finally places calipers on the image. Key frame selection, view identification, image "freezing" and caliper placement are done manually without preparation while scanning is in progress. These manual steps are prone to user error and may be inconsistent between sonographers (e.g., typos, different abbreviations, variability between users). The quality of the results depends on the experience and skill of the user. Given the number of images, the overall process can be inefficient and tedious.

Die Bildverarbeitung in der Art einer auf künstlicher Intelligenz beruhenden Bildverarbeitung versucht, einige dieser manuellen Aufgaben zu automatisieren. Ein einzelnes Bild wird eingegeben, um eine oder mehrere dieser Aufgaben an diesem Bild auszuführen. Dieser Ansatz kann zu instabilen Vorhersagen von Bild zu Bild führen. Der Benutzer wählt typischerweise das Schlüsselbild für die Eingabe aus, und es gibt keine Garantie, dass der eine vom Benutzer ausgewählte Frame das optimale Ergebnis durch die künstliche Intelligenz liefert.Image processing, such as artificial intelligence-based image processing, attempts to automate some of these manual tasks. A single image is input to perform one or more of these tasks on that image. This approach can lead to unstable predictions from frame to frame. The user typically selects the keyframe for input, and there is no guarantee that the one frame selected by the user will provide the optimal result from the artificial intelligence.

KURZFASSUNGSHORT VERSION

Einleitend sei bemerkt, dass die nachstehend beschriebenen bevorzugten Ausführungsformen Verfahren, computerlesbare Speichermedien, Befehle und Systeme zur robusten Ansichtsklassifikation und Messungsschätzung bei der sequenziellen Ultraschallbildgebung aufweisen. Die Klassifikation und/oder die Messungen für ein gegebenes Bild oder eine gegebene Bildsequenz werden gefiltert und/oder gegatet. Das Filtern und/oder das Gating stellen zur Verhinderung von Oszillationen in den Ergebnissen eine konsistente Ausgabe bereit.To begin with, the preferred embodiments described below include methods, computer-readable storage media, instructions, and systems for robust view classification and measurement estimation in sequential ultrasound imaging. The classification and/or measurements for a given image or image sequence are filtered and/or gated. Filtering and/or gating provide a consistent output to prevent oscillations in the results.

Gemäß einem ersten Aspekt ist ein Verfahren zur sequenziellen Bildgebung mit einem Ultraschallscanner vorgesehen. Ein Patient wird mit dem Ultraschallscanner gescannt. Das Scannen führt zu einer Sequenz von Frames von Ultraschalldaten, die den Patienten repräsentieren. Eine Ansicht wird für zumindest einige der Frames von Ultraschalldaten der Sequenz klassifiziert. Die klassifizierten Ansichten von mehreren der Frames von Ultraschalldaten werden gegatet, wobei beim Gating der klassifizierten Ansichten eine erste der klassifizierten Ansichten abgelehnt wird und eine zweite der klassifizierten Ansichten durchgelassen wird. Strukturen in den Frames von Ultraschalldaten werden automatisch gemessen. Die Frames, in denen die Messung ausgeführt wird, sind die Frames, die das Gating der klassifizierten Ansichten passieren. Ergebnisse des Messens anhand der Frames, die das Gating der klassifizierten Ansichten passieren, werden gegatet. Das Gating der Ergebnisse des Messens lehnt ein erstes der Ergebnisse des Messens ab und lässt ein zweites der Ergebnisse des Messens durch. Bilder der Datenframes werden angezeigt. Die Bilder weisen eine Annotation für die klassifizierten Ansichten, die das Gating der klassifizierten Ansichten passiert haben, auf. Die Bilder weisen die Ergebnisse des Messens, die durch das Gating der Ergebnisse des Messens durchgelassen wurden, auf. Die Ansicht ist frei von klassifizierten Ansichten von jeglichen der Frames von Ultraschalldaten, die durch das Gating der klassifizierten Ansichten abgelehnt wurden, und frei von den Ergebnissen des Messens, die durch das Gating der Ergebnisse des Messens abgelehnt wurden.According to a first aspect, a method for sequential imaging with an ultrasound scanner is provided. A patient is scanned with the ultrasound scanner. The scanning results in a sequence of frames of ultrasound data representing the patient. A view is classified for at least some of the frames of ultrasound data of the sequence. The classified views of a plurality of the frames of ultrasound data are gated wherein a first of the classified views is rejected and a second of the classified views is passed through in the gating of the classified views. Structures in the frames of ultrasound data are automatically measured. The frames in which the measurement is performed are the frames that pass through the gate of the classified views. Results of measuring on the frames that pass the gate of the classified views are gated. The gating of the measurement results rejects a first of the measurement results and passes a second of the measurement results. Images of the data frames are displayed. The images have annotation for the classified views that passed the classified views' gating. The images have the measurement results passed through the gating of the measurement results. The view is free of the classified views of any of the frames of ultrasound data that were rejected by the gating of the classified views and the results of the measurement that were rejected by the gating of the results of the measurements.

Gemäß einem zweiten Aspekt ist ein Verfahren zur Ansichtsklassifikation und Messung bei der Ultraschallbildgebung durch einen Ultraschallscanner vorgesehen. Der Ultraschallscanner führt eine Bildgebung an einem Patienten als Teil einer Unterleibsuntersuchung aus. Bei der Bildgebung werden Bilder des Unterleibs des Patienten erzeugt. Eine in den Bildern repräsentierte Struktur wird klassifiziert. Die Struktur wird gemessen. Nur die Bilder mit einer konsistenten Klassifikation der Struktur und einer konsistenten Messung der Struktur werden angezeigt.According to a second aspect, a method for view classification and measurement in ultrasound imaging by an ultrasound scanner is provided. The ultrasound scanner performs imaging on a patient as part of an abdominal examination. Imaging creates images of the patient's abdomen. A structure represented in the images is classified. The structure is measured. Only the images with a consistent classification of structure and a consistent measurement of structure are displayed.

Gemäß einem dritten Aspekt ist ein System zur stabilen Klassifikation und Messung bei der Ultraschallbildgebung vorgesehen. Eine Ultraschall-Bildgebungsvorrichtung ist dafür ausgelegt, mit Ultraschall zu scannen. Ein Prozessor ist dafür ausgelegt, Ansichten anhand des Scans zu klassifizieren, eine Struktur in den Ansichten zu messen und festzustellen, welche der Klassifikationen und Messungen anzuzeigen sind. Eine Anzeige ist dafür ausgelegt, erste Bilder für die Klassifikationen und Messungen, die durch den Prozessor als anzuzeigend bestimmt wurden, anzuzeigen und die Klassifikation und die Messungen, die vom Prozessor als nicht anzuzeigend bestimmt wurden, nicht anzuzeigen.According to a third aspect, a system for robust classification and measurement in ultrasound imaging is provided. An ultrasound imaging device is designed to scan with ultrasound. A processor is for it designed to classify views based on the scan, measure structure in the views, and determine which of the classifications and measurements to display. A display is configured to display first images for the classifications and measurements determined by the processor to be displayed and not to display the classification and measurements determined by the processor not to be displayed.

Die vorliegende Erfindung ist durch die folgenden Ansprüche definiert, und nichts in diesem Abschnitt sollte als diese Ansprüche einschränkend ausgelegt werden. Weitere Aspekte und Vorteile der Erfindung werden nachstehend in Zusammenhang mit den bevorzugten Ausführungsformen erörtert und können später unabhängig oder in Kombination beansprucht werden.The present invention is defined by the following claims, and nothing in this section should be construed as limiting those claims. Further aspects and advantages of the invention are discussed below in connection with the preferred embodiments and may later be claimed independently or in combination.

Figurenlistecharacter list

Die Komponenten und die Figuren sind nicht notwendigerweise maßstabsgerecht, und der Nachdruck wird vielmehr auf die Erläuterung der Grundgedanken der Erfindung gelegt. Überdies bezeichnen in den Figuren gleiche Bezugszahlen in den verschiedenen Ansichten entsprechende Teile. Es zeigen:

1 ein Flussdiagramm einer Ausführungsform eines Verfahrens zur Ansichtsklassifikation und Messung bei der Ultraschallbildgebung durch einen Ultraschallscanner,
2 eine beispielhafte Anordnung zur Ansichtsklassifikation und Messung bei der Ultraschallbildgebung durch einen Ultraschallscanner,
3 ein beispielhaftes zeitliches Filtern von Klassifikationsergebnissen mit Vertrauen für das Gating,
4 beispielhafte Bilder und
5 eine Ausführungsform eines Ultraschallsystems zur Ansichtsklassifikation und Messung.

The components and the figures are not necessarily to scale, emphasis instead being placed upon illustrating the principles of the invention. Moreover, in the figures, like reference numbers indicate corresponding parts throughout the different views. Show it:

1 a flow chart of an embodiment of a method for view classification and measurement in ultrasound imaging by an ultrasound scanner,
2 an exemplary arrangement for view classification and measurement in ultrasound imaging by an ultrasound scanner,
3 an example temporal filtering of classification results with confidence for gating,
4 exemplary pictures and
5 an embodiment of an ultrasound system for view classification and measurement.

DETAILLIERTE BESCHREIBUNG DER ZEICHNUNGEN UND GEGENWÄRTIG BEVORZUGTEN AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF THE DRAWINGS AND CURRENTLY PREFERRED EMBODIMENTS

Während der Ultraschallbildgebung können hunderte oder tausende von Bildern bei einer gegebenen Untersuchung des Patienten erzeugt werden. Falls ein Ultraschallsystem beispielsweise automatisch und in Echtzeit mit dem Scannen die Ansicht für jedes Bild klassifiziert und das vorhergesagte Ansichts-Label sofort dem Benutzer präsentiert, kann selbst ein kleiner Bruchteil an Fehlklassifikationen verwirrend sein. Der Benutzer könnte das Vertrauen in das System verlieren. Ähnlich kann eine Variation infolge gelegentlicher Fehler in angezeigten Messergebnissen zu Vertrauensproblemen führen.During ultrasound imaging, hundreds or thousands of images can be generated in a given examination of the patient. For example, if an ultrasound system automatically classifies the view for each image in real-time as it scans, and immediately presents the predicted view label to the user, even a small fraction of misclassifications can be confusing. The user could lose confidence in the system. Similarly, variation due to occasional errors in displayed measurement results can lead to confidence issues.

Eine automatische, eigens einrichtbare, zeitliche Filterpipeline kann verwendet werden, um eine Inkonsistenz in der Klassifikation und/oder in Messungen während einer Ultraschalluntersuchung zu verringern oder zu verhindern. Der Ansatz wird in einem Ultraschallsystem mit echtzeitfähigen Ansichtsklassifikations- und Messalgorithmen in Echtzeit ausgeführt. Ein oder mehrere Filtermodule begrenzen oder gaten die Ausgabe. Die Ansichtsklassifikations- und Messergebnisse werden von einem Stream zeitlicher Bilddaten in Echtzeit (oder retrospektiv an archivierten Daten) bereitgestellt. Die Ansichtsklassifikations- und Messergebnisse einer gegebenen Ansichtsklassifikation, die sehr wahrscheinlich eine ausreichende Qualität aufweisen, werden dem Benutzer gezeigt. Die Anzeige falscher oder ungenauer Ansichts-Label oder Messergebnisse wird unterdrückt. Falsche oder ungenaue Ergebnisse können durch die korrekten, geschätzten oder verbesserten Ergebnisse ersetzt werden.An automatic, on-demand, temporal filter pipeline can be used to reduce or eliminate inconsistency in classification and/or measurements during an ultrasound exam. The approach is performed in an ultrasound system with real-time capable view classification and measurement algorithms. One or more filter modules limit or gate the output. The view classification and measurement results are provided by a stream of temporal imagery in real time (or retrospectively on archived data). The view classification and measurement results of a given view classification, which are very likely to be of sufficient quality, are shown to the user. The display of incorrect or inaccurate view labels or measurement results is suppressed. Incorrect or inaccurate results may be substituted with the correct, estimated or improved results.

Vorhersagen auf der Bildebene werden mit zeitlichen Informationen kombiniert, um Sonographen eine bessere Benutzererfahrung bereitzustellen. Möglicherweise erzeugte schlechte Ergebnisse werden herausgefiltert, bevor der Benutzer sie sieht. Ein „Flackern“ (beispielsweise eine häufige Änderung von Ansichts-Labeln, falls ein Klassifikator ein Organ nicht richtig von einem anderen unterscheiden kann) wird durch Ausnutzen zeitlicher und/oder anderer Informationen vermieden. Eine bessere Funktionsweise erhöht die Messgenauigkeit durch Kombinieren von Informationen aus mehreren Frames oder Informationen über einen Frame. Ein fehlerhaftes Labeln individueller Frames wird durch Kombinieren von Informationen aus mehreren Frames verringert. Einige Filtermodule ermöglichen eine Ausnutzung zeitlicher Informationen selbst dann, wenn die verwendeten Ansichts- oder Messalgorithmen eine Mehrframeeingabe nicht unterstützen. Bei gleicher Eingabesequenz erzeugt die Filterpipeline eine identische Ausgabe, wodurch auf dem Sonographen beruhende Variationen vermieden werden. Eine manuelle Auswahl einer Schlüsselansicht kann durch gefilterte Ansichtsklassifikationsergebnisse ersetzt werden. Ein manuelles „Einfrieren“ eines Frames kann durch eine Kombination mehrerer Filtermodule (beispielsweise Ansichtsklassifikationsfilter + Messungsfilter (Bildqualität, Stabilität, ...)) ersetzt werden. Es kann eine manuelle Platzierung von Messschiebern vermieden werden.Image-level predictions are combined with temporal information to provide sonographers with a better user experience. Bad results that may be generated are filtered out before the user sees them. "Flickering" (for example, changing view labels frequently if a classifier cannot correctly distinguish one organ from another) is avoided by exploiting temporal and/or other information. Better functionality increases measurement accuracy by combining information from multiple frames or information about one frame. Erroneous labeling of individual frames is reduced by combining information from multiple frames. Some filter modules allow temporal information to be exploited even when the viewing or measurement algorithms used do not support multi-frame input. Given the same input sequence, the filter pipeline produces an identical output, avoiding sonograph-based variations. A manual selection of a key view can be replaced by filtered view classification results. A manual "freezing" of a frame can be replaced by a combination of several filter modules (e.g. view classification filter + measurement filter (image quality, stability, ...)). Manual caliper placement can be avoided.

1 ist ein Flussdiagramm einer Ausführungsform eines Verfahrens zur sequenziellen Bildgebung mit einem Ultraschallscanner. Das Verfahren sieht eine Ansichtsklassifikation und Messung bei der Ultraschallbildgebung durch den Ultraschallscanner vor. Die Ergebnisse der Klassifikation und/oder Messung werden gegatet. Die Varianz in den Ergebnissen wird durch das Gating verringert, wodurch eine bessere Benutzererfahrung bei der automatisierten Klassifikation und Messung, während hunderte oder tausende von Bildern erzeugt werden, bereitgestellt wird. 1 12 is a flow diagram of one embodiment of a method for sequential imaging with an ultrasound scanner. The method involves view classification and measurement ultrasound imaging by the ultrasound scanner. The results of the classification and/or measurement are gated. The variance in the results is reduced by gating, providing a better user experience in automated classification and measurement as hundreds or thousands of images are generated.

Das Verfahren wird durch das System aus 5 oder ein anderes System implementiert. Beispielsweise erzeugt ein Ultraschallscanner Ultraschallbilder unter Verwendung von Strahlformern und/oder eines Schallkopfs. Ein Bildprozessor klassifiziert in den Bildern repräsentierte Ansichten automatisch und misst Strukturen in den klassifizierten Ansichten. Der Bildprozessor, der eine Anzeige verwendet, begrenzt die Anzeige auf eine konsistente Klassifikation und Messung.The procedure is characterized by the system 5 or another system implemented. For example, an ultrasound scanner creates ultrasound images using beamformers and/or a transducer. An image processor automatically classifies views represented in the images and measures structures in the classified views. The image processor using a display limits the display to consistent classification and measurement.

Es können zusätzliche, andere oder weniger Schritte bereitgestellt werden. Beispielsweise wird das Verfahren ohne die Bildgebung in Schritt 10 ausgeführt, wobei die anderen Schritte beispielsweise an einer gespeicherten Bildgebungssequenz ausgeführt werden. Bei einem anderen Beispiel wird das Verfahren ohne ein Gating der Klassifikation in Schritt 17 oder ein Gating der Messungen in Schritt 18 ausgeführt. Die Schritte werden in der beschriebenen oder dargestellten Reihenfolge (beispielsweise von oben nach unten) ausgeführt, können jedoch auch in anderen Reihenfolgen ausgeführt werden.Additional, different, or fewer steps may be provided. For example, the method is performed without the imaging in step 10, with the other steps being performed on a stored imaging sequence, for example. In another example, the method is performed without gating the classification at step 17 or gating the measurements at step 18 . The steps are performed in the order described or illustrated (e.g., top to bottom), but may be performed in other orders.

In Schritt 10 nimmt der Ultraschallscanner Bilder eines Patienten auf. Die Bildgebung ist Teil einer Unterleibsuntersuchung in der Art eines Scannens der Gallenblase, der Niere und/oder der Leber des Patienten. Bei der Bildgebung werden Bilder des Unterleibs des Patienten erzeugt. Gemäß alternativen Ausführungsformen bezieht sich die Ultraschallbildgebung auf andere Teile des Patienten in der Art des Herzens.In step 10, the ultrasound scanner captures images of a patient. The imaging is part of an abdominal examination such as scanning the patient's gallbladder, kidney and/or liver. Imaging creates images of the patient's abdomen. According to alternative embodiments, the ultrasound imaging relates to other parts of the patient, such as the heart.

Das Scannen führt zu einer Sequenz von Frames von Ultraschalldaten, die den Patienten repräsentieren. Jeder Frame von Ultraschalldaten repräsentiert ein Gebiet oder Gesichtsfeld des Schallkopfs für eine gegebene Zeit- oder Scanperiode. Es kann eine beliebige Bildgebungsrate bereitgestellt werden, wie zehn, zwanzig oder mehr Frames pro Sekunde. Die Untersuchung oder das kontinuierliche Scannen geschieht über einen beliebigen Zeitraum in der Art einiger zehn Sekunden oder Minuten. Während einer gegebenen Unterleibsuntersuchung eines Patienten können hunderte oder tausende von Bildern erzeugt werden.The scanning results in a sequence of frames of ultrasound data representing the patient. Each frame of ultrasound data represents an area or field of view of the transducer for a given time or scan period. Any imaging rate can be provided, such as ten, twenty or more frames per second. The inspection or continuous scanning occurs over an arbitrary period of time in the manner of tens of seconds or minutes. During a given abdominal examination of a patient, hundreds or thousands of images may be generated.

Jeder Frame besteht aus für die Anzeige als Bild zu verarbeitenden Ultraschalldaten oder für die Anzeige auf einem Bildschirm formatierten Ultraschalldaten. Die Bilder können für die Erzeugung eines Bilds zu verwendende Daten, für die Anzeige formatierte Daten oder Daten, die angezeigt wurden, sein. Die Frames von Ultraschalldaten und/oder Bildern stammen von einem Punkt in der Ultraschallbild-Verarbeitungspipeline, beispielsweise nach der Strahlformung durch Betrachten auf eine Anzeige.Each frame consists of ultrasound data to be processed for display as an image or formatted for display on a monitor. The images may be data to be used to create an image, data formatted for display, or data that has been displayed. The frames of ultrasound data and/or images originate from some point in the ultrasound image processing pipeline, for example after beamforming by viewing on a display.

Der Ultraschallscanner erzeugt Ultraschallbilder des Patienten. Die Bilder werden durch Scannen des Patienten erzeugt. Alternativ werden die Bilder durch Laden von Datenframes aus einem Speicher erzeugt. Die Bilder werden anhand eines im Speicher abgelegten vorhergehenden Scans des Patienten erzeugt.The ultrasound scanner generates ultrasound images of the patient. The images are generated by scanning the patient. Alternatively, the images are generated by loading frames of data from memory. The images are generated from a previous scan of the patient stored in memory.

Es können beliebige Typen von Ultraschallbildern erzeugt werden wie B-Mode, Fluss-Mode (beispielsweise Dopplergeschwindigkeit oder Leistung), Kontrastmittel, harmonisch, Pulswellen-Doppler (beispielsweise Spektral-Doppler), M-Mode, Gewebe-Doppler (beispielsweise Gewebebewegung) oder eine andere Ultraschall-Bildgebungsmode, welche eine akustische Interaktion mit dem Patienten repräsentiert. Die verschiedenen Moden erfassen verschiedene Informationstypen wie Intensität des akustischen Rücklaufs (beispielsweise B-Mode und M-Mode) oder Geschwindigkeit (beispielsweise Fluss-Mode oder Gewebe-Doppler).Any type of ultrasound image can be generated such as B-mode, flow mode (e.g. Doppler velocity or power), contrast agent, harmonic, pulse wave Doppler (e.g. spectral Doppler), M-mode, tissue Doppler (e.g. tissue motion) or a another ultrasound imaging mode that represents acoustic interaction with the patient. The different modes capture different types of information such as acoustic return intensity (e.g., B-mode and M-mode) or velocity (e.g., flow mode or tissue Doppler).

Zur Aufnahme der Bilder kann der Ultraschallkopf entlang dem Patienten bewegt werden. Die Bewegung erfolgt entlang der Haut des Patienten, kann jedoch auch entlang einem Gefäß oder Organ innerhalb des Patienten (beispielsweise durch Scannen mit einer Sonde oder einem Katheter) erfolgen. Es kann eine Drehung des Schallkopfs verwendet werden. Der Gesamtprozess für das Scannen und die Bildgebung umfasst das Anordnen des Schallkopfs auf dem Patienten, das Drehen und/oder Verschieben des Schallkopfs, um den Patienten abzubilden, das Scannen, während sich der Schallkopf bewegt, und das Erzeugen von Bildern.The ultrasound head can be moved along the patient to record the images. The movement occurs along the patient's skin, but may also occur along a vessel or organ within the patient (e.g., by scanning with a probe or catheter). Rotation of the transducer can be used. The overall process for scanning and imaging includes placing the transducer on the patient, rotating and/or translating the transducer to image the patient, scanning while the transducer is moving, and generating images.

Während der Ultraschallbildgebung wird eine große Datenmenge gesammelt. Jeder Scan einer Ebene oder eines Volumens stellt einen Datenframe bereit. Anhand jedes Frames kann ein Bild erzeugt werden. Es werden bei einer Untersuchung (beispielsweise einer Implementation des vorgegebenen Musters und/oder während eines gegebenen Besuchs eines Patienten beim Sonographen) einige zehn, einige hundert oder einige tausend Frames und/oder Bilder für die Untersuchung des Patienten erzeugt.A large amount of data is collected during ultrasound imaging. Each scan of a plane or a volume provides a data frame. An image can be generated from each frame. Tens, hundreds, or thousands of frames and/or images are generated for examining the patient in one exam (e.g., one implementation of the predetermined template and/or during a given visit of a patient to the sonographer).

Anstelle einer Verwendung einer manuellen Identifikation von Schlüsselbildern und einer manuellen Platzierung von Messschiebern oder anderen Markierungen für eine Messung werden die Klassifikation und die Messung automatisiert. Die Schritte 12 und 14 repräsentieren die Automatisierung der Klassifikation bzw. der Messung. Um verwirrende oder Misstrauen erweckende schnelle Änderungen der Klassifikation oder Messung durch die Sequenz zu vermeiden, wird die Anzeige inkonsistenter Ausgaben der Klasse oder Messungen in Schritt 16 begrenzt. In einigen Fällen geht die Beschränkung über eine Tiefpassfilterung der Ausgabe hinaus, was ein höheres Vertrauen in die Ausgabeergebnisse ermöglicht.Instead of using manual identification of keyframes and manual Placing calipers or other markers for a measurement automates classification and measurement. Steps 12 and 14 represent automation of classification and measurement, respectively. In order to avoid confusing or suspiciously rapid changes in classification or measurement through the sequence, the display of inconsistent output of the class or measurements is limited in step 16. In some cases, the constraint goes beyond low-pass filtering of the output, allowing for higher confidence in the output results.

2 zeigt eine schematische Repräsentation einer beispielhaften sequenziellen Pipeline, die sowohl Ansichtsklassifikationsergebnisse filtert (d. h. entscheidet, wann Ansichts-Labels zu zeigen sind) als auch Messungen filtert (d. h. entscheidet, wann Messungen anzuzeigen sind). Der Ultraschallscanner 20 erzeugt eine Sequenz von Bildern 21 in einem Echtzeit-Bildstream (beispielsweise etwa 20 Frames pro Sekunde), was zu mehreren Bildern 22 führt. Jedes Bild wird in Schritt 12 durch den Ansichtsklassifikationsalgorithmus 23 klassifiziert. Die Ergebnisse der Klassifikation (d. h. Ansichts-Label) werden an ein oder mehrere (bis zu N_Ansicht) Filtermodule 24, die Gatter 25 anwenden, um das Ansichts-Label durchzulassen oder abzulehnen, übergeben. Die Ansichts-Label, welche die Filter 24 und die Gatter 25 passieren, werden angezeigt 29A. Der Messalgorithmus 28 wird auf Bilder 22 in Zusammenhang mit durchgelassenen Ansichts-Labels angewendet. Die Ergebnisse der Messung (beispielsweise Abstandswerte) werden an ein oder mehrere (bis zu N_Mess) Filtermodule 26, die Gatter 27 anwenden, um die Messung durchzulassen oder abzulehnen, übergeben. Die Messwerte, welche die Filter 26 und die Gatter 27 passieren, werden angezeigt 29B. 2 FIG. 12 shows a schematic representation of an example sequential pipeline that filters both view classification results (ie, decides when to show view labels) and measures (ie, decides when to show measurements). The ultrasound scanner 20 generates a sequence of images 21 in a real-time image stream (e.g., about 20 frames per second), resulting in multiple images 22 . Each image is classified in step 12 by the view classification algorithm 23 . The results of the classification (ie view label) are passed to one or more (up to N _view ) filter modules 24 which apply gates 25 to pass or reject the view label. The view labels that pass the filters 24 and the gates 25 are displayed 29A. The measurement algorithm 28 is applied to images 22 associated with leaked view labels. The results of the measurement (e.g. distance values) are passed to one or more (up to N _meas ) filter modules 26 which apply gates 27 to pass or reject the measurement. The readings that pass through the filters 26 and the gates 27 are displayed 29B.

Welche Ansichtsklassifikations- und Messergebnisse eines gegebenen Ansichtsklassifikations- und Messalgorithmus sehr wahrscheinlich eine ausreichende Qualität aufweisen, um sie dem Benutzer zu zeigen, wird in Echtzeit (oder retrospektiv anhand archivierter Daten) anhand des Streams 21 zeitlicher Bilddaten bestimmt. Die Anzeige falscher oder ungenauer Ergebnisse wird durch Kombinieren von Vorhersagen auf der Bildebene mit zeitlichen Informationen abgelehnt oder durch die korrekten oder verbesserten Ergebnisse ersetzt.Which view classification and measurement results from a given view classification and measurement algorithm are most likely to be of sufficient quality to be presented to the user is determined in real time (or retrospectively using archived data) from the stream 21 of temporal image data. Displaying incorrect or inaccurate results is rejected or replaced with the correct or improved results by combining picture-level predictions with temporal information.

2 zeigt N_Ansicht ^- und N_Mess-Filter 24, 26 und Gatter 25, 27. Es kann ein beliebiger Wert von N_Ansicht und N_Mess in der Art von 1 - 3 verwendet werden. 2 zeigt eine sequenzielle Pipeline (logisches UND). Gemäß anderen Ausführungsformen können andere Anordnungen verwendet werden. Beispielsweise können die Filtermodule 24, 26 in parallelen Streams (logisches ODER) oder anderen Anordnungen organisiert werden. Die Anzeige 29A des Ansichts-Labels kann davon abhängig gemacht werden, dass die entsprechende Messung auch von den Gattern 27 durchgelassen wird. Die Ansichtsfilterung kann parallel geschehen, die Messungsfilterung kann parallel geschehen, und/oder die Ansichtsfilterung kann parallel mit der Messungsfilterung geschehen. Ferner können Rückkopplungsschleifen oder andere komplexere Architekturen implementiert werden, um die Robustheit und Genauigkeit von Ansichtsklassifikations- und Messergebnissen weiter zu verbessern. 2 shows N _view ^and N _measure filters 24, 26 and gates 25, 27. Any value of N _view and N _measure such as 1 - 3 can be used. 2 shows a sequential pipeline (logical AND). According to other embodiments, other arrangements may be used. For example, the filter modules 24, 26 can be organized in parallel streams (logical OR) or other arrangements. The display 29A of the view label can be made dependent on the corresponding measurement also being passed by the gates 27. View filtering can happen in parallel, measurement filtering can happen in parallel, and/or view filtering can happen in parallel with measurement filtering. Furthermore, feedback loops or other more complex architectures can be implemented to further improve the robustness and accuracy of view classification and measurement results.

Wiederum mit Bezug auf 1 sei bemerkt, dass der Bildprozessor, der den Ansichtsklassifikationsalgorithmus 23 implementiert, eine Ansicht für jeden Frame von Ultraschalldaten der Sequenz klassifiziert. Die Klassifikation labelt den Inhalt der Ansicht, beispielsweise durch Angeben, dass das Bild ein bestimmtes Organ oder eine bestimmte anatomische Struktur zeigt. Die in den Bildern repräsentierten Strukturen werden automatisch klassifiziert.Again with reference to 1 note that the image processor implementing the view classification algorithm 23 classifies a view for each frame of ultrasound data of the sequence. The classification labels the content of the view, for example by indicating that the image shows a specific organ or anatomical structure. The structures represented in the images are classified automatically.

Der Ultraschallscanner oder ein Bildprozessor wendet eine computerunterstützte Erkennung auf jeden durch das Scannen erfassten Frame oder jedes dadurch erfasste Bild der Sequenz an. Es kann eine beliebige nun bekannte oder später entwickelte computerunterstützte Erkennung angewendet werden. Beispielsweise wird ein Mustervergleich verwendet, um festzustellen, ob sich ein Muster, das eine bestimmte Ansicht angibt, im Frame oder Bild befindet. Bei einem anderen Beispiel wird eine Schwellenwertbildung, eine Segmentierung oder eine andere Bildverarbeitung angewendet. Für eine schnellere Erkennung kann ein maschinengelernter Detektor angewendet werden. Die maschinengelernte Erkennung ist ein bayessches Netz, eine Support Vector Machine, ein neuronales Netz oder ein anderer Detektor, der eine Eingabe (beispielsweise das Bild 22 oder Merkmale des Bilds 22 (beispielsweise steuerbare Merkmale oder Haar-Wavelets)) in Bezug zu einer Ausgabeklassifikation setzt. Der Ansichtsklassifikationsalgorithmus 23 ist nicht fest. Die Ansichtsklassifikation kann durch andere Algorithmen ersetzt werden. Alternativ könnten mehrere Algorithmen 23 pro Aufgabe verwendet werden und könnte jedes Filtermodul entscheiden, welche Ergebnisse zu verwenden sind.The ultrasound scanner or an image processor applies computer-aided recognition to each frame or image of the sequence captured by the scanning. Any now known or later developed computer aided recognition may be used. For example, pattern matching is used to determine if a pattern that indicates a particular view is in the frame or image. In another example, thresholding, segmentation, or other image processing is applied. A machine-learned detector can be applied for faster detection. Machine-learned recognition is a Bayesian network, support vector machine, neural network, or other detector that relates an input (e.g., the image 22 or features of the image 22 (e.g., controllable features or Haar wavelets)) to an output classification . The view classification algorithm 23 is not fixed. The view classification can be replaced by other algorithms. Alternatively, multiple algorithms 23 could be used per task and each filter module could decide which results to use.

Verschiedene computerunterstützte Klassifikatoren können verschiedene Typen von Objekten und/oder Objekte in verschiedenen Situationen erkennen. Mehrere Klassifikatoren können auf jeden Frame angewendet werden. Gemäß einer Ausführungsform werden die anzuwendenden Klassifikatoren auf der Grundlage des Untersuchungstyps ausgewählt. Der Benutzer legt den Ultraschallscanner beispielsweise für eine Leberuntersuchung aus. Es werden ein oder mehrere Klassifikatoren zur Erkennung der Leberansicht und/oder verdächtiger Objekte (beispielsweise Tumoren und/oder Zysten) in der Leber ausgewählt und angewendet. Bei einem anderen Beispiel legt der Benutzer den Ultraschallscanner für eine Nierenuntersuchung aus. Es werden ein oder mehrere Klassifikatoren zum Labeln von Nierenansichten mit oder ohne Programmierung zum Labeln von Ansichten für benachbarte Organe ausgewählt. Die Auswahl geschieht automatisch durch den Prozessor, oder der Benutzer wählt die Klassifikatoren aus.Different computer-aided classifiers can recognize different types of objects and/or objects in different situations. Multiple classifiers can be applied to each frame. According to one embodiment, the classifiers to be applied are selected based on the study type. The user places the ultrasound scanner for a liver examination, for example out. One or more classifiers are selected and applied to detect the liver view and/or suspicious objects (such as tumors and/or cysts) in the liver. In another example, the user sets up the ultrasound scanner for a kidney exam. One or more classifiers are selected to label kidney views with or without programming to label views for adjacent organs. The selection is made automatically by the processor, or the user selects the classifiers.

Die Klassifikation kann binär erfolgen, beispielsweise durch Klassifizieren, wo eine gegebene Ansicht dargestellt ist oder nicht. Eine Hierarchie binärer Klassifikatoren kann bereitgestellt werden, um die Klasse oder Ansicht aus einer Anzahl verschiedener Ansichten zu identifizieren. Alternativ identifiziert der Klassifikator zwischen zwei oder mehr verschiedenen Ansichten.The classification can be done in a binary manner, for example by classifying where a given view is represented or not. A hierarchy of binary classifiers can be provided to identify the class or view from a number of different views. Alternatively, the classifier identifies between two or more different views.

Die computerunterstützte Klassifikation wird auf alle Frames angewendet. Gemäß anderen Ausführungsformen wird die Erkennung auf weniger als alle Frames angewendet. Die computerunterstützte Klassifikation wird während der Aufnahme der Frames oder Bilder angewendet. Die Anwendung geschieht in Echtzeit. Die Periode zur Verarbeitung eines Frames gleicht der Periode zur Aufnahme eines neuen Frames oder ist kürzer als diese, wodurch die Anwendung in Echtzeit geschehen kann, wobei beispielsweise die Anwendung der Erkennung innerhalb von 20 bis 100 ms (beispielsweise 50 ms) der Erzeugung des Scans abgeschlossen werden kann. Gemäß anderen Ausführungsformen geschielt die Anwendung bei einer Nachverarbeitung, nachdem das Scannen abgeschlossen wurde. Es können Kombinationen der Anwendung der Erkennung während des Scannens und einer Nachverarbeitung verwendet werden.Computer-aided classification is applied to all frames. According to other embodiments, the detection is applied to fewer than all frames. The computer-aided classification is applied during the capture of the frames or images. The application happens in real time. The period for processing a frame is equal to or shorter than the period for taking a new frame, which allows the application to be done in real time, for example the application of the detection being completed within 20 to 100 ms (e.g. 50 ms) of the generation of the scan can be. According to other embodiments, the application switches to post-processing after scanning is complete. Combinations of applying recognition during scanning and post-processing can be used.

In Schritt 14 misst der Bildprozessor automatisch anhand der Frames von Ultraschalldaten. Die Frames, an denen die Messung ausgeführt wird, können nur die Frames mit einer die Beschränkung aus Schritt 17 bestehenden Ansicht, alle Frames oder eine andere Teilmenge von Frames sein.In step 14, the image processor automatically measures from the frames of ultrasound data. The frames on which the measurement is performed can be only the frames with a view satisfying the constraint of step 17, all frames, or some other subset of frames.

Es kann eine beliebige Messung ausgeführt werden. Beispielsweise wird ein Abstand (beispielsweise Leberhöhe oder Wanddicke), eine Fläche oder ein Volumen gemessen. Es können andere Messungen in der Art einer Krümmung, einer Oberflächeneigenschaft, eines Winkels, eines Bewegungsbereichs oder einer Kompression vorgenommen werden.Any measurement can be performed. For example, a distance (e.g. liver height or wall thickness), an area or a volume is measured. Other measurements such as curvature, surface property, angle, range of motion, or compression may be taken.

Die Messung geschieht durch Erkennen eines oder mehrerer Orientierungspunkte oder anderer Strukturen zur Definition der Messung (beispielsweise durch Identifizieren zweier Orientierungspunkte für das Platzieren von Messschiebern zur Messung des Abstands zwischen den Orientierungspunkten). Es kann eine beliebige nun bekannte oder später entwickelte computerunterstützte Erkennung angewendet werden. Beispielsweise wird ein Mustervergleich zur Lokalisierung eines oder mehrerer Orientierungspunkte verwendet. Bei einem anderen Beispiel wird eine Schwellenwertbildung, eine Segmentierung oder eine andere Bildverarbeitung angewendet. Bei einem anderen Beispiel wird ein statistisches Formmodell oder ein Unterleibsmodell an den Datenframe angepasst. Für eine schnellere Erkennung kann ein maschinengelernter Detektor angewendet werden. Die maschinengelernte Erkennung ist ein bayessches Netz, eine Support Vector Machine, ein neuronales Netz oder ein anderer Detektor, der eine Eingabe (beispielsweise das Bild 22 oder Merkmale des Bilds 22 (beispielsweise steuerbare Merkmale oder Haar-Wavelets)) in Bezug zur Ausgabe des Orientierungspunkts oder direkt zur Messung setzt. Der Messalgorithmus 28 ist nicht fest. Der Messalgorithmus kann durch andere Algorithmen ersetzt werden. Alternativ könnten mehrere Algorithmen 28 pro Aufgabe verwendet werden und könnte jedes Filtermodul 26 entscheiden, welche Ergebnisse zu verwenden sind.The measurement is done by recognizing one or more landmarks or other structures to define the measurement (for example, by identifying two landmarks for placing vernier calipers to measure the distance between the landmarks). Any now known or later developed computer aided recognition may be used. For example, pattern matching is used to locate one or more landmarks. In another example, thresholding, segmentation, or other image processing is applied. In another example, a statistical shape model or an abdomen model is fitted to the data frame. A machine-learned detector can be applied for faster detection. The machine-learned recognition is a Bayesian network, support vector machine, neural network, or other detector that relates an input (e.g., the image 22 or features of the image 22 (e.g., controllable features or Haar wavelets)) to the output of the landmark or directly to the measurement. The measurement algorithm 28 is not fixed. The measurement algorithm can be replaced by other algorithms. Alternatively, multiple algorithms 28 could be used per task and each filter module 26 could decide which results to use.

Verschiedene computerunterstützte Messalgorithmen können verschiedene Messungen ausführen, wobei beispielsweise einer eine Höhe misst und ein anderer eine Breite misst. Es können mehrere Messalgorithmen auf jeden Frame angewendet werden. Es können verschiedene Messalgorithmen für verschiedene Objekttypen und/oder Objekte in verschiedenen Situationen verwendet werden. Ein getrenntes Gating oder ein abhängiges Gating kann für die verschiedenen Messungen verwendet werden.Different computer-assisted measurement algorithms can perform different measurements, for example, one measuring height and another measuring width. Multiple measurement algorithms can be applied to each frame. Different measurement algorithms can be used for different object types and/or objects in different situations. Separate gating or dependent gating can be used for the different measurements.

Gemäß einer Ausführungsform werden der eine oder die mehreren anzuwendenden Messalgorithmen auf der Grundlage des Untersuchungstyps ausgewählt. Die Auswahl geschieht automatisch durch den Prozessor, oder der Benutzer wählt die Klassifikatoren aus.According to one embodiment, the one or more measurement algorithms to be applied are selected based on the exam type. The selection is made automatically by the processor, or the user selects the classifiers.

In Schritt 16 veranlasst der Bildprozessor die Anzeige von Bildern anhand der Datenframes der Sequenz. Der Bildprozessor begrenzt die Anzeige der Ansichts-Labels anhand der Klassifikation und/oder der Messungen, ohne die Bilder zu begrenzen. Jedes Bild mit einem unzuverlässigen Ansichts-Label oder einer unzuverlässigen Messung wird ohne das Label oder die Messung dargestellt, oder es wird ein Ersatz-Label oder eine Ersatzmessung präsentiert. Alternativ veranlasst der Bildprozessor die Anzeige, nur die Bilder mit einer konsistenten Klassifikation der Struktur und/oder einer konsistenten Messung der Struktur anzuzeigen.In step 16, the image processor causes images to be displayed based on the data frames of the sequence. The image processor limits the display of the view labels based on the classification and/or measurements without clipping the images. Any image with an unreliable view label or measurement is presented without the label or measurement, or a substitute label or measurement is presented. Alternatively, the image processor causes the display to display only the images with a consistent classification of the structure and/or a consistent measurement of the structure.

Zur Begrenzung der Anzeige von Labels und/oder Messungen filtert der Bildprozessor die Klassifikation und die Messung zeitlich. Die Ansichts-Labels, Messungen und/oder Bilder, an denen die Klassifikation und die Messung innerhalb eines Zeitfensters verschieden sind, werden abgelehnt und nicht angezeigt. Das Filtern bewirkt ein Gating der Klassifikation und der Messung, so dass eine Anzeige einer abweichenden Struktur und einer abweichenden Messung unterdrückt wird. Schritt 17 dient zum Filtern und Gating der Klassifikation (Klassifikationsergebnisse), und Schritt 18 dient zum Filtern und Gating der Messung (Messergebnisse). Es kann eine beliebige Filter- und/oder Gating-Anordnung (siehe 2) verwendet werden.To limit the display of labels and/or measurements, the image processor temporally filters the classification and measurement. The view labels, measurements and/or images where the classification and the measurement differ within a time window are rejected and not displayed. The filtering causes the classification and the measurement to be gated so that an indication of an abnormal structure and measurement is suppressed. Step 17 is for filtering and gating the classification (classification results), and step 18 is for filtering and gating the measurement (measurement results). Any filter and/or gating arrangement (see 2 ) be used.

Es können verschiedene Typen eines Filterns und eines entsprechenden Gatings bereitgestellt werden. Beispielsweise wird die Klassifikation in Schritt 17 mit einem zeitlichen Filtern, einer Klassifikation auf der Sequenzebene und/oder einer dynamischen Systemmodellierung gegatet. Bei einem anderen Beispiel wird die Messung in Schritt 18 mit Bildqualität, Bewegungserkennung, Messstabilität, Messungsaggregation, Messung auf der Sequenzebene und/oder räumlich-zeitlicher Verfolgung gegatet.Various types of filtering and corresponding gating can be provided. For example, the classification in step 17 is gated with temporal filtering, classification at the sequence level and/or dynamic system modelling. In another example, the measurement in step 18 is gated with image quality, motion detection, measurement stability, measurement aggregation, measurement at the sequence level, and/or spatio-temporal tracking.

In Schritt 17 gatet der Bildprozessor die klassifizierten Ansichten anhand mehrerer Frames von Ultraschalldaten. Das Gating der klassifizierten Ansichten lehnt einige der klassifizierten Ansichten ab und lässt andere der klassifizierten Ansichten durch. Wenn die Klassifikation für alle Frames in einem Fenster gleich ist, werden alle Ansichts-Label durchgelassen. Wenn alle Ansichts-Label verschieden sind, wird keines der Ansichts-Labels durchgelassen. Es kann ein geschichtetes Gating verwendet werden, wobei beispielsweise zwei verschiedene Gating-Kriterien angewendet werden und/oder als Teil des Gatings verschiedenartig gefiltert wird. Es werden jegliche Labels, welche die mehreren Kriterien erfüllen, angezeigt. Jegliche Labels, die eines der mehreren Kriterien nicht erfüllen, werden nicht angezeigt.In step 17, the image processor gates the classified views using multiple frames of ultrasound data. Classified view gating rejects some of the classified views and allows others of the classified views to pass. If the classification is the same for all frames in a window, all view labels are passed. If all view labels are different, none of the view labels will be passed. Layered gating may be used, for example using two different gating criteria and/or various types of filtering as part of the gating. Any labels that meet the multiple criteria are displayed. Any labels that do not meet one of the multiple criteria will not be displayed.

Das Fenster ist zeitlich, wobei beispielsweise auf der Grundlage der Labels der letzten M Frames gegatet wird. Ein First-in-first-out(FIFO)-Puffer, ein Speicher oder eine andere Warteschlange wird zur Definition des Fensters verwendet. Das Gating beruht auf den klassifizierten Ansichten und/oder Frames der klassifizierten Ansichten in der FIFO-Warteschlange. Falls die Ansichtsänderung konsistent ist, wird die Ansichts-Label-Ausgabe geändert. Bis die Ansichtsänderung konsistent ist, wird das aktuelle Ansichts-Label verwendet. Gemäß zusätzlichen oder alternativen Ausführungsformen definiert das Fenster ein räumliches oder anderes Filtern. Verschiedene im Frame repräsentierte Gebiete werden getrennt klassifiziert, und/oder ein verschiedenartiges Filtern wird auf ein gegebenes Bild angewendet, und die Klassifikation wird getrennt auf die Filterergebnisse angewendet.The window is temporal, for example gated based on the labels of the last M frames. A first-in-first-out (FIFO) buffer, memory, or other queue is used to define the window. The gating is based on the classified views and/or frames of the classified views in the FIFO queue. If the view change is consistent, the view label output is changed. Until the view change is consistent, the current view label is used. According to additional or alternative embodiments, the window defines spatial or other filtering. Different regions represented in the frame are classified separately and/or different filtering is applied to a given image and the classification is applied separately to the filtering results.

Es können mehrere verschiedene Filtermodule und ein entsprechendes Gating bereitgestellt werden. Jedes der Module kann für sich allein (beispielsweise N_Ansicht = 1) verwendet werden oder kann ein Modul in einer Pipeline oder Anordnung mehrerer Module sein (siehe 2). Andere Ausführungsformen als die nachstehend beschriebenen können ein anderes Filtern und ein anderes Gating verwenden.Several different filter modules and corresponding gating can be provided. Each of the modules can be used on its own (e.g. N _view = 1) or can be a module in a pipeline or array of modules (see 2 ). Embodiments other than those described below may use different filtering and gating.

Gemäß einer Ausführungsform wird ein zeitlicher Filteransatz für das Gating der Ansichts-Labels verwendet. Die klassifizierte Ansicht, bei der eine Schwellenanzahl oder ein Schwellenprozentsatz der klassifizierten Ansichten in einem Fenster klassifizierter Ansichten eine gleiche klassifizierte Ansicht ist, wird durchgelassen, und jegliche andere klassifizierte Ansichten im Fenster werden abgelehnt. Beispielsweise wird jedes Bild_t (an Zeitschritt t; beispielsweise aktueller Frame im Echtzeit-Bildstream) eingegeben. Der Ansichtsklassifikationsalgorithmus wird an jedem Bildt ausgeführt, was zu einem Ansichts-Label v_t führt. Das Ansichts-Label v_t wird in der FIFO-Speicherwarteschlange mit einer Kapazität n gespeichert. Falls der FIFO-Speicher bei einer Kapazität (n) ist und wenigstens m (m ≤ n) der gespeicherten Labels identisch sind (beispielsweise alle von ihnen „Milz lang“ sind), wird das Gate geöffnet und v_t (beispielsweise „Milz lang“) ausgegeben. Andernfalls wird v_t für das neueste oder aktuelle Bild t abgelehnt (d. h. das Gatter wird nicht geöffnet). Es kann ein anderes Durchlass- oder Gatterkriterium verwendet werden. Beispielsweise wird das Gatter geöffnet und v* ausgegeben, wobei v* beispielsweise ein Mehrheitsvotum aller v_t - v_t-n im FIFO-Speicher ist. Bei diesem zeitlichen Filtern ist es wahrscheinlicher, dass das aktuelle Ansichts-Label korrekt ist, falls die letzten Frames konsistente Ansichtsklassifikationsergebnisse ergeben haben.According to one embodiment, a temporal filtering approach is used for gating the view labels. The classified view for which a threshold number or percentage of classified views in a classified view window is a same classified view is passed and any other classified views in the window are rejected. For example, each image _t (at time step t; e.g. current frame in the real-time image stream) is input. The view classification algorithm is performed on each image t resulting in a view label v _t . The view label v _t is stored in the FIFO storage queue of capacity n. If the FIFO memory is at capacity (n) and at least m (m ≤ n) of the stored labels are identical (e.g. all of them are "spleen long"), the gate is opened and v _t (e.g. "spleen long" ) issued. Otherwise, v _t is rejected (ie the gate is not opened) for the newest or current image t. Other pass or gating criteria can be used. For example, the gate is opened and v* is output, where v* is, for example, a majority vote of all v _t - v _tn in the FIFO memory. With this temporal filtering, if the most recent frames have yielded consistent view classification results, the current view label is more likely to be correct.

Gemäß einer anderen Ausführungsform weist das zeitliche Filtern Vertrauensinformationen auf. Der Bildprozessor bestimmt ein Vertrauen für jede der klassifizierten Ansichten. Das Gating beruht zumindest teilweise auf dem Vertrauen. Nur die Ansichts-Labels, bei denen die Schwellenanzahl oder der Schwellenprozentsatz der klassifizierten Ansichten im Fenster die gleiche klassifizierte Ansicht sind und welche ein Vertrauen aufweisen, das oberhalb einer Vertrauensschwelle liegt, werden durchgelassen. Beispielsweise und wie in 3 dargestellt wird das Bildt (an Zeitschritt t; beispielsweise aktueller Frame im Echtzeit-Bildstream) 22 in den Ansichtsklassifikationsalgorithmus 23 eingegeben. Der Ansichtsklassifikationsalgorithmus gibt das Ansichts-Label v_t sowie ein Vertrauen c_t aus. Ein Maschinenlernnetz kann trainiert werden, um zu klassifizieren und auch ein Vertrauen bei der Klassifikation auszugeben. Es können andere Vertrauensquellen verwendet werden, wie ein Korrelationsgrad des Bilds mit einer Schablone oder ein auf Fuzzy-Logic beruhendes Vertrauen.According to another embodiment, the temporal filtering includes trust information. The image processor determines a confidence for each of the classified views. Gating is based, at least in part, on trust. Only those view labels for which the threshold number or percentage of classified views in the window are the same classified view and which have a confidence above a confidence threshold are passed. For example and as in 3 As shown, the image t (at time step t; e.g. current frame in the real-time image stream) 22 is input to the view classification algorithm 23 . The view classification algorithm gives that view label v _t and a trust c _t out. A machine learning network can be trained to classify and also to issue a confidence in the classification. Other sources of confidence can be used, such as a degree of correlation of the image with a template or confidence based on fuzzy logic.

Das Ansichts-Label v_t und das Vertrauen c_t werden im FIFO-Speicher 32 oder in der Warteschlange mit der Kapazität n gespeichert. Falls der FIFO-Speicher bei einer Kapazität (n) ist und wenigstens m (m ≤ n) der gespeicherten Labels identisch sind und das Vertrauensmaß oberhalb einer benutzerdefinierten Schwelle (beispielsweise akkumuliertes Vertrauen für alle n im Speicher oder eine Teilmenge oder nur den letzten Frame) liegt, wird das Gatter 25 geöffnet und wird v_t ausgegeben, beispielsweise an das nächste Modul 24 oder an die Anzeige. Falls das Vertrauen niedrig ist oder das Ansichts-Label nicht mit der Mehrzahl oder Schwellenanzahl im Speicher 32 übereinstimmt, wird das Ansichts-Label v_t für den aktuellen Frame abgelehnt 36. Es wird ein Ersatz verwendet, oder es wird kein Label ausgegeben. Bei einem anderen Ansatz wird v* ausgegeben, wobei v* ein vertrauensgewichtetes Mehrheitsvotum aller v_t ... v_t-n im FIFO-Speicher ist. Falls die letzten Frames konsistente Ansichtsklassifikationsergebnisse ergeben haben und der Klassifikator auch Vertrauen in die Vorhersagen hatte, ist es sehr wahrscheinlich, dass das aktuelle Ansichts-Label korrekt ist.The view label v _t and the confidence c _t are stored in FIFO memory 32 or in the n-capacity queue. If the FIFO memory is at capacity (n) and at least m (m ≤ n) of the stored labels are identical and the confidence measure is above a user-defined threshold (e.g. accumulated confidence for all n in memory or a subset or just the last frame) , gate 25 is opened and v _t is output, e.g. to the next module 24 or to the display. If the confidence is low or the view label does not match the plurality or threshold number in memory 32, the view label v _t for the current frame is rejected 36. A replacement is used or no label is returned. In another approach, v* is output, where v* is a confidence-weighted majority vote of all v _t ... v _tn in the FIFO memory. If the last few frames have given consistent view classification results and the classifier also had confidence in the predictions, then it is very likely that the current view label is correct.

Gemäß einer anderen Ausführungsform wendet der Bildprozessor eine Klassifikation auf der Sequenzebene für das Gating an. Die Klassifikation aus Schritt 12 verwendet eine Verkettung mehrerer Frames als Eingabe. Die n Frames werden verkettet, beispielsweise im FIFO-Speicher gruppiert. Wenn neue Frames hinzugefügt und die ältesten Frames entfernt werden, werden andere zeitliche Fenster für die Verkettung bereitgestellt. Die Klassifikation geschieht dann auf der Grundlage der verketteten Frame-Gruppe für ein gegebenes Fenster. Das Gating beruht dann auf dem klassifizierten Ansichts-Label für die Verkettung. Dies ähnelt dem zeitlichen Filtern, wobei der Klassifikationsalgorithmus jedoch direkt Ergebnisse für mehrere Bilder entscheidet, statt einem Einzelbildklassifikator ein Votierungsschema aufzuerlegen. Es wird ein Klassifikationsalgorithmus angewendet, der eine Mehrbildeingabe unterstützt, beispielsweise eine an Bildsequenzen anstelle individueller Bilder trainierte Klassifikationsmaschine. Das Vertrauen kann auch in den Gating-Kriterien verwendet werden, wobei beispielsweise ein Schwellenvertrauen bei der Klassifikation anhand der Verkettung gefordert wird.According to another embodiment, the image processor applies classification at the sequence level for gating. The classification of step 12 uses a concatenation of multiple frames as input. The n frames are concatenated, e.g. grouped in FIFO memory. As new frames are added and the oldest frames are removed, different temporal windows are provided for concatenation. Classification then occurs based on the concatenated frame group for a given window. The gating is then based on the classified view label for the concatenation. This is similar to temporal filtering, except that the classification algorithm directly decides results for multiple frames, rather than imposing a voting scheme on a single frame classifier. A classification algorithm is applied that supports multi-image input, such as a classification engine trained on image sequences rather than individual images. Confidence can also be used in the gating criteria, for example requiring a threshold confidence in classification based on chaining.

Bei einem Beispiel wird ein Bildt eingegeben. Das Bildt wird im FIFO-Speicher mit der Kapazität n gespeichert. Falls der Speicher bei der Kapazität ist, werden alle n Bilder, die gegenwärtig im Speicher sind, kombiniert (beispielsweise verkettet). Der Ansichtsklassifikationsalgorithmus wird auf das kombinierte Bild angewendet. Das Gating ist stets ein Durchlassen, wenn eine gegebene Ansicht eines gegebenen Frames von der Sammlung oder Kombination von Frames verschieden sein kann, weil die Klassifikation auf der Sammlung oder Kombination beruht. Ein Vertrauen kann verwendet werden, um jegliche Ansichts-Labels abzulehnen, beispielsweise wenn eine Variation in möglichen Ansichten bei der Kombination von Frames hoch ist.In one example, an image is input. The image is stored in FIFO memory of capacity n. If memory is at capacity, all n images currently in memory are combined (e.g., concatenated). The view classification algorithm is applied to the combined image. Gating is always a pass if a given view of a given frame may differ from the collection or combination of frames because the classification is based on the collection or combination. A confidence can be used to reject any view labels, for example when a variation in possible views when combining frames is high.

Gemäß einer anderen Ausführungsform gatet der Bildprozessor wie ein dynamisches System mit Zustandsänderung. Eine zeitliche Ansichtsklassifikation wird als dynamisches System mit Zuständen, Zustand-zu-Zustand-Übergangswahrscheinlichkeiten und Beobachtungen formuliert. Der Zustand ist die wahrscheinlichste aktuelle Ansicht (beispielsweise „Niere links transversal“ oder „Gallenblase lang“, ...), wie sie vom Klassifikationsalgorithmus ausgegeben wird. Die Übergangswahrscheinlichkeiten sind frühere Wahrscheinlichkeiten eines Übergangs von einem Zustand x zu einem anderen Zustand y. Die Übergangswahrscheinlichkeiten können anhand annotierter Trainingsdatensequenzen, die von Experten manuell definiert wurden, oder auf der Grundlage klinischer Richtlinien für Unterleibs-Ultraschalluntersuchungen maschinell gelernt werden. Die Beobachtung ist die Ausgabe des Ansichts-Labels oder der Klassifikation für ein gegebenes Bild. Das dynamische System entscheidet auf der Grundlage des aktuellen Zustands, des zeitlichen Zustandsverlaufs, aktueller (und vorhergehender) Beobachtungen und Übergangswahrscheinlichkeiten, was der nächste Zustand ist (beispielsweise Bleiben beim aktuellen Zustand oder Übergang zu einem anderen Zustand). Ein Vertrauen im Zustand kann bei der Entscheidung zur Bestimmung der Beobachtung verwendet werden. Eine Verwendung des Zustands ist ein Durchlaufen des Gatters. Wenn die Beobachtung vom Zustand verschieden ist, wird der Zustand abgelehnt und wird ein Ersatz verwendet.According to another embodiment, the image processor gates like a dynamic state-changing system. A temporal view classification is formulated as a dynamic system with states, state-to-state transition probabilities, and observations. The condition is the most probable current view (e.g. "kidney left transverse" or "gallbladder long", ...) as output by the classification algorithm. The transition probabilities are previous probabilities of a transition from one state x to another state y. The transition probabilities can be machine-learned using annotated training data sequences manually defined by experts or based on clinical guidelines for abdominal ultrasound examinations. The observation is the output of the view label or classification for a given image. The dynamic system decides what the next state is based on the current state, the state history over time, current (and previous) observations, and transition probabilities (e.g., stay in the current state or transition to another state). A confidence in state can be used in the decision to determine the observation. One use of the state is to step through the gate. If the observation is different from the state, the state is rejected and a replacement is used.

Eine Aufnahme von Vorwissen kann zur Verbesserung von Ergebnissen nützlich sein. Es kann dabei helfen, „unmögliche“ Zustandsübergänge zu beseitigen und wahrscheinliche Zustandsübergänge zu bevorzugen (beispielsweise ist es innerhalb einer kontinuierlichen Bildsequenz sehr wahrscheinlich, dass innerhalb weniger Frames von der Leber zur Gallenblase übergegangen wird, weil beide Organe nahe beieinander liegen, während es sehr unwahrscheinlich ist, dass in einer sehr kurzen Zeit von der linken Niere zur rechten Niere übergegangen wird, wobei solche „Sprünge“ mit diesem Ansatz erkannt und gefiltert werden können). Das dynamische System kann als Hidden Markov Model, als rekurrentes neuronales Netz, als neuronales Long-Term-Short-Term-Memory-Netz oder als anderer Ansatz implementiert werden.Incorporating prior knowledge can be useful in improving outcomes. It can help eliminate "impossible" state transitions and favor probable state transitions (e.g. within a continuous image sequence it is very likely to go from liver to gallbladder within a few frames because both organs are close together, while it is very unlikely is that there is a transition from the left kidney to the right kidney in a very short time, and such "jumps" can be detected and filtered with this approach). The dynamic system tem can be implemented as a Hidden Markov Model, a recurrent neural network, a long-term short-term memory neural network, or some other approach.

In Schritt 18 gatet der Bildprozessor Ergebnisse der Messung anhand der Frames, welche das Gating der klassifizierten Ansichten passieren, oder anhand anderer Frames (beispielsweise Eingabe von Frames unabhängig vom Passieren des Gatings der klassifizierten Ansicht). Das Gating der Ergebnisse der Messung lehnt einige Ergebnisse der Messung ab und lässt andere Ergebnisse der Messung durch. Wenn die Messungen konsistent sind, können alle Messergebnisse durchgelassen werden. Wenn die Messungen alle außerhalb einer Toleranz verschieden sind, können alle Messergebnisse, zumindest in einem gegebenen Fenster, abgelehnt werden.In step 18, the image processor gates results of the measurement based on the frames that pass the gate of the classified view or based on other frames (e.g., input frames independent of passing the gate of the classified view). Gating the measurement results rejects some measurement results and passes other measurement results. If the measurements are consistent, all measurement results can be passed. If the measurements are all different outside of a tolerance, all measurement results, at least in a given window, can be rejected.

Es kann ein geschichtetes Gating verwendet werden, wobei beispielsweise zwei verschiedene Gating-Kriterien angewendet werden und/oder als Teil des Gatings verschiedenartig gefiltert wird. Alle Messergebnisse, welche die mehreren Kriterien erfüllen, werden angezeigt, und alle Messergebnisse, die eines der Kriterien nicht erfüllen, werden abgelehnt.Layered gating may be used, for example using two different gating criteria and/or various types of filtering as part of the gating. All measurement results that meet the multiple criteria will be displayed, and any measurement results that do not meet any of the criteria will be rejected.

Das Fenster für das Gating der Messergebnisse ist zeitlich, wobei beispielsweise auf der Grundlage der Labels der letzten M Frames gegatet wird. Ein First-in-first-out(FIFO)-Puffer, ein Speicher oder eine andere Warteschlange wird zur Definition des Fensters verwendet. Das Gating beruht auf den Messergebnissen und/oder den Frames der Messergebnisse in der FIFO-Warteschlange. Falls eine Änderung in den Messergebnissen konsistent ist, ändert sich das ausgegebene Messergebnis. Bis die Änderung konsistent ist, wird das aktuelle Messergebnis verwendet. Gemäß zusätzlichen oder alternativen Ausführungsformen definiert das Fenster eine räumliche Gruppierung oder ein verschiedenartiges Filtern. Verschiedene im Frame repräsentierte Gebiete werden getrennt gemessen, und/oder ein verschiedenartiges Filtern wird auf ein gegebenes Bild angewendet, und die Messung wird getrennt auf die Filterergebnisse angewendet. Gemäß anderen Ausführungsformen wird das Gating ohne eine zeitliche oder andere Fensterung auf der Grundlage des Eingangsbilds angewendet.The window for gating the measurement results is temporal, for example gating based on the labels of the last M frames. A first-in-first-out (FIFO) buffer, memory, or other queue is used to define the window. The gating is based on the measurement results and/or the frames of the measurement results in the FIFO queue. If a change in the measurement results is consistent, the reported measurement result will change. Until the change is consistent, the current measurement result is used. According to additional or alternative embodiments, the window defines spatial grouping or diverse filtering. Different areas represented in the frame are measured separately and/or different filtering is applied to a given image and the measurement is applied separately to the filtering results. According to other embodiments, gating is applied without temporal or other windowing based on the input image.

Es können mehrere verschiedene Filtermodule und ein entsprechendes Gating bereitgestellt werden. Jedes der Module kann für sich allein (beispielsweise N_Mess = 1) verwendet werden oder kann ein Modul in einer Pipeline oder Anordnung mehrerer Module sein (siehe 2). Andere Ausführungsformen als die nachstehend beschriebenen können ein anderes Filtern und ein anderes Gating verwenden.Several different filter modules and corresponding gating can be provided. Each of the modules can be used on its own (e.g. N _meas = 1) or can be a module in a pipeline or array of modules (see 2 ). Embodiments other than those described below may use different filtering and gating.

Gemäß einer Ausführungsform gatet der Bildprozessor jeden Frame auf der Grundlage der Qualität des Frames von Ultraschalldaten. Bilder geringer Qualität werden abgelehnt, und Bilder guter Qualität (oberhalb eines Schwellenniveaus) werden durchgelassen. Es kann eine beliebige Qualitätsmetrik verwendet werden, wie Niveau oder Varianz im Kontrast oder Gradienten oder Intensitätshistogrammmerkmale. Es können maschinengelernte Qualitätsmetriken verwendet werden (beispielsweise Eingabe eines Bilds in das maschinengelernte Modell, welches das Qualitätsniveau ausgibt).According to one embodiment, the image processor gates each frame based on the quality of the frame of ultrasound data. Low quality images are rejected and good quality images (above a threshold level) are passed. Any quality metric can be used, such as level or variance in contrast or gradient or intensity histogram features. Machine-learned quality metrics can be used (e.g. inputting an image into the machine-learned model, which outputs the quality level).

Gemäß einer anderen Ausführungsform gatet der Bildprozessor die Messung oder Messergebnisse auf der Grundlage eines Bewegungsbetrags. Es wird die zeitliche Differenz oder Bewegung im Fenster verwendet. Es werden mehrere sequenzielle Bilder gespeichert, beispielsweise in einer FIFO-Warteschlange. Ein neues Bild wird mit dem einen oder den mehreren vorhergehenden Bildern verglichen, um Bewegung zu bestimmen. Eine Bewegung kann durch beliebige von verschiedenen Metriken wie Summe der absoluten Differenz, quadrierte Differenzen, pixelweise Intensitätsdifferenz zwischen Bildern oder durch höherentwickelte Bewegungsdetektoren (beispielsweise auf der Grundlage lokaler Merkmalsdetektoren oder anderer) bestimmt werden. Falls die Bewegung oberhalb einer Schwelle liegt, wird der Messalgorithmus nicht angewendet oder werden die Ergebnisse abgelehnt. Falls die Bewegung unterhalb der Schwelle liegt, werden der angewendete Messalgorithmus und/oder das Messergebnis für diesen Frame durchgelassen. Falls die Differenz zwischen aufeinander folgenden Frames hoch ist, kann dies eine Bewegung angeben (entweder Bewegung des Schallkopfs oder Organbewegung, ...) und angeben, dass die individuelle Bildqualität wahrscheinlich gering ist (unscharfe Grenzen, andere Bewegungsartefakte). Die geringe Qualität kann für eine genaue Messungsberechnung nicht geeignet sein, beispielsweise bei einer Qualität, die zu einer ungenauen Orientierungspunkterkennung führt.According to another embodiment, the image processor gates the measurement or measurement results based on an amount of movement. The time difference or movement in the window is used. Multiple sequential images are stored, for example in a FIFO queue. A new image is compared to the one or more previous images to determine motion. Motion can be determined by any of various metrics such as sum of absolute difference, squared differences, pixel-by-pixel intensity difference between images, or by more sophisticated motion detectors (e.g. based on local feature detectors or others). If the movement is above a threshold, the measurement algorithm is not applied or the results are rejected. If the motion is below the threshold, the applied measurement algorithm and/or the measurement result for that frame is passed. If the difference between consecutive frames is high, this may indicate motion (either transducer motion or organ motion,...) and indicate that the individual image quality is probably low (blurred boundaries, other motion artifacts). The low quality may not be suitable for an accurate measurement calculation, for example at a quality that results in inaccurate landmark detection.

Gemäß einer wieder anderen Ausführungsform gatet der Bildprozessor Messergebnisse auf der Grundlage der Messstabilität der Ergebnisse. Die zeitliche Messstabilität wird als Kriterium für das Gating verwendet. Der Messalgorithmus wird ausgeführt, und die Messergebnisse (beispielsweise Orientierungspunktorte oder Abstand zwischen Orientierungspunktorten) über n Frames (Zeitfenster) werden gespeichert. Das Gatter wird geöffnet, und die Messungen werden nur dann an den Benutzer ausgegeben, wenn die Veränderlichkeit zwischen den Messungen im analysierten Zeitfenster unterhalb einer gewissen Schwelle liegt. Für das Messen von Strukturen versuchen Sonographen typischerweise, die interessierende Struktur über mehrere Frames oder Sekunden zu scannen, bis ein stabiles Bild mit guter Qualität erreicht wird. Das Stabilitäts-Gating emuliert diesen Benutzeransatz.According to yet another embodiment, the image processor gates measurement results based on the measurement stability of the results. The measurement stability over time is used as a criterion for the gating. The measurement algorithm is executed and the measurement results (e.g. landmark locations or distance between landmark locations) over n frames (time window) are stored. The gate is opened and the measurements are returned to the user only if the variability between measurements in the analyzed time window is below a certain threshold. For measuring structures, sonographers typically attempt to survey the structure of interest to scan several frames or seconds until a stable, good quality image is achieved. Stability gating emulates this user approach.

Gemäß einer weiteren Ausführungsform weist das Gating der zeitlichen Messstabilität Vertrauen auf. Das Vertrauen des Messalgorithmus in die Messergebnisse wird ausgegeben und mit der Stabilität für das Gating verwendet. Der Messalgorithmus kann ein Vertrauen ausgeben, wobei beispielsweise ein maschinengelerntes Modell eingesetzt wird, dass darauf trainiert ist, den Messwert oder Orientierungspunktorte und ein Vertrauen auszugeben. Bei einem alternativen Ansatz berechnet das Filtermodul das Vertrauen auf der Grundlage der Messungen (beispielsweise durch Beurteilen eines Formmodells oder einer anderen Metrik). Das Gatter lässt nur stabile und einen hohen Vertrauenswert aufweisende Messergebnisse durch und lehnt instabile oder einen niedrigen Vertrauenswert aufweisende Messungen ab.According to a further embodiment, the gating of the measurement stability over time has confidence. The confidence of the measurement algorithm in the measurement results is reported and used with the stability for gating. The measurement algorithm may output a confidence using, for example, a machine learned model trained to output the measurement or landmark locations and a confidence. In an alternative approach, the filter module calculates the confidence based on the measurements (e.g. by evaluating a shape model or other metric). The gate only passes stable and high confidence measurements and rejects unstable or low confidence measurements.

Gemäß einer anderen Ausführungsform gatet der Bildprozessor die Messergebnisse durch Aggregation oder Glättung. Die Stabilität kann als zusätzliches Kriterium verwendet werden, so dass die Aggregation nur für stabile Messergebnisse oder Bilder geschieht. Beispielsweise werden die Messergebnisse und Bilder der letzten n Frames gespeichert. Die Stabilität wird für die n Frames geprüft, beispielsweise unter Verwendung einer Korrelation oder Differenz. Wenn die Differenz gering ist oder die Korrelation hoch ist, ist die Bildgebung innerhalb des Fensters stabil. Falls sie stabil ist, werden die Messergebnisse aggregiert, beispielsweise durch Berechnen eines Mittelwerts oder Medianwerts für jeden Orientierungspunkt oder jede Orientierungspunktkonfiguration oder für die Messwerte (beispielsweise Abstände). Die aggregierten Ergebnisse werden zusammen mit dem diesem Ergebnis entsprechenden Bild (oder dem nächstgelegenen dazu) ausgegeben. Die aggregierten Ergebnisse könnten nicht perfekt mit dem letzten Bild übereinstimmen, beispielsweise wenn ein „älteres“ Bild (innerhalb eines Zeitfensters) ausgegeben wird, so dass der aktuelle Frame abgelehnt wird.According to another embodiment, the image processor gates the measurement results by aggregation or smoothing. Stability can be used as an additional criterion so that aggregation only happens for stable measurement results or images. For example, the measurement results and images of the last n frames are saved. The stability is checked for the n frames, for example using a correlation or difference. If the difference is small or the correlation is high, the imaging is stable within the window. If it is stable, the measurement results are aggregated, e.g. by calculating a mean or median value for each landmark or landmark configuration or for the measurement values (e.g. distances). The aggregated results are returned along with the image corresponding (or closest) to that result. The aggregated results might not match the last frame perfectly, for example if an "older" frame (within a time window) is output, so the current frame is rejected.

Gemäß einer wieder anderen Ausführungsform wendet der Bildprozessor eine bildsequenzbasierte Messvorhersage für das Gating an. Die Messung wird anhand einer Verkettung der Frames in der Art der Frames, die das Gating der klassifizierten Ansichten passieren, geschätzt. Das Gating der Messung beruht auf der Verkettung. Der Messalgorithmus arbeitet an mehreren sequenziellen Bildern als Eingabe zur Berechnung eines Messergebnisses, statt lediglich eine einzige bildbasierte Berechnung auszuführen.According to yet another embodiment, the image processor applies an image sequence based measurement prediction for the gating. The measurement is estimated from a concatenation of the frames in the manner of the frames that pass the gate of the classified views. The gating of the measurement is based on concatenation. The measurement algorithm works on multiple sequential images as input to calculate a measurement result instead of just performing a single image-based calculation.

Gemäß einer weiteren Ausführungsform gatet der Bildprozessor mit einer räumlich-zeitlichen Verfolgung. Für Messalgorithmen, die als Eingabe ein Einzelbild nehmen, um die Ausgangsmessungen (beispielsweise Abstand) und/oder Orientierungspunktorte zu berechnen, wird eine Kombination einer zeitlichen und räumlichen Verfolgung verwendet. Der Messalgorithmus gibt einen Einzelbild-Orientierungspunkt aus. Dies geschieht für jeden Frame im zeitlichen Fenster. Ein zeitlicher Objektverfolgungsalgorithmus wird auf die Verfolgung des einen oder der mehreren Orientierungspunkte zwischen Frames angewendet, wobei zwei Quellen der Position des gleichen Orientierungspunkts bereitgestellt werden. Die Ähnlichkeit des Orts kann zur Angabe eines Vertrauens oder einer Stabilität verwendet werden. Eine Schwellenpositionsdifferenz kann für das Gatter verwendet werden. Falls die Orientierungspunktorte ähnlich sind, lässt das Gatter die Orientierungspunkte (beispielsweise gemittelten Orte) zur Verwendung beim Bestimmen des Werts einer Messung (beispielsweise Abstands) durch.According to another embodiment, the image processor gates with spatio-temporal tracking. A combination of temporal and spatial tracking is used for measurement algorithms that take a frame as input to calculate the output measurements (eg, distance) and/or landmark locations. The measurement algorithm outputs a frame landmark. This happens for every frame in the temporal window. A temporal object tracking algorithm is applied to tracking the one or more landmarks between frames, providing two sources of the position of the same landmark. Location similarity can be used to indicate confidence or stability. A threshold position difference can be used for the gate. If the landmark locations are similar, the gate passes the landmarks (eg, average locations) for use in determining the value of a measurement (eg, distance).

In Schritt 16 veranlasst der Bildprozessor die Anzeige von Bildern der Datenframes, die durch das Gating der klassifizierten Ansichten durchgelassen wurden. Die Anzeige ist frei von Bildern jeglicher der durch das Gating der klassifizierten Ansichten abgelehnten Frames von Ultraschalldaten. Alle Bilder, ob durchgelassen oder nicht, können angezeigt werden, es werden jedoch nur durch das Gating durchgelassene Klassifikations-Ansichts-Labels mit den Bildern angezeigt. Die Annotationen, welche das Ansichts-Label dem Benutzer zeigen, werden auf die durchgelassenen Labels und nicht die Labels, die nicht durchgelassen wurden, beschränkt.In step 16, the image processor causes the display of images of the data frames that have passed through the gated classified views. The display is devoid of images of any of the frames of ultrasound data rejected by the gated classified views. All images, whether gated or not, can be displayed, but only gated classification view labels are displayed with the images. The annotations that the view label shows to the user are restricted to the passed labels and not the labels that were not passed.

Die angezeigten Bilder können die durch das Gating der Messergebnisse durchgelassenen Messergebnisse aufweisen. Nur Orientierungspunkte oder Messwerte, die das Gating passiert haben, werden auf dem Bild angezeigt. Die Bilder sind frei von den Messergebnissen, die durch das Gating der Messergebnisse abgelehnt wurden. Gemäß anderen Ausführungsformen beziehen sich die einzigen Ansichts-Labels, Messergebnisse (Orientierungspunkte und/oder Werte) und/oder Bilder, die angezeigt werden, auf einen Frame, bei dem sowohl das Ansicht-Label als auch die Messergebnisse das Gating passieren.The images displayed may include the measurement results passed through the gating of the measurement results. Only landmarks or readings that passed the gate are shown on the image. The images are free of the measurement results rejected by the gating of the measurement results. According to other embodiments, the only view labels, measurement results (landmarks and/or values), and/or images that are displayed relate to a frame where both the view label and the measurement results pass the gate.

4 zeigt einige Beispielbilder mit entsprechenden Gating-Ergebnissen. Die Bilder sind Beispiele aus einer Sequenz anderer 8000 sequenzieller Bilder bei einer vollständigen Unterleibsuntersuchung. Die Klassifikationsansichtsfilterung verwendete ein zeitliches Filtern mit Vertrauen für das Gating der Klassifikationsansichten und eine zeitliche Messstabilität mit Vertrauen für das Gating der Messergebnisse. Es wird eine auf Deep Learning (DL) beruhende Einzelbild-Ansichtsklassifikation verwendet, und es wird ein auf DL beruhender Einzelbild-Messalgorithmus zur Messung des Abstands verwendet. Die Klassifikationen beim Beispiel aus 4 beziehen sich auf eine transversale Ansicht der rechten Niere und eine Längsansicht des rechten Leberlappens. 4 shows some sample images with corresponding gating results. The images are samples from a sequence of other 8000 sequential images in a full abdominal exam. The classification view filtering used temporal confidence filtering for the classification views gating and temporal confidence measurement stability for the gating of the measurement results. There will be one on Deep Learning (DL) based frame view classification is used and a DL based frame measurement algorithm is used to measure the distance. The classifications in the example 4 refer to a transverse view of the right kidney and a longitudinal view of the right lobe of the liver.

In der linken Spalte dargestellte Bilder, die von allen Modulen der Filterpipeline akzeptiert wurden, sind Bilder guter Qualität, bei denen das interessierende Organ mit hoher Gewissheit identifiziert werden kann und die Messung mit hoher Gewissheit berechnet werden kann. Das Ansichts-Label kann eine Annotation in der unteren linken Ecke des Bilds oder an einer anderen Stelle sein. Die Messung kann eine Annotation für den Wert und eine Linie als Graphik auf dem Bild sein, wodurch der Ort der Messung dargestellt wird (beispielsweise durch Zeigen der Messschieber).Images presented in the left column that have been accepted by all modules of the filter pipeline are good quality images where the organ of interest can be identified with high confidence and the measurement can be calculated with high confidence. The view label can be an annotation in the lower left corner of the image or elsewhere. The measurement can be an annotation for the value and a line as a graphic on the image, representing the location of the measurement (e.g. by pointing the calipers).

Bilder in der mittleren Spalte wurden durch den Ansichtsklassifikator akzeptiert und korrekt gelabelt, Messungen wurden jedoch automatisch gefiltert oder abgelehnt, sehr wahrscheinlich infolge einer unscharfen Qualität und daher eines geringen Vertrauens in den Messklassifikator. Die rechte Spalte zeigt Bilder, die von der Pipeline vollständig abgelehnt wurden. Das Ansichtsklassifikatorvertrauen wies keinen ausreichend hohen Wert auf, weshalb dem Benutzer kein Ansichts-Label gezeigt wurde. Das geringe Vertrauen war sehr wahrscheinlich auf Bilder geringer Qualität mit Organen, die teilweise außerhalb des Gesichtsfelds lagen, zurückzuführen.Images in the middle column were accepted and correctly labeled by the view classifier, but measurements were automatically filtered or rejected, most likely due to fuzzy quality and therefore low confidence in the measurement classifier. The right column shows images that were completely rejected by the pipeline. The View Classifier Confidence did not have a high enough value to show the user a view label. The low confidence was most likely due to low quality images with organs partially out of view.

5 zeigt eine Ausführungsform eines Ultraschallsystems 20 zur stabilen Klassifikation und Messung bei der Ultraschallbildgebung. Für die Abbildung eines Unterleibsgebiets oder eines anderen Gebiets des Patienten wird eine Bildsequenz erzeugt. Die Ansicht wird automatisch gelabelt, und Messungen werden automatisch für die Bilder der Sequenz ausgeführt. Unter Verwendung eines Gatings werden die Annotationen für die Ansichten und Messungen konsistenter gemacht als dies ohne Gating der Fall wäre. Es werden nur Ansichts-Labels und/oder Messungen, die konsistent sind, angezeigt. Es können nur Bilder mit konsistenten Ansichten und/oder Messungen angezeigt werden. Alternativ werden Bilder angezeigt, die Annotationen für die Ansicht oder Messung jedoch gegatet. 5 12 shows an embodiment of an ultrasound system 20 for robust classification and measurement in ultrasound imaging. An image sequence is generated for imaging an abdominal area or other area of the patient. The view is automatically labeled and measurements are automatically performed on the images in the sequence. Using gating, the annotations for the views and measurements are made more consistent than they would be without gating. Only view labels and/or measurements that are consistent are displayed. Only images with consistent views and/or measurements can be displayed. Alternatively, images are displayed but the annotations are gated for viewing or measurement.

Das Ultraschallsystem 20 ist ein Ultraschall-Bildgebungssystem zur medizinischen Diagnostik. Gemäß alternativen Ausführungsformen ist das System 20 ein Personalcomputer, eine Workstation, eine PACS-Station oder eine andere Anordnung am selben Ort oder über ein Netz zur Echtzeit- oder Nacherfassungs-Bildgebung durch eine Verbindung mit Strahlformern 50, 52 und dem Schallkopf 51 verteilt.The ultrasound system 20 is an ultrasound imaging system for medical diagnostics. In alternative embodiments, system 20 is a personal computer, workstation, PACS station, or other co-located or distributed network for real-time or post-acquisition imaging through connection to beamformers 50, 52 and scanhead 51.

Das System 20 implementiert das Verfahren aus 1, den Ansatz aus 2 oder andere Verfahren. Das System 20 weist einen Sendestrahlformer 50, einen Schallkopf 51, einen Empfangsstrahlformer 52, einen Erkennungsprozessor 53, eine Anzeige 54, einen Speicher 56 und einen Prozessor 55 auf. Zusätzlich können andere oder weniger Komponenten bereitgestellt werden. Beispielsweise wird eine Benutzereingabe zur manuellen oder unterstützten Festlegung von Schwellen, zur Auswahl des Gating-Typs und/oder zur Auslegung des Ultraschallsystems 20 für die Bildgebung bereitgestellt.The system 20 implements the method 1 , the approach from 2 or other procedures. The system 20 includes a transmit beamformer 50, a transducer 51, a receive beamformer 52, a detection processor 53, a display 54, a memory 56 and a processor 55. Additionally, other or fewer components may be provided. For example, user input is provided for manual or assisted setting of thresholds, selection of gating type, and/or design of ultrasound system 20 for imaging.

Der Sendestrahlformer 50 ist dafür ausgelegt, Wellenformen für mehrere Kanäle zu erzeugen. Die Wellenformen werden erzeugt und mit einer beliebigen Zeitsteuerung oder Pulswiederholungsfrequenz an einen Schallkopf 51 angelegt. Nach der Übertragung akustischer Wellen vom Schallkopf 51 ansprechend auf die erzeugten Wellen werden während eines gegebenen Sendeereignisses ein oder mehrere Strahlen gebildet. Die Strahlen sind für die B-Mode, die Farb-Fluss-Mode, Elastizitäts-, Scherwellen- und/oder andere Moden für die Bildgebung vorgesehen. Eine Sequenz von Sendestrahlen wird erzeugt, um ein ein-, zwei- oder dreidimensionales Gebiet zu scannen. Es können Sektor-, Vector®-, lineare oder andere Scanformate verwendet werden. Es werden mehrere vollständige Scans ausgeführt, um eine entsprechende Vielzahl von Frames von Ultraschalldaten zu erzeugen.The transmit beamformer 50 is designed to generate waveforms for multiple channels. The waveforms are generated and applied to a transducer 51 at an arbitrary timing or pulse repetition rate. After the transmission of acoustic waves from transducer 51 in response to the generated waves, one or more beams are formed during a given transmit event. The beams are intended for B-mode, color-flow, elastic, shear-wave, and/or other imaging modes. A sequence of transmit beams is generated to scan a one, two, or three dimensional region. Sector, Vector®, linear, or other scan formats can be used. Multiple full scans are performed to generate a corresponding plurality of frames of ultrasound data.

Der Schallkopf 51 ist ein 1-, 1,25-, 1,5-, 1,75- oder 2-dimensionales Array piezoelektrischer oder kapazitiver Membranelemente. Der Schallkopf 51 weist mehrere Elemente zur Wandlung zwischen akustischer und elektrischer Energie auf. Beispielsweise ist der Schallkopf 51 ein eindimensionales PZT-Array mit etwa 64 - 256 Elementen.The transducer 51 is a 1, 1.25, 1.5, 1.75 or 2 dimensional array of piezoelectric or capacitive membrane elements. The transducer 51 has several elements for converting between acoustic and electrical energy. For example, the transducer 51 is a one-dimensional PZT array having approximately 64-256 elements.

Empfangssignale werden ansprechend darauf erzeugt, dass Ultraschallenergie (Echos) auf die Elemente des Schallkopfs 51 fällt. Der Empfangsstrahlformer 52 weist mehrere Kanäle zur Anwendung relativer Verzögerungen, Phasen und/oder einer Apodisation auf, um einen oder mehrere Empfangsstrahlen ansprechend auf jede Aussendung für die Bildgebung zu erzeugen. Es kann eine dynamische Fokussierung beim Empfang vorgesehen werden. Der Empfangsstrahlformer 52 gibt unter Verwendung der empfangenen akustischen Signale Daten aus, die räumliche Orte repräsentieren. Es werden Daten für einen einzigen Ort, Orte entlang einer Linie, Orte für einen Bereich oder Orte für ein Volumen ausgegeben. Die ansprechend auf einen vollständigen Scan eines Gebiets strahlgeformten Daten sind ein Datenframe.Received signals are generated in response to ultrasonic energy (echoes) impinging on the transducer 51 elements. Receive beamformer 52 includes multiple channels for applying relative delays, phasing, and/or apodization to create one or more receive beams in response to each transmission for imaging. Dynamic focusing can be provided on reception. The receive beamformer 52 outputs data representing spatial locations using the received acoustic signals. Data is reported for a single location, locations along a line, locations for an area, or locations for a volume. The data beamformed in response to a full scan of an area is a data frame.

Der Erfassungsprozessor 53 ist ein B-Moden-Detektor, ein Doppler-Detektor, ein Pulswellen-Doppler-Detektor, ein Korrelationsprozessor, ein Fouriertransformationsprozessor, ein Filter, ein anderer jetzt bekannter oder später entwickelter Prozessor zur Implementation einer Bildgebungsmode oder Kombinationen davon. Der Erfassungsprozessor 53 stellt eine Erfassung für die Bildgebungsmoden bereit, beispielsweise durch Aufnahme eines Doppler-Detektors (beispielsweise Schätzers) und eines B-Moden-Detektors. Der Erfassungsprozessor 53 bearbeitet und/oder erzeugt Frames von Ultraschalldaten. Ein räumliches Filter, ein zeitliches Filter und/oder ein Scanwandler können im Erfassungsprozessor 53 enthalten sein oder durch diesen implementiert werden. Der Erfassungsprozessor 53 gibt Anzeigewerte als Datenframes aus, beispielsweise durch Erfassen, Abbilden der erfassten Werte auf Anzeigewerte und Formatieren der Anzeigewerte oder erfassten Werte zu einem Anzeigeformat.The acquisition processor 53 is a B-mode detector, a Doppler detector, a pulse wave len Doppler detector, a correlation processor, a Fourier transform processor, a filter, another now known or later developed processor for implementing an imaging mode, or combinations thereof. The acquisition processor 53 provides acquisition for the imaging modes, for example by including a Doppler detector (e.g., estimator) and a B-mode detector. Acquisition processor 53 processes and/or generates frames of ultrasound data. A spatial filter, temporal filter, and/or scan converter may be included in or implemented by acquisition processor 53 . The capture processor 53 outputs display values as data frames, for example by capturing, mapping the captured values to display values, and formatting the display values or captured values into a display format.

Der Bildprozessor 55 ist ein Steuerprozessor, ein allgemeiner Prozessor, ein Digitalsignalprozessor, eine Graphikverarbeitungseinheit, eine anwendungsspezifische integrierte Schaltung, ein feldprogrammierbares Gate-Array, ein Netz, ein Server, eine Gruppe von Prozessoren, ein Datenweg, Kombinationen davon oder eine andere jetzt bekannte oder später entwickelte Vorrichtung zum Klassifizieren und/oder Messen von Ultraschallbildern. Der Bildprozessor 55 ist vom Erfassungsprozessor 53 getrennt oder ein Teil davon. Als getrennte Vorrichtung fordert der Bildprozessor 55 zur Klassifikation und Messung Datenframes an einer Verarbeitungsstufe (beispielsweise Strahlformungs-, Erfassungs-, Scanwandlungs-, Anzeigeabbildungs- oder anderen Stufe) an, empfängt diese, greift auf diese zu oder lädt diese. Der Bildprozessor 55 wird durch Software, Firmware und/oder Hardware dafür ausgelegt, die Schritte 12 - 18 aus 1 auszuführen oder ihre Ausführung zu veranlassen.The image processor 55 is a control processor, general purpose processor, digital signal processor, graphics processing unit, application specific integrated circuit, field programmable gate array, network, server, group of processors, datapath, combinations thereof, or any other now known or later developed device for classifying and/or measuring ultrasound images. The image processor 55 is separate from the acquisition processor 53 or is part of it. As a separate device, the image processor 55 requests, receives, accesses, or loads data frames at a processing stage (e.g., beamforming, acquisition, scan conversion, display mapping, or other stage) for classification and measurement. Image processor 55 is configured by software, firmware, and/or hardware to perform steps 12-18 1 carry out or cause to be carried out.

Der Prozessor 55 ist dafür ausgelegt, Ansichten anhand des Scans zu klassifizieren, eine Struktur in den Ansichten zu messen und festzustellen, welche der Klassifikationen und Messungen anzuzeigen sind. Der Prozessor ist dafür ausgelegt, auf der Grundlage des Konsistenzniveaus über eine Sequenz des Scans oder anderer Informationen, die zu einer konsistenteren Ausgabe durch Gating führen, zu bestimmen, welche der Klassifikationen und Messungen anzuzeigen sind.The processor 55 is configured to classify views from the scan, measure structure in the views, and determine which of the classifications and measurements to display. The processor is configured to determine which of the classifications and measurements to display based on the level of consistency across a sequence of the scan or other information that results in a more consistent output through gating.

Die Anzeige 54 ist eine CRT-, LCD-, Bildschirm-, Plasma-, Projektor-, Drucker- oder andere Vorrichtung zur Anzeige eines Bilds oder Bildsequenz. Es kann eine beliebige nun bekannte oder später entwickelte Anzeige 54 verwendet werden. Die Anzeige 54 ist dafür ausgelegt, durch Laden eines Bilds in einen Anzeigeebenenspeicher ein Bild oder eine Bildsequenz anzuzeigen. Die Anzeige 54 zeigt zweidimensionale Bilder oder dreidimensionale Repräsentationen an.Display 54 is a CRT, LCD, screen, plasma, projector, printer, or other device for displaying an image or sequence of images. Any now known or later developed display 54 may be used. The display 54 is configured to display an image or sequence of images by loading an image into a display plane memory. The display 54 displays two-dimensional images or three-dimensional representations.

Die Anzeige 54 ist dafür ausgelegt, ein oder mehrere Bilder mit Annotationen für die durch den Prozessor bestimmten Klassifikationen und/oder Messungen anzuzeigen. Die Anzeige 54 ist dafür ausgelegt, keine Bilder und/oder Annotationen für die Klassifikation und/oder die Messungen anzuzeigen, wenn die Klassifikation und/oder die Messungen durch das Gating abgelehnt werden.The display 54 is configured to display one or more images with annotations for the classifications and/or measurements determined by the processor. The display 54 is configured not to display images and/or annotations for the classification and/or measurements if the classification and/or measurements are rejected by the gating.

Der Erfassungsprozessor 53 und der Bildprozessor 55 arbeiten gemäß im Speicher 56 oder einem anderen Speicher gespeicherter Befehle. Die Befehle legen das System zur Ausführung der Schritte aus 1 aus. Die Befehle legen den Erfassungsprozessor 53 und/oder den Bildprozessor 55 für einen Betrieb aus, indem sie in eine Steuereinrichtung geladen werden, indem sie das Laden einer Wertetabelle (beispielsweise Bildgebungssequenz) veranlassen und/oder indem sie ausgeführt werden.Acquisition processor 53 and image processor 55 operate in accordance with instructions stored in memory 56 or other memory. The commands set up the system to perform the steps 1 out. The instructions enable the acquisition processor 53 and/or the image processor 55 to operate by being loaded into a controller, by causing a look-up table (e.g., imaging sequence) to be loaded, and/or by being executed.

Der Speicher 56 ist ein nichtflüchtiges computerlesbares Speichermedium. Die Befehle zur Implementation der hier erörterten Prozesse, Verfahren und/oder Techniken werden auf den computerlesbaren Speichermedien oder Speichern in der Art eines Caches, eines Puffers, eines RAMs, entfernbarer Medien, einer Festplatte oder anderer computerlesbarer Speichermedien bereitgestellt. Computerlesbare Speichermedien schließen verschiedene Typen flüchtiger und nichtflüchtiger Speichermedien ein. Die in den Figuren dargestellten oder hier beschriebenen Funktionen, Schritte oder Aufgaben werden ansprechend auf einen oder mehrere Befehlssätze, die in computerlesbaren Speichermedien oder auf diesen gespeichert sind, ausgeführt. Die Funktionen, Schritte oder Aufgaben hängen nicht vom jeweiligen Typ des Befehlssatzes, der Speichermedien, des Prozessors oder der Verarbeitungsstrategie ab und können durch Software, Hardware, integrierte Schaltungen, Firmware, Mikrocode und dergleichen, die allein oder in Kombination arbeiten, ausgeführt werden. Ebenso können Verarbeitungsstrategien eine Mehrfachverarbeitung, ein Multitasking, eine Parallelverarbeitung und dergleichen einschließen. Gemäß einer Ausführungsform werden die Befehle auf einer entfernbaren Medienvorrichtung zum Lesen durch lokale oder ferne Systeme gespeichert. Gemäß anderen Ausführungsformen werden die Befehle an einem fernen Ort zur Übertragung durch ein Computernetz oder über Telefonleitungen gespeichert. Gemäß wieder anderen Ausführungsformen werden die Befehle innerhalb eines gegebenen Computers, einer gegebenen CPU, einer gegebenen GPU oder eines gegebenen Systems gespeichert.Memory 56 is a non-transitory computer-readable storage medium. The instructions for implementing the processes, methods, and/or techniques discussed herein are provided on the computer-readable storage media or memory such as a cache, buffer, RAM, removable media, hard drive, or other computer-readable storage media. Computer-readable storage media include various types of volatile and non-volatile storage media. The functions, steps, or tasks illustrated in the figures or described herein are performed in response to one or more sets of instructions stored on or on computer-readable storage media. The functions, steps, or tasks do not depend on the particular type of instruction set, storage media, processor, or processing strategy, and may be performed by software, hardware, integrated circuits, firmware, microcode, and the like, operating alone or in combination. Likewise, processing strategies may include multiple processing, multitasking, parallel processing, and the like. According to one embodiment, the instructions are stored on a removable media device for reading by local or remote systems. According to other embodiments, the instructions are stored at a remote location for transmission through a computer network or over telephone lines. According to still other embodiments, the instructions are stored within a given computer, CPU, GPU, or system.

Gemäß einer Ausführungsform speichert der Speicher 56 die Klassifikation, die Messung, Bilder und/oder den Scan. Beispielsweise speichert der Speicher 56 einen vorhergehenden Scan. Anstelle einer Echtzeit- oder vorbereitungslosen Klassifikation und Messung, während der Sonograph scannt, wird eine Sequenz zuvor aufgezeichneter Bilder analysiert. Eine kleine Teilmenge „bester Bilder“, welche die relevanten Organe und/oder Strukturen und Messungen abdecken, kann unter Verwendung eines Filterns, das durch die Klassifikations- und/oder Messanalyse bereitgestellt wird, automatisch ausgewählt werden.According to one embodiment, memory 56 stores the classification, measurement, images, and/or scan. For example, memory 56 stores a previous scan. Instead of real-time or zero-prep classification and measurement while the sonographer is scanning, a sequence of previously recorded images is analyzed. A small subset of "best images" covering the relevant organs and/or structures and measurements can be automatically selected using filtering provided by the classification and/or measurement analysis.

Wenngleich die Erfindung vorstehend mit Bezug auf verschiedene Ausführungsformen beschrieben wurde, ist zu verstehen, dass viele Änderungen und Modifikationen vorgenommen werden können, ohne vom Schutzumfang der Erfindung abzuweichen. Es ist daher vorgesehen, dass die vorstehende detaillierte Beschreibung als erläuternd statt als einschränkend angesehen wird, und dass verstanden wird, dass der Gedanke und der Schutzumfang dieser Erfindung durch die folgenden Ansprüche, einschließlich aller gleichwertiger Ausgestaltungen, definiert werden sollen.Although the invention has been described above with reference to various embodiments, it is to be understood that many changes and modifications can be made without departing from the scope of the invention. It is therefore intended that the foregoing Detailed Description be regarded as illustrative rather than restrictive and that the spirit and scope of this invention be understood to be defined by the following claims, including all equivalents thereof.

Claims

A method for sequential imaging with an ultrasound scanner, comprising: Scanning (10) a patient with the ultrasound scanner, the scanning (10) resulting in a frame sequence of ultrasound data representing the patient, classifying (12) a view for at least some of the frames of ultrasound data of the sequence, Gating (17) the classified views based on a plurality of the frames of ultrasound data, wherein when the classified views are gated, a first of the classified views is rejected and a second of the classified views is allowed through, automatically measuring (14) on the frames of ultrasound data, including the second, which pass the classified views' gating, Gating (18) the results of the measurement (14) from the frames that pass the gating of the classified views, wherein in gating the results of the measurement (14) a first of the results of the measurement (14) is rejected and a second of the results of the measurement (14) is passed, and displaying (16) images of the data frames, the images having an annotation of the classified views passed through the gating of the classified views, the images having the results of the measuring (14) passed through the gating of the results of the measurement (14), wherein displaying (16) is free of annotation from any of the frames of ultrasound data rejected by the gated classified views and free of the results of the measurement (14) rejected by the gating of the results of the measurement (14).

procedure after claim 1 wherein in scanning (10) the patient is scanned (10) during an abdominal examination, in classifying (12) the view classifying the view as an organ or anatomical structure (12), and in measuring (14) a distance, an area or a volume is measured (14).

procedure after claim 1 or 2 wherein in gating (17) the classified views, the classified view at which a threshold number or percentage of classified views in a classified view window is the same classified view is passed and the other classified views in the window are rejected.

procedure after claim 3 , wherein in gating (17) the classified views, a confidence is determined for each of the classified views and only the classified view is passed where the threshold number or threshold percentage of classified views in the window are the same classified view and they have a confidence above a confidence threshold exhibit.

Procedure according to one of Claims 1 - 4 wherein in classifying (12) the view the multiple frames of ultrasound data in different windows are concatenated and the concatenations of the multiple frames from the different windows are classified (12) and wherein in gating (17) the classified views the classified views from the concatenations to be gated (17).

Procedure according to one of Claims 1 - 5 , wherein in the gating (17) the classified views are gated as a dynamic system with a state change.

Procedure according to one of Claims 1 - 6 wherein in gating (17) the classified views, the classified views or the frames of ultrasound data are stored in a first-in-first-out queue and based on the classified views or the frames in the first-in-first-out -Queue is gated.

Procedure according to one of Claims 1 - 7 , where when gating (18) the results on the is gated based on the quality of the respective frames of ultrasound data.

Procedure according to one of Claims 1 - 8th , where in gating (18) the results are gated based on a move amount.

Procedure according to one of Claims 1 - 9 , where the results are gated (18) based on the measurement stability of the results.

procedure after claim 10 , whereby when gating (18) the results are aggregated (18) if the measurement stability is above a stability threshold.

Procedure according to one of Claims 1 - 11 wherein measuring (14) measures (14) from a concatenation of the frames that pass the classified views gating, and wherein gating (18) gates the results based on the concatenation.

Procedure according to one of Claims 1 - 12 , wherein the gating (18) of the results includes spatio-temporal tracking.

Procedure according to one of Claims 1 - 13 wherein, upon displaying (16), the images are displayed (16) only for the frames that have passed through the gating of the classified views with measurement results (14) that have passed through the gating of the measurement results (14).

A method for view classification and measurement in ultrasound imaging by an ultrasound scanner, comprising: imaging (10) a patient through the ultrasound scanner as part of an abdominal examination, the imaging producing images of the patient's abdomen, Classifying (12) a structure represented in the images by the ultrasonic scanner, measuring (14) the structure by the ultrasonic scanner and indicating (16) only the classification with a consistent classification of the structure; and indicating (16) only a consistent measurement of the structure.

procedure after claim 15 wherein when displaying (16) the classification (12) is time filtered and the measurement (14) is time filtered and wherein when displaying (16) the images are rejected where the classification and the measurement are different.

procedure after claim 15 or 16 , wherein the classification (12) is gated (17) and the measurement (14) is gated (18) during display (16), so that a display of a deviating structure and a deviating measurement is suppressed.

procedure after Claim 17 , whereby in gating (17, 18) the classification is gated with temporal filtering, classification at the sequence level or dynamic system modeling (17) and the measurement is gated with image quality, motion detection, measurement stability, measurement aggregation, measurement at the sequence level or spatial-temporal tracking will (18).

System for stable classification and measurement in ultrasound imaging, comprising: an ultrasound imaging device (20) adapted to scan with ultrasound, a processor (55) configured to classify views from the scan, measure structure in the views, and determine which of the classifications and measurements to display, and a display (54) adapted to display first images for the classifications and measurements determined by the processor (55) to be displayed and second images for the classifications and measurements determined by the processor (55) not to be displayed were not to display.

system after claim 19 wherein the processor (55) is adapted to determine which of the classification and measurements to display based on a level of consistency through a sequence of the scan.

system after claim 19 or 20 further comprising a memory (56) arranged to store the scan and wherein the processor (55) is arranged to classify, measure and determine based on the stored scan.