DE10218946A1

DE10218946A1 - Applying watermark to image transmitted via data line, e.g. video film or sequence with soundtrack, by replacing image or sound object of less relevance with watermark

Info

Publication number: DE10218946A1
Application number: DE2002118946
Authority: DE
Inventors: Joerg Schwenk
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2002-04-22
Filing date: 2002-04-22
Publication date: 2003-11-06

Abstract

The method involves allocating a sound signal with limited sound content. Prior to transmission, an image object and/or a limited sound object in the image is selected having a defined priority and less relevance to the information to be transmitted. The object is cut out and replaced by an object containing a watermark.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Anbringung eines Wasserzeichens in einem Bild, wobei das Bild als insbesondere digitale Information über eine Datenleitung übertragen wird und wobei einzelnen in Teilinformation repräsentierten Bildbereichen (Bildobjekten) im Hinblick auf ihren jeweiligen Informationsgehalt unterschiedliche Prioritäten zugeteilt werden, wobei dem Bild ein akustisches Signal (Tonfolge) mit abgrenzbaren Toninhalten zugeordnet sein kann. The present invention relates to a method for Attaching a watermark to an image, the image as in particular digital information via a data line is transmitted and being individual in partial information represented image areas (image objects) with regard to their respective information content different Priorities are assigned, with an acoustic Assigned signal (tone sequence) with definable tone contents can be.

Bilder, Töne und Videos werden in zunehmendem Maße digital übertragen. Dies gilt einerseits für Business-to-Consumer- Anwendungen, wie beispielsweise das digitale Fernsehen oder das Internet, und andererseits für Business-to-Business- Anwendungen, wie Electronic Cinema. Zur Gewährleistung der Unversehrtheit von derartigen Dokumenten und zur Wahrung des das Copyrights sind verschiedene Verfahren zur Anbringung von digitalen Wasserzeichen auf den Medien bekannt. Viele der bekannten Wasserzeichenverfahren für Videos arbeiten mit dem unkomprimierten Video und sind Erweiterung von Verfahren, die zunächst für Einzelbilder entwickelt wurden. Die meisten bekannten Verfahren basieren auf dem Grundgedanken, das Wasserzeichen für den Betrachter unsichtbar auszubilden, so daß es sich, wenn überhaupt, nur durch vergleichsweise aufwendige Methoden entschlüsseln läßt. Der Nachteil der bekannten Verfahren ist, daß sie, um diese Voraussetzungen zu erfüllen, aufwendiger und damit teurer Kodierungstechniken bedürfen. Images, sounds and videos are becoming increasingly digital transfer. On the one hand, this applies to business-to-consumer Applications such as digital television or the internet, and on the other hand for business-to-business Applications such as electronic cinema. To ensure the Integrity of such documents and to protect the The copyrights are different methods of attaching digital watermark known on the media. Many of the Known watermarking methods for videos work with the uncompressed video and are extension of procedures that were initially developed for single images. Most known methods are based on the basic idea that To make watermarks invisible to the viewer, see above that it is, if at all, only by comparative decrypt expensive methods. The disadvantage of Known method is that they meet these requirements fulfill complex and thus expensive coding techniques require.

Durch die Verfügbarkeit effizienter Datenkompressionsverfahren wie JPEG, MPEG-1, MPEG-2, MP3 oder MPEG-4 ist es heute möglich, audiovisuellen Content auch übers Internet zu verteilen. Dadurch steigt die Piraterie in Form unautorisierter Verteilung dieses Contents stark an. Als Beispiel sei der Film "Star Wars Episode 1" angeführt, der bald nach seinem Kinostart in den USA und noch vor seinem Start in Europa auf diversen Servern im Internet in stark komprimierter, aber akzeptabler Qualität verfügbar war. Diese Raubkopie wurde mit Hilfe eines Camcorders im Kino aufgezeichnet und anschließend digitalisiert und komprimiert. Bei so hohen Kompressionsraten wie im angeführten Beispiel versagen bekannte Schutzverfahren wie die digitalen Wasserzeichen. More efficient due to availability Data compression methods such as JPEG, MPEG-1, MPEG-2, MP3 or MPEG-4 today makes it possible for audiovisual content too to be distributed over the Internet. This increases piracy Form of unauthorized distribution of this content. As One example is the film "Star Wars Episode 1", the soon after his theatrical release in the United States and before his Start in Europe on various servers on the Internet in strong compressed but acceptable quality was available. This Pirate copy was made using a camcorder in the cinema recorded and then digitized and compressed. With compression rates as high as in the example given known protection methods such as digital fail Watermark.

Aufgabe der Erfindung ist es, ein Verfahren zur Anbringung von Wasserzeichen auf Bildern, insbesondere auf digitalen Bildfolgen wie Filmen oder Sendungen, zu schaffen, das sich mit einfachen Mitteln umsetzen und automatisieren läßt, zuverlässig arbeitet und die Anbringung auch individuell einem Betrachter zugeordneter Wasserzeichen ermöglicht. Zudem sollte das Verfahren möglichst resistent gegen jegliche Kompression sein. The object of the invention is a method for attachment of watermarks on images, especially digital ones Sequences of images such as films or broadcasts, to create that can be implemented and automated with simple means, works reliably and the attachment also individually watermark associated with a viewer. moreover the procedure should be as resistant to any Be compression.

Diese Aufgabe wird durch Verfahren mit den kennzeichnenden Merkmalen des Anspruch 1 gelöst. This task is accomplished through procedures with the characteristic Features of claim 1 solved.

Der erfinderische Grundgedanke liegt darin, bestimmte Bildobjekte und/oder abgegrenzte Tonobjekte durch Wasserzeichen(objekte) zu ersetzen, wobei in Kauf genommen oder sogar beabsichtigt ist, daß diese Wasserzeichen vom Betrachter bzw. dem Hörer relativ schnell registriert werden. The inventive idea lies in certain Image objects and / or delimited sound objects Watermark (objects) to be replaced, being accepted or is even intended to have these watermarks dated Viewers or the listener are registered relatively quickly.

Bei den Objekten kann es sich um für den Betrachter unbedeutende aber auch um bedeutende Objekte im Bild oder in der akustischen Untermalung handeln. Das erfindungsgemäße Verfahren kann sowohl bei analog als auch bei digital zu übertragenden Einzelbildern eingesetzt werden. Besonders effektiv läßt es sich jedoch im Fall digitaler vorliegender audiovisueller Information umsetzen. The objects can be for the viewer insignificant but also around significant objects in the picture or in act the acoustic background. The invention The method can be used for both analog and digital transferring single images can be used. Especially however, it can be effectively used in the case of digital ones Implement audiovisual information.

Es ist jedoch vorteilhaft, es bei einer zeitlichen Abfolge von Einzelbildern (Bildfolge), insbesondere bei Videofilmen oder Videofilmsequenzen, anzuwenden, die in einer objektbezogenen Komprimierung, insbesondere in MPEG-4-Format, übertragen werden. Bei dieser Komprimierung sind schon einzelne Objekte definiert und es ist auf einfache Weise möglich, ein solches definiertes Objekt durch das Wasserzeichenobjekt zu ersetzen. However, it is advantageous to do it in a chronological order of individual images (sequence of images), particularly in the case of video films or video sequences that apply in a object-related compression, especially in MPEG-4 format, be transmitted. With this compression are already defines individual objects and it is simple possible such a defined object through the Replace watermark object.

Das erfindungsgemäße Verfahren wird dadurch realisiert, daß in einem Bild, wie bei der MPEG-4 Komprimierung üblich, zunächst unterscheidbare Objekte vor der Übertragung herausgegriffen werden und jedem Objekt eine andere Bedeutung (Priorität) zugemessen wird. Sich nicht verändernde Objekte werden mit einer geringen Priorität belegt und entweder stark komprimiert oder nur einmalig als Einzelbild übertragen werden. Dabei sind Verluste in der Authentizität bei solchen Objekten, wie sie beispielsweise Zuschauer bei einem Fußballspiel darstellen, akzeptabel. In der Menge der Zuschauer kann ohne weiteres ein bestimmter Zuschauer herausgegriffen und durch einen anderen ersetzt werden. Als Beispiel wird in diesem Zusammenhang auch gerne eine Nachrichtensprecherin angeführt, deren bewegtes Gesicht als Blickfang eine hohe Priorität aufweist, während dem von ihr benutzten statischen Mikrophon, das für den Zuschauer uninteressant ist, eine niedrige Priorität zuzumessen ist. The inventive method is realized in that in an image, as is usual with MPEG-4 compression, initially distinguishable objects before transmission be picked out and each object a different meaning (Priority) is allocated. Objects that do not change are assigned a low priority and either strong compressed or transmitted only once as a single image become. There are losses in the authenticity of such Objects, such as those of a viewer Represent soccer game, acceptable. In the amount of Viewers can easily be a particular viewer picked out and replaced by another. As In this context, an example would also be a pleasure News anchor, whose moving face as Eye-catcher has a high priority, while that of her used static microphone for the viewer it is uninteresting to assign a low priority.

Ein solches für das restliche Bild unbedeutendes Bildobjekt wird dann erfindungsgemäß ausgeschnitten und durch ein anderes, das Wasserzeichen beinhaltendes Objekt gleicher Ausmaße (Wasserzeichenobjekt), ersetzt. Such an image object that is insignificant for the rest of the image is then cut out according to the invention and by a other object containing the watermark is the same Dimensions (watermark object), replaced.

Es ist anzumerken, daß es sich im Rahmen der Erfindung um eine gezielte und für das eine Bild individuelle Ersetzung handelt, die nicht mit einer einfachen Überblendung, beispielsweise durch das Kennzeichen des Fernsehsenders in der oberen linken Ecke des Bildes, zu verwechseln ist. Erfindungsgemäß könnte das Mikrophon im genannten Beispiel ausgeschnitten und durch ein anderes Objekt, beispielsweise das Mikrophon mit aufgedrucktem Namen des Betrachters, ersetzt werden. Dem Mikrophon könnte auch eine andere Farbe zugedacht werden, was dem Betrachter nur im Vergleich mit dem Original auffallen würde. It should be noted that it is within the scope of the invention a targeted and individual replacement for one image that is not a simple transition, for example, by the license plate of the television station in the upper left corner of the picture, is to be confused. According to the invention, the microphone could be used in the example mentioned cut out and by another object, for example the microphone with the viewer's name printed on it, be replaced. The microphone could also have a different color be thought of what the viewer can only compare with the Original would stand out.

Eine ähnliche Vergabe von Prioritäten wird bekanntlich im MPEG-4-Standard genutzt, bei dem z. B. Multimediasequenzen in ihre Bestandteile zerlegt werden. Mit diesem Standard ist es in dem oben genannten Beispiel möglich, eine Nachrichtensendung in die Komponenten Nachrichtensprecher- Sprache, Nachrichtensprecher-Körper, Nachrichtensprecher- Gesicht und Hintergrund sowie Videosequenz zu zerlegen. Die Nachrichtensprecher-Sprache wird dabei als Text übertragen, der in einem Endgerät, beispielsweise einer sogenannten Set- Top-Box (Dekoder-Box), wieder in Sprache umgewandelt wird. Der Körper des Nachrichtensprechers wird als grobes Drahtmodell mit Bewegungen und einem Anzug als "Skin-", und das Nachrichtensprecher-Gesicht als feines Drahtmodell mit der Mimik und dem Wunschgesicht als "Skin" übertragen, während der Hintergrund als JPEG-Standbild und die Videosequenz der Berichterstattung als MPEG-2-Video übertragen wird. Ein MPEG-4 Dekoder könnte erfindungsgemäß an bestimmten Objekten Veränderungen vornehmen, bevor die Videosequenz ausgestrahlt wird. In diesem Beispiel kann die Anbringung des Wasserzeichens im komprimierten Zustand der Bild- und/oder Tonfolge vorgenommen werden, wobei die Anbringung zentral vor dem Versenden oder dezentral nach der Ankunft der Daten im Endgerät erfolgen kann. A similar allocation of priorities is known in the MPEG-4 standard used, in which, for. B. Multimedia sequences in its components are disassembled. With this standard it is in the example above possible one News broadcast in the components news anchor Language, news anchor body, news anchor Disassemble face and background as well as video sequence. The The news anchor language is transmitted as text, which in a terminal, for example a so-called set Top box (decoder box), is converted back into speech. The newsreader's body is called gross Wireframe with movements and a suit as a "skin", and the news anchor face with a fine wire model transferred the facial expressions and the desired face as a "skin", while the background as a JPEG still image and the Video sequence of the reporting as MPEG-2 video is transmitted. An MPEG-4 decoder could according to the invention make changes to certain objects before the Video sequence is broadcast. In this example, the Attachment of the watermark in the compressed state of the Image and / or sound sequence are made, the Attachment centrally before sending or decentrally after Arrival of the data in the terminal can take place.

Im Fall des genannten digitalen Kinofilmes "Star Wars Episode 1" hätte der im Vorführgerät vorhandene MPEG-4 Dekoder bestimmte gekennzeichnete Objekte automatisch auswählen und ihnen eine individuelle Prägung geben können. So wäre es beispielsweise möglich gewesen, die Gesichtsfarbe eines gezeigten Roboters zu verändern. Eine solche Veränderung hätte dem Kino, in dem der Film aufgenommen wurde, individuell zugeordnet werden können. Wäre die Raubkopie im Internet aufgetaucht, hätte der Kinobetreiber wegen seiner Nachlässigkeit im Hinblick auf ungenehmigte Mitschnitte durch Camcorder zur Rechenschaft gezogen werden können. Diese Erfindung macht es somit möglich, einen Content durch offensichtliche aber nicht störende Markierungen zu schützen bzw. eine Raubkopie zu ihrem Urheber zurückzuverfolgen. Diese Art der Markierung ist einfach anzubringen und robust gegenüber einer Komprimierung. Sie ließe sich auch leicht wieder entfernen, wobei der Aufwand jedoch in keinem Verhältnis zum Erfolg stünde. In the case of the aforementioned digital movie "Star Wars Episode The MPEG-4 decoder in the demonstration device would have 1 " automatically select certain marked objects and can give them an individual character. So it would be for example, the face color of a shown robot to change. Such a change would have been the cinema where the film was shot can be individually assigned. Would the pirated copy in The cinema operator would have surfaced on the Internet because of his Negligence with regard to unauthorized recordings Camcorders can be held accountable. This Invention thus makes it possible to go through content protect obvious but not distracting markings or trace a pirated copy back to its originator. This The type of marking is easy to apply and robust versus compression. It would also be easy remove again, but the effort in none Relationship to success.

Es ist vorteilhaft, wenn neben der das Bild repräsentierenden Information zusätzlich noch die Identifikation des ausgewählten Objektes übertragen wird, mit der dieses nach der Übertragung innerhalb des Bildes identifiziert werden kann. Beispielsweise könnten die Frames, die das ausgewählte Objekt zeigen, markiert werden oder das Objekt wird innerhalb eines Bildes anhand seiner Matrixpunkte definiert. So bekommt das zur Dekodierung eingesetzte Endgerät, beispielsweise die Set-Top-Box, der PC oder der digitale Projektor, das die Digital-Analog-Umwandlung übernimmt, neben der Bildinformation noch die Zusatzinformation, welchem Objekt das Wasserzeichen aufgeprägt werden kann. Derartige Geräte zeichnen sich im Allgemeinen durch die Fähigkeit aus, digitale Berechnungen und damit auch digitale Transformationen des Bildes im beschränkten Umfang durchführen zu können. It is advantageous if in addition to that representing the picture Information additionally the identification of the selected object with which this is transferred the transmission can be identified within the image can. For example, the frames that the selected Show object, be marked or the object will be inside of an image based on its matrix points. So get the terminal used for decoding, for example the Set-top box, the PC or the digital projector that the Digital-to-analog conversion takes over, in addition to Image information or additional information about which object the watermark can be embossed. Such devices are generally characterized by the ability digital calculations and thus also digital Image transformations to a limited extent to be able to perform.

Der Film wird also erst am Endgerät des privaten Nutzers (individuell) markiert. Nähme dieser den Film per Videorecorder auf und würde ihn verbreiten, ließe sich die Spur zu dem registrierten Endgerät, das die individuelle Markierung anbrachte, zurückverfolgen. Es ist also vorteilhaft, das individuelle Wasserzeicheobjekt zu registrieren, damit der Rückschluß auf den ursprünglich angesprochenen Betrachter, also beispielsweise den einzelnen Fernsehzuschauer, möglich ist. Da nicht davon auszugehen ist, daß dieser Nutzer über die Möglichkeiten verfügt, das Wasserzeichen zu entfernen, ist das Ziel der Erfindung erreicht. In diesem Fall könnte das Wasserzeichen ein dem Betrachter individuell zugeordnetes Objekt, beispielsweise ein Label mit seiner Anschrift oder sein Gesicht sein, mit dem das ursprünglich im Bild vorhandene Objekt geringer Priorität ersetzt wird. Bei der Ersetzung durch derart individuelle Objekte, läßt sich die Erfindung auch für Werbung zu nutzen. The film is only on the end device of the private user marked (individually). Take this the film by Video recorder and would spread it, the Track to the registered device that the individual Attached mark, trace back. So it is advantageous to add the individual watermark object register so that the conclusion on the original addressed viewer, for example the individual TV viewers, is possible. Since it cannot be assumed that this user has the ability to Removing watermarks is the aim of the invention reached. In this case the watermark could be one of the Viewer individually assigned object, for example be a label with his address or his face with the original object in the picture is less Priority is replaced. When replaced by such individual objects, the invention can also be used for To use advertising.

Zusammenfassend läßt sich ein genereller Gedanke der Erfindung auch derart darstellen, daß ein Verfahren zur individuellen Kennzeichnung von MPEG-4-codierten Filmen geschaffen ist, mit dem den einzelnen MPEG-Objekten, die bei der Zerlegung entstehen, unterschiedliche Prioritäten zugeordnet werden, die ihre visuelle Bedeutung beschreiben, wobei zusätzliche Parameter mit dem MPEG-4-Strom mit übertragen werden, die beschreiben, welche Objekte verändert oder verschöben werden und auf welche Art dies geschieht. Die Erfindung knüpft also an Ideen aus dem MPEG-4-Standard an, bei dem audiovisuelle Szenen in einzelne Objekte zerlegt, getrennt codiert und übertragen werden. Am Endgerät liegt dann eine Szenenbeschreibung vor, die es diesem ermöglicht, die einzelnen Objekte wieder korrekt zu einem Bild zusammenzusetzen. To summarize, a general idea of Also represent the invention in such a way that a method for individual labeling of MPEG-4 coded films is created with which the individual MPEG objects, which at disassembly, different priorities arise assigned that describe their visual meaning, taking additional parameters with the MPEG-4 stream are transferred, which describe which objects changed or be postponed and how it is done. The Invention is based on ideas from the MPEG-4 standard, where audiovisual scenes are broken down into individual objects, separately coded and transmitted. Is on the terminal then provide a scene description that allows this the individual objects again correctly to an image reassemble.

Wie mehrfach dargelegt besteht die Erfindung darin, Prioritäten an diese Objekte zu vergeben. Die Priorität sagt dabei aus, wie wichtig ein Objekt in einer bestimmten Szenenbeschreibung ist. Objekte mit niedriger Priorität können in der Szene verschoben oder verändert werden, ohne daß der Betrachter dies als störend empfinden würde. Ein Beispiel hierfür wäre ein Zuschauer in einem Fußballerspiel, wobei ein Fußballspieler eine sehr hohe Priorität hat. Eine individuelle Markierung kann nun in ein Video eingebettet werden, indem das Wiedergabegerät Objekte niedriger Priorität gemäß einem durch einen Algorithmus vorgegebenen Wert verschiebt. So entsteht so ein sichtbares aber unauffälliges Wasserzeichen. Ein Beispiel für die Verschiebung eines Objekts wäre ein Zuschauer in einem Fußballspiel, der für den Konsum des Spiels uninteressant ist. Ein Beispiel für die Änderung eines Objekts ist die Änderung der Farbe des Anzugs des Nachrichtensprechers oder eine Änderung des Winkels, aus dem eine Lichtquelle das 3D-Modell des Sprechers beleuchtet. As stated several times, the invention consists in To assign priorities to these objects. The priority says in doing so how important an object is in a particular Scene description is. Low priority objects can be moved or changed in the scene without that the viewer would find this disturbing. On An example of this would be a spectator in a soccer game, where a soccer player has a very high priority. A individual marking can now be embedded in a video be made by the playback device objects of low priority according to a value specified by an algorithm shifts. This creates a visible but inconspicuous Watermark. An example of moving a The object would be a spectator in a football game, who is for the Consumption of the game is uninteresting. An example of that Changing an object is changing the color of the suit the news announcer or a change in angle which a light source illuminates the 3D model of the speaker.

Dieses sichtbare Wasserzeichen bleibt auch bei Konvertierung in andere Formate erhalten. Es wird nur dann zerstört, wenn die Qualität des Contents so verschlechtert wird, daß die leichten Verschiebungen oder Veränderungen an dem markierten MPEG-4-Objekt nicht mehr unterschieden werden können. This visible watermark remains even when converting received in other formats. It will only be destroyed if the quality of the content deteriorates so that the slight shifts or changes to the marked MPEG-4 object can no longer be distinguished.

Claims

1.Method for attaching a watermark to an image, the image being transmitted as information via a data line, individual image areas (image objects) represented in partial information being assigned different priorities with regard to their respective information content, and the image being given an acoustic signal (sequence of tones ) can be assigned with delimitable sound contents, characterized in that before the transmission an image object which is assigned a defined priority in the image and is thus of little relevance for the information to be transmitted and / or a delimited sound object is selected and that this object is cut out and by another the object containing the watermark (watermark object) is replaced.

2. The method according to claim 1, characterized in that in addition to of the information representing the image Transfer identification of the selected object with which this is when transferring the image can be identified.

3. The method according to claim 1 or 2, characterized in that a temporal Sequence of individual images (image sequence), in particular a video film or a video film sequence with audio track, in object-related compression, in particular in MPEG-4, is transmitted, an object with defined priority by the watermark object is replaced.

4. The method according to claim 3, characterized in that the attachment of the watermark in a compressed state Image sequence is made.

5. The method according to any one of the preceding claims, characterized in that objects with lower priority to be replaced.

6. The method according to any one of the preceding claims, characterized in that the Watermark at least compared to the original for is clearly recognizable to the viewer.

7. The method according to claim 6, characterized in that the Watermark individually for the viewer associated object that is the original object low priority replaced.

8. The method according to any one of the preceding claims, characterized in that the exchange of the image object against the watermark object a terminal available to the viewer is accomplished, whereby this device to the Exchange intended object based on the sent Identifies and through an internal to him Available watermark object replaced.

9. The method according to claim 8, characterized in that the terminal, for example the television or the computer, an additional device (set-up box) is assigned to the Exchanges.

10. The method according to any one of the preceding claims, characterized in that the individual watermark object is registered and Conclusions about the originally mentioned Allows viewers.

11. The method according to any one of the preceding claims, characterized in that the replacement a displacement of an object in the picture equals.

12. The method according to any one of the preceding claims, characterized in that an image and / or the sound is in digital form.