KR101696243B1 - Virtual reality system and method for realizing virtual reality therof - Google Patents
Virtual reality system and method for realizing virtual reality therof Download PDFInfo
- Publication number
- KR101696243B1 KR101696243B1 KR1020160138326A KR20160138326A KR101696243B1 KR 101696243 B1 KR101696243 B1 KR 101696243B1 KR 1020160138326 A KR1020160138326 A KR 1020160138326A KR 20160138326 A KR20160138326 A KR 20160138326A KR 101696243 B1 KR101696243 B1 KR 101696243B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- virtual
- wearable device
- specific space
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법에 관한 것이다. 본 발명의 가상 현실 구현 시스템은 웨어러블 디바이스의 디스플레이 패널에 특정 공간에 존재하는 실제 사물과, 특정 공간 내에 가상으로 구현되어 표시되는 가상 물체가 표시된다. 특정 공간은 복수 개의 위치 정보 송수신 센서에 의해 규정된다. 서버는 실제 사물의 이미지 데이터와 가상 물체의 이미지 데이터를 3 차원적 영상으로 저장하고, 특정 공간 내의 사용자 컴퓨터로 제공한다. 서버는 특정 공간 내의 실제 사물의 위치 정보와 웨어러블 디바이스의 위치 정보를 판단하여 실제 사물과 가상 물체가 일부 중첩되면, 웨어러블 디바이스의 디스플레이 패널에 실제 사물의 이미지 데이터와 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 중첩되는 부분이 갈려지거나 보이게 표시되도록 처리한다. 본 발명에 의하면, 다양한 공간에서 웨어러블 디바이스를 이용하여 실제 사물과 가상 물체를 현실감있게 표현하도록 함으로써, 가상 현실과 증강 현실의 융합적인 구현이 가능하다.The present invention relates to a virtual reality realization system and a virtual reality realization method. The virtual reality system of the present invention displays an actual object existing in a specific space on a display panel of a wearable device and a virtual object displayed in a virtual space in a specific space. The specific space is defined by a plurality of position information transmission / reception sensors. The server stores image data of a real object and image data of a virtual object as a three-dimensional image, and provides the image data to a user computer in a specific space. The server judges the position information of the real object in the specific space and the position information of the wearable device so that when the virtual object and the real object are partially overlapped, the display panel of the wearable device displays the image data of the real object and the visual field depth So that the overlapping portions are displayed in a skewed or visible manner. According to the present invention, by realizing real objects and virtual objects in wearable devices in various spaces, it is possible to realize a fusion of virtual reality and augmented reality.
Description
본 발명은 가상 현실 구현 시스템에 관한 것으로, 좀 더 구체적으로 예술작품을 광학 이미지를 통해 고해상도 가상공간을 구현함과 동시에, 위치기반의 정보를 이용하여 다수의 갤러리 및 작품을 구현하고, 개별 작품에 대한 부가적 서비스를 제공하며, 가상의 광고를 구현함으로써, 특히 특정한 실재 공간에서 다수의 갤러리 및 작품 관람이 가능할 수 있도록 하는 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법에 관한 것이다.The present invention relates to a virtual reality system, and more particularly, to a virtual reality realization system, in which a high resolution virtual space is realized through an optical image of an artwork, and a plurality of galleries and works are implemented using position based information, And more particularly, to a virtual reality realization system and a virtual reality realization method that enable a plurality of galleries and works to be viewed in a specific real space by implementing virtual advertisements.
최근, 디지털 정보를 언제 어디서나 볼 수 있는 착용형 안경이 경량화되면서, 이를 활용하여 가상공간의 디지털 정보들 (예를들어, 지역 정보, 사진, 트윗, 지도, 광고, 숙박, 식당, 위키피디아 등)을 현장에서 즉시적으로 사용자에게 제공하고자 하는 시도가 많은 주목을 받고 있다.In recent years, wearable glasses that can view digital information anytime and anywhere have become lightweight, and using this information, digital information (for example, local information, photographs, tweets, maps, advertisements, accommodations, restaurants, Attempts to instantly provide to users in the field have attracted much attention.
이는, 기존의 정보 획득의 미디어로서 사용되고 있는 휴대용 인터넷 단말기를 대체할 수 있는 뉴 미디어로의 역할을 할 수 있다.This can serve as a new media that can replace a portable Internet terminal used as an existing information acquisition medium.
즉, 현장의 사용자에게 관심 정보를 즉시적으로 제공할 수 있으며, 기존의 페이스 북/트위터/유투브와 같은 라이프 로깅 서비스를 언제 어디서나 즉각적으로 수행할 수 있으며, 다양한 정보를 손쉽게 획득 할 수 있을 것이다.In other words, it is possible to instantly provide information of interest to users in the field, and to perform life logging services such as existing Facebook / Twitter / YouTube directly and at any time, and to acquire various information easily.
특히, 유저로 하여금 몰입감 있는 가상체험을 제공하는 기술들의 개발이 매우 절실하게 요구된다.Particularly, there is an urgent need to develop technologies that provide users with immersive virtual experiences.
이를 위해, 대한민국 등록특허 제10-1106857호에서는, 도 9에 도시된 바와 같이, 갤러리제공부(60)를 포함하는 가상 공간의 갤러리시스템에 있어서, 상기 갤러리제공부(60)는, 시스템 제어 프로그램부(80)의 제어신호에 따라 3차원의 가상 공간 갤러리를 제공하는 3D 가상현실프로그램(90)와; 관리서버(10)에서의 선택된 물품을 시스템 제어 프로그램부(80)의 제어신호에 따라 가상 공간의 갤러리에 전시하는 물품선택부(100)와; 가상 공간의 갤러리의 공간 거리를 조절해 주는 동서남북/상하방향키제공부(110)와; 가맹점단말기(40)로부터의 가상 공간의 갤러리의 대여 요청이 있으면 가상 공간의 갤러리를 대여해 주는 가상 공간의 갤러리대여부(120)와; 회원단말기(30)로부터의 전시된 물품의 자리이동 요청이 있으면, 가상 공간의 갤러리에 전시된 물품을 이동시키는 물품자리이동부(130)와; 가맹점단말기(40)로부터 가상 공간의 갤러리 대여 요청이 있으면, 사이버머니를 결재하는 사이버머니결재부(140)와; 회원단말기(30)로부터의 배경음악이 선택되면 음악을 송출하는 배경음악선택부(150)로 구성된 것을 특징으로 하는 '3디를 활용한 가상 공간의 갤러리시스템'이 제안되었다.To this end, in Korean Patent No. 10-1106857, as shown in FIG. 9, in a gallery system of a virtual space including a
그러나, 상기와 같은 종래 기술에도 불구하고, 위치기반의 정보를 이용하여 다수의 갤러리 및 작품을 구현하고, 개별 작품에 대한 부가적 서비스를 제공하며, 가상의 광고를 구현할 수 있지는 못하였다.However, despite the above-described conventional art, it has not been possible to implement a large number of galleries and works using location-based information, provide additional services for individual works, and implement virtual advertisements.
본 발명의 목적은 사용자의 웨어러블 디바이스에 표시되는 특정 공간 내의 실제 사물과 가상으로 구현된 가상 물체들 간의 중첩되는 부분이 사용자의 시야 깊이에 따라 표시되도록 하는 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.An object of the present invention is to provide a virtual reality realizing system and a virtual reality realizing method for displaying an overlapping part between virtual objects and real objects in a specific space displayed on a wearable device of a user according to a depth of view of a user, .
본 발명의 다른 목적은 미술품, 예술 작품 등의 대상물을 광학 이미지를 통해 가상 공간을 구현하고, 동시에 위치 기반의 정보를 이용하여 가상 갤러리 시스템을 구현하기 위한 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.It is another object of the present invention to provide a virtual reality realization system and a virtual reality realization method for realizing a virtual space through an optical image of an object such as an artwork or an artwork and simultaneously realizing a virtual gallery system using position- .
본 발명의 또 다른 목적은 군사용 드론을 이용하여 가상의 군사 훈련 시스템을 구현하기 위한 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.Another object of the present invention is to provide a virtual reality system and a virtual reality method for realizing a virtual military training system using a military drones.
본 발명의 또 다른 목적은 웨어러블 디바이스를 이용하여 작품 관람, 광고, 쇼핑, 스포츠 관람, 군사용 등 다양한 분야에서 가상 현실과 증강 현실이 융합된 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.Another object of the present invention is to provide a virtual reality realization system and a virtual reality realization method in which a virtual reality and an augmented reality are fused in various fields such as a work viewing, advertisement, shopping, sports viewing, and military use by using a wearable device.
상기 목적들을 달성하기 위한, 본 발명의 가상 현실 구현 시스템은 사용자의 웨어러블 디바이스에 표시되는 특정 공간 내의 실제 사물과 가상으로 구현된 가상 물체들 간의 중첩되는 부분이 사용자의 시야 깊이에 따라 표시되도록 하는데 그 한 특징이 있다. 이와 같은 본 발명의 가상 현실 구현 시스템은 웨어러블 디바이스의 디스플레이 패널 상에 특정 공간 내의 실제 사물과 가상 물체들 간의 중첩된 부분을 현실감있게 표시할 수 있다.In order to achieve the above objects, a virtual reality system of the present invention allows an overlapping portion between an actual object in a specific space displayed in a wearable device of a user and virtual objects implemented in virtual space to be displayed according to the depth of view of the user, There is one feature. The virtual reality system of the present invention can realistically display an overlapping part between real objects and virtual objects in a specific space on a display panel of a wearable device.
이 특징에 따른 본 발명의 가상 현실 구현 시스템은: 복수 개의 위치 정보 송수신 센서를 통해 규정되는 특정 공간에 존재하는 실제 사물과 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용 가능한 웨어러블 디바이스와; 상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하고, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 사용자 컴퓨터 및; 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 저장하고, 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 서버를 포함한다.According to another aspect of the present invention, there is provided a virtual reality system comprising: a display panel displaying an actual object existing in a specific space defined through a plurality of position information transmission / reception sensors and a virtual object virtualized in the specific space; A user wearable wearable device; Acquiring positional information of the real object and positional information of the wearable device from the positional information transmission / reception sensor, a user in the specific space, and a plurality of optical motion sensors sensing movement of the real object, A user computer for transmitting image data of the virtual object and image data of the virtual object; Storing the image data of the actual object and the image data of the virtual object, judging the positional information of the actual object in the specific space and the positional information of the wearable device, and when the actual object and the virtual object are partially overlapped, The display panel of the device processes the actual object and the overlapped part of the virtual object located nearer to the wearable device according to the visual depth between the image data of the real object and the image data of the virtual object on the display panel of the device And a server for transmitting the image data of the real object and the image data of the virtual object to the user computer.
이 특징의 한 실시예에 있어서, 상기 가상 현실 구현 시스템은; 상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하는 적어도 하나의 3 차원 광학 스캔 기기와; 상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하는 렌터링 컴퓨터를 더 포함한다.In one embodiment of this aspect, the virtual reality realization system comprises: At least one three-dimensional optical scanning device for scanning the actual object to generate three-dimensional image data and outputting three-dimensional image data; And a rendering computer that receives the three-dimensional image data from the three-dimensional optical scanning device and performs rendering calculation processing to transmit image data of the real object to the server.
다른 실시예에 있어서, 상기 가상 현실 구현 시스템은; 상기 서버의 제어를 받아서 상기 웨어러블 디바이스의 움직임에 대응하여 촬영 방향이 변경되도록 구동하는 광각 IP 카메라를 더 포함하되; 상기 웨어러블 디바이스는 상기 광각 IP 카메라로부터 촬영된 영상을 상기 디스플레이 패널에 표시한다.In another embodiment, the virtual reality implementation system comprises: Further comprising: a wide angle IP camera that is driven under control of the server to change a photographing direction corresponding to the movement of the wearable device; The wearable device displays an image photographed by the wide angle IP camera on the display panel.
또 다른 실시예에 있어서, 상기 가상 현실 구현 시스템은; 상기 특정 공간의 바닥면에 구비되어 상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 더 감지하는 복수 개의 압력 센서를 더 구비한다.In another embodiment, the virtual reality implementation system comprises: And a plurality of pressure sensors provided on the bottom surface of the specific space for further sensing the actual object and the positional information of the wearable device.
또 다른 실시예에 있어서, 상기 웨어러블 디바이스는; 상기 실제 사물과 상기 가상 물체에 대한 부가 정보를 더 표시하고, 상기 부가 정보가 선택되면, 상기 부가 정보에 대응하는 부가 서비스에 연결되도록 처리한다.In another embodiment, the wearable device comprises: Further displays additional information on the virtual object and the virtual object, and, when the additional information is selected, processes the additional object to be connected to the additional service corresponding to the additional information.
또 다른 실시예에 있어서, 상기 서버는; 상기 웨어러블 디바이스의 상기 디스플레이 패널에 사용자의 시선에 따른 3 차원적 각도에 대응하여 상기 실제 사물과 상기 가상 물체를 더 표시되도록 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 상기 사용자 컴퓨터로 더 제공한다.In another embodiment, the server comprises: The image data of the real object and the image data of the virtual object are displayed on the display panel of the wearable device to the user computer so that the virtual object and the virtual object are further displayed corresponding to the three- to provide.
또 다른 실시예에 있어서, 상기 위치 정보 송수신 센서는; 상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 인식하는 GPS 장치, 통신망 기지국, 무선 통신 중계기 및 드론 중 어느 하나로 구비된다.In another embodiment, the position information transmission / reception sensor comprises: A GPS device, a communication network base station, a wireless communication repeater, and a drone that recognize the real object and the location information of the wearable device.
본 발명의 다른 특징에 따르면, 가상 현실 구현 시스템의 가상 현실 구현 방법이 제공된다.According to another aspect of the present invention, a virtual reality realization method of a virtual reality realization system is provided.
이 특징에 따른 본 발명의 가상 현실 구현 시스템의 가상 현실 구현 방법은: 복수 개의 위치 정보 송수신 센서를 이용하여 특정 공간을 규정짓고; 상기 위치 정보 송수신 센서를 통해 상기 특정 공간에 존재하는 실제 사물의 위치 정보와, 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용한 웨어러블 디바이스의 위치 정보를 감지하고; 상기 특정 공간 내에 구비된 사용자 컴퓨터를 통해 상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하여, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하고; 그리고 서버가 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송한다.According to another aspect of the present invention, there is provided a virtual reality realization method for a virtual reality realization system, comprising: defining a specific space using a plurality of position information transmission / reception sensors; Receiving position information of a wearable device worn by a user equipped with a display panel on which a virtual object that is virtually realized in the specific space is displayed through the positional information transmission / reception sensor, and; Receiving position information of the real object and position information of the wearable device from a plurality of optical motion sensors for sensing movement of the real object by the user in the specific space and the position information transmission / reception sensor through the user computer provided in the specific space And transmits image data of the real object and image data of the virtual object to the wearable device; When the server judges the location information of the actual object in the specific space and the location information of the wearable device so that the virtual object is partially overlapped with the actual object, the image data of the real object and the image data of the real object are displayed on the display panel of the wearable device. And a display unit for displaying the image data of the real object and the virtual image of the virtual object on the basis of the visual depth of the image data of the virtual object and the overlapping part of the real object and the virtual object, And transmits the image data of the object.
이 특징의 한 실시예에 있어서, 상기 방법은; 적어도 하나의 3 차원 광학 스캔 기기를 통해 상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하고; 렌터링 컴퓨터가 상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하고; 그리고 상기 서버는 상기 실제 사물의 이미지 데이터를 저장하는 것을 더 포함한다.In one embodiment of this aspect, the method further comprises: Scanning the actual object through at least one three-dimensional optical scanning device to generate three-dimensional image data, and outputting three-dimensional image data; A rendering computer receives the three-dimensional image data from the three-dimensional optical scanning device, performs rendering calculation processing, and transmits image data of the real object to the server; And the server further comprises storing image data of the real object.
상술한 바와 같이, 본 발명의 가상 현실 구현 시스템은 특정 공간 내의 실제 사물의 위치 정보와 웨어러블 디바이스의 위치 정보를 판단하여 실제 사물과 가상 물체가 일부 중첩되면, 웨어러블 디바이스의 디스플레이 패널에 실제 사물의 이미지 데이터와 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 중첩되는 부분이 갈려지거나 보이게 표시되도록 처리함으로써, 다양한 공간에서 웨어러블 디바이스를 이용하여 실제 사물과 가상 물체를 현실감있게 표현 가능하고, 이를 통해 가상 현실과 증강 현실의 융합적인 구현이 가능하다.As described above, the virtual reality system of the present invention determines the location information of the actual object in the specific space and the location information of the wearable device, and when the virtual object is partially overlapped with the real object, It is possible to represent real objects and virtual objects in real space using wearable devices in various spaces by processing the overlapped portions so as to be displayed in a skewed or visible manner according to the visual depth between the data and the image data of the virtual object, It is possible to implement augmented reality in a convergent manner.
또 본 발명의 가상 현실 구현 시스템에 따르면, 특히 가상 갤러리 시스템에 적용됨에 따라, 가상의 큐레이터는 작가의 이력, 경매 정보, 작품에 대한 이력, 작품의 창작 의도 등을 나래이션 방식으로 들려주기도, 웨어러블 디바이스의 디스플레이 패널에 함께 표시되는 메뉴를 선택함으로써, 해당 품목을 직접 구매할 수도 있으며, 디스플레이 패널에 작품과 함께 표시되는 가상의 광고 또는 실제 상품 광고를 선택하여 해당 상품을 구매할 수도 있는 효과가 있다.In addition, according to the virtual reality system of the present invention, the virtual curator, in particular, is applied to the virtual gallery system to narrate the history of the artist, the auction information, the history of the work, It is possible to purchase the item directly by selecting the menu displayed together on the display panel of the display panel, and to select the virtual advertisement or the actual product advertisement displayed together with the work on the display panel to purchase the corresponding product.
또 본 발명에 따르면, 경비 초소에 적용됨으로써, 웨어러블 디바이스에 연동되어, 광각 IP 카메라가 작동됨으로써, 실제로 외곽 근무 순찰을 다니지 않고서도, 경비 초소의 근무 병사는 경비 초소 등에 머물러 있는 상태에서, 자신이 의도하는 대로 각각의 광각 IP 카메라가 촬영한 영상을 통하여 경계 근무가 가능한 특징적인 효과가 있다.Further, according to the present invention, since the wide angle IP camera is operated in cooperation with the wearable device by being applied to the security guard station, the security guard station is kept at the security guard station, As a result, there is a distinctive effect that the boundaries can be worked through the images taken by each wide-angle IP camera.
또한, 본 발명에 따르면, 군사용 드론에 적용됨에 따라, 적군 그리고, 적군 탱크의 현 위치를 파악함은 물론, 적군에 대한 공격 방향, 우리 아군의 향후의 이동 경로, 또는 아군의 퇴로를 용이하게 파악하여, 신속하고도 안전한 부대이동이 가능케 되는 또 다른 효과가 있다.Further, according to the present invention, as applied to a military drone, it is possible to grasp the current position of an enemy force and enemy force tanks, and to easily grasp an attack direction to an enemy force, a future movement route of a friendly force, Thereby, there is another effect that rapid and safe movement of the unit is possible.
도 1은 본 발명에 따른 가상 현실 구현 시스템의 구성을 나타낸 전체 개요도,
도 2는 본 발명의 일 실시예에 따른 실제 갤러리에서의 실제 사물과 가상의 물체에 대하여 사용자가 웨어러블 디바이스를 활용하여 작품 관람이 이루어지는 것을 나타낸 도면,
도 3은 도 2에 도시된 가상 물체에 대하여 사용자가 웨어러블 디바이스를 활용하는 것을 나타낸 개요도,
도 4는 도 2에 도시된 실제 갤러리에서의 실제 사물과 가상 물체에 대하여 시야의 깊이가 각각 다르게 설정되는 것을 나타낸 모식도,
도 5는 본 발명의 다른 실시예에 따른 사용자가 착용한 웨어러블 디바이스에 연동되어 스텝 모터를 통한 광각 IP 카메라의 렌즈 방향을 상하 좌우 방향으로 구동되는 것을 나타낸 개요도,
도 6은 본 발명의 또 다른 실시예에 따른 군사용 드론을 이용한 가상 현실 구현 시스템의 구성을 나타낸 개요도,
도 7은 본 발명에 따른 뷰포인트를 기준하여 카메라로부터 근접 클립면과 이격 클립면이 설정되는 것을 나타낸 모식도,
도 8은 본 발명의 실시예에 따른 구글 글라스 형태의 웨어러블 디바이스를 나타낸 도면, 그리고
도 9는 종래기술의 일 실시예에 따른 3D를 활용한 가상 공간의 갤러리 시스템의 개략적인 구성을 나타낸 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a general overview showing a configuration of a virtual reality system according to the present invention;
FIG. 2 is a view showing a user viewing a work using a wearable device for an actual object and a virtual object in an actual gallery according to an embodiment of the present invention; FIG.
FIG. 3 is an outline view showing that a user utilizes a wearable device with respect to the virtual object shown in FIG. 2;
FIG. 4 is a schematic diagram showing that the depths of field of view are set differently for real objects and virtual objects in the actual gallery shown in FIG. 2,
FIG. 5 is a schematic view showing how the lens direction of the wide-angle IP camera is driven in the up, down, left, and right directions through the step motor in conjunction with the wearable device worn by the user according to another embodiment of the present invention.
FIG. 6 is a schematic diagram illustrating a configuration of a virtual reality system using a military drone according to another embodiment of the present invention. FIG.
FIG. 7 is a schematic view showing that a close clip plane and a spacing clip plane are set from a camera based on a view point according to the present invention,
8 is a view showing a wearable device in the form of a Google Glass according to an embodiment of the present invention, and
9 is a diagram illustrating a schematic configuration of a gallery system of a virtual space utilizing 3D according to an embodiment of the related art.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.The embodiments of the present invention can be modified into various forms and the scope of the present invention should not be interpreted as being limited by the embodiments described below. The present embodiments are provided to enable those skilled in the art to more fully understand the present invention. Therefore, the shapes and the like of the components in the drawings are exaggerated in order to emphasize a clearer explanation.
이하 첨부된 도 1 내지 도 8을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 가상 현실 구현 시스템의 구성을 나타낸 전체 개요도이다.BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a schematic diagram showing a configuration of a virtual reality system according to the present invention; FIG.
도 1을 참조하면, 본 발명의 가상 현실 구현 시스템은 웨어러블 디바이스(100)를 이용하여 현실감있는 가상 현실 구현을 위해, 실제 사물과 가상으로 구축된 가상 물체를 표현하고자 하는 피사체를 광학적 스캔 및 3 차원화하고, 실제 사물과 가상 물체를 보는 방향에 따라 실제 사물과 가상 물체가 중첩되는 부분을 현실감있게 표시하도록 처리한다.Referring to FIG. 1, the virtual reality system of the present invention includes a
이를 위해 본 발명의 가상 현실 구현 시스템은 웨어러블 장치(100)와, 사용자 컴퓨터(200)와, 서버(300)와, 렌더링 컴퓨터(400)와, 복수 개의 3D 광학 스캔 기기(500 : 500a, 500b) 및, 광학 IP 카메라(600)를 포함한다. 이러한 가상 현실 구현 시스템은 예를 들어, 유무선 통신망을 이용하여 인터넷에 접속되고, 상호 데이터 통신이 가능하도록 연결된다. 여기서 웨어러블 디바이스(100)와 사용자 컴퓨터(200)는 특정 공간(S1) 내에 위치한다.To this end, the virtual reality system of the present invention includes a
웨어러블 디바이스(100)는 사용자(M)가 착용하고, 이미지가 출력되는 디스플레이 패널과 음성을 녹음하는 마이크(예를 들어, 홀로포닉스 마이크 등)와, 음성을 스테레오로 출력하는 스피커, 헤드폰 등이 구비된다. 또 웨어러블 디바이스(100)는 다양한 센서들 예를 들어, 광각 카메라, 광학 모션 센서, 자이로스코프 센서, 위치 정보 송수신기, 동공 위치 추적 장치, 동공 수축/이완 추적 장치, 조도 센서 등이 구비된다. 이러한 웨어러블 디바이스(100)는 디스플레이 패널을 이용하여 구현된 가상 현실에 따른 실제 사물과 가상 물체가 포함된 영상을 표시한다.The
사용자 컴퓨터(200)는 특정 공간(S1)(예를 들어, 실제 갤러리) 내에 구비되고 무선 통신망을 통해 웨어러블 디바이스(100)가 연결된다.The
사용자 컴퓨터(200)는 광학적으로 판독 가능한 광학 인식 코드(또는 태그)를 리딩하는 리더기와, 복수 개의 위치 정보 송수신 센서에 의해 규정되는 특정 공간 내에서 광학 모션 센서(예를 들어, 레이저 모션 트래킹 센서)를 이용하여 웨어러블 디바이스(100)의 위치, 방향 및 3 차원적인 각도 등을 포함하는 웨어러블 디바이스(100)의 위치 정보를 수집한다.The
여기서 리더기는 규정된 공간 내에 존재하는 모든 피사체(예를 들어, 물건이나 생물 등이 포함된 실제 사물)에 대한 3 차원 정보를 포함하는 광학 인식 코드(또는 태그)를 판독한다.Here, the reader reads an optical recognition code (or tag) including three-dimensional information on all the objects (for example, actual objects including objects, living things, etc.) existing in the specified space.
위치 정보 송수신 센서는 복수 개가 특정 공간에 설치되어 공간을 규정짓고, 규정된 공간 내에 존재하는 웨어러블 디바이스(100)의 위치, 방향 및 3 차원적 각도에 대한 정보를 감지한다. 또 위치 정보 송수신 센서는 웨어러블 디바이스(100)와의 직선 거리를 감지한다. 광학 모션 센서는 규정된 공간 내에 존재하는 모든 피사체에 대해 실시간으로 위치, 모양, 크기 및 부피 등이 포함된 정보를 감지한다. 또 리더기와 광학 모션 센서에 의해 감지된 정보를 이용하여 피사체에 대한 오차를 보정한다.A plurality of position information transmission / reception sensors are installed in a specific space to define a space, and sense information about the position, direction, and three-dimensional angle of the
또 특정 공간에는 바닥면에 복수 개의 압력 센서들을 구비하고, 이를 통해 웨어러블 디바이스의 위치와 존재하는 피사체의 위치를 파악 및 보정한다. 또 특정 공간에는 좌우 독립 녹음 및 출력이 가능한 음성 출력 장치를 더 구비하고, 이를 통해 공간 내에 존재하는 피사체(예를 들어, 실제 사물 또는 가상 물체)에서 발생되는 모든 소리를 출력하여, 소리 근원의 위치 정보를 가늠할 수 있어서 현실적이고 3 차원적인 음성 정보를 전달할 수 있다.Further, the specific space includes a plurality of pressure sensors on the floor surface, thereby detecting and correcting the position of the wearable device and the position of the existing subject. In addition, the specific space further includes a sound output device capable of independently recording and outputting left and right, thereby outputting all sound generated from a subject (for example, a real object or a virtual object) existing in the space, It is able to measure information and transmit realistic and three dimensional voice information.
또 사용자 컴퓨터(200)는 무선 통신망을 통해 웨어러블 디바이스(100)로 이미지 데이터 및 음성 데이터를 전송한다. 또 사용자 컴퓨터(200)는 인터넷을 통하여 서버(300)로부터 실제 사물에 대한 이미지 데이터와 가상 물체에 대한 이미지 데이터를 받아서 웨어러블 디바이스(100)로 제공한다.The
서버(300)는 다양한 특정 공간(S1, S2)에 대한 모든 피사체 즉, 실제 사물 및 가상 물체의 이미지 데이터와, 실제 사물과 가상 물체에 대한 음향 효과 등이 포함된 음성 데이터를 저장한다. 서버(300)는 인터넷을 통하여 복수 개의 3D 광학 스캔 기기(500 : 500a, 500b)로부터 광학 스캐닝된 실제 사물에 대한 이미지 데이터를 전송받아서 저장한다. 서버(300)는 인터넷을 통하여 사용자 컴퓨터(200)로 이미지 데이터와 음성 데이터를 전송한다. 서버(300)는 사용자컴퓨터(200), 렌더링 컴퓨터(400) 및 광각 IP 카메라(600)를 제어하도록 제어 신호를 연산 처리한다.The
또 서버(300)는 인터넷을 통하여 웨어러블 디바이스(100)로부터 사용자의 시선 방향이 변경되면, 이에 대응하여 원격지에 있는 광각 IP 카메라(600)의 촬영 방향이 변경되도록 원격 제어하고, 이를 통해 획득된 이미지 데이터를 웨어러블 디바이스(100)로 제공한다.In addition, the
또 서버(300)는 개인이 직접 관람하는 개인 직접 관람 공간(S2)에 위치하는 가상 웨어러블 디바이스(100), 모바일 단말기 및 컴퓨터 등과 인터넷을 통하여 연결되어, 이미지 데이터와 음성 데이터를 제공한다.The
이러한 서버(300)는 인터넷을 통하여 사용자 컴퓨터(200)로부터 다양한 정보들을 전송받아서 특정 공간 내의 웨어러블 디바이스(100)의 사용자와 모든 피사체에 대한 위치, 방향, 3 차원적인 각도와 모양, 크기에 대한 정보를 저장하고, 실시간으로 분석하여 웨어러블 디바이스(100) 상의 디스플레이 패널을 통해 실시간으로 재생되는 실제 및 가상 현실이 융합된 영상을 제공한다. 또 서버(300)는 웨이러블 디바이스(100)와 피사체 각각의 위치 정보와 시야 범위 및 깊이에 따라 실존하는 실제 사물과 가상으로 구현된 가상 물체가 현실감있게 표현하도록 처리한다. 또 서버(300)는 구현되는 시야 내의 각 피사체의 거리에 따라 상대적으로 원거리에 있는 피사체가 상대적으로 근거리에 있는 피사체와 겹치는 부분이 표시되지 않도록 마스킹 처리하거나, 근거리에 위치하는 피사체가 우선 표시하도록 처리한다. 또 서버(300)는 구현되는 시야 내의 가상으로 구현된 피사체의 위치와 이동 경로가 3 차원적으로 처리되어 위치, 3 차원적 각도, 원근 효과 등을 현실감있게 구현 가능하다.The
렌더링 컴퓨터(400)는 인터넷을 통하여 3D 광학 스캔 기기(500)으로부터 스캐닝된 실제 사물의 이미지 데이터를 전송받아서 3D 이미지 데이터를 웨어러블 디바이스(100)의 디스플레이 패널 상에 표시되는 2D 이미지 데이터로 변환하는 3D 렌더링 등으로 연산 처리하여 3D 이미지 데이터값을 생성하고, 이를 인터넷을 통해 서버(300)로 전송한다.The
3D 광학 스캔 기기(500)는 복수 개가 구비되어 실제 사물을 스캐닝하여 3 차원적 이미지 데이터를 획득하고, 이를 인터넷을 통하여 서버(300)로 전송한다.A plurality of 3D optical scanning devices 500 are provided to acquire three-dimensional image data by scanning real objects and transmit them to the
그리고 광각 IP 카메라(600)는 웨어러블 디바이스(100) 등으로부터 전송받은 구동 신호에 따라 작동된다. 광각 IP 카메라(600)는 다양한 공간에 구비되어 서버(300)를 통해 웨어러블 디바이스(100)의 시선 방향에 따라 촬영 방향을 변경하도록 원격 제어받아서 해당 공간의 이미지 데이터를 획득하고, 이를 서버(300)로 전송한다.The wide-
따라서 본 발명이 가상 현실 구현 시스템은 다양한 공간에서 웨어러블 디바이스(100)를 이용하여 실제 사물과 가상 물체를 현실감있게 표현하도록 하여 가상 현실과 증강 현실을 구현할 수 있다.Accordingly, the present invention can realize a virtual reality and an augmented reality by realistically expressing real objects and virtual objects using the
도 2는 본 발명의 일 실시예에 따른 실제 갤러리에서의 실제 사물과 가상의 물체에 대하여 사용자가 웨어러블 디바이스를 활용하여 작품 관람이 이루어지는 것을 나타낸 도면이고, 도 3은 도 2에 도시된 가상 물체에 대하여 사용자가 웨어러블 디바이스를 활용하는 것을 나타낸 개요도이고, 도 4는 도 2에 도시된 실제 갤러리에서의 실제 사물과 가상 물체에 대하여 시야의 깊이가 각각 다르게 설정되는 것을 나타낸 모식도이며, 그리고 도 7은 본 발명에 따른 뷰포인트를 기준하여 카메라로부터 근접 클립면과 이격 클립면이 설정되는 것을 나타낸 모식도이다.FIG. 2 is a view showing that a user views a work using a wearable device with respect to an actual object and a virtual object in an actual gallery according to an embodiment of the present invention. FIG. 3 is a view showing a virtual object FIG. 4 is a schematic view showing that the depth of field of view is set differently for an actual object and a virtual object in the actual gallery shown in FIG. 2, and FIG. FIG. 7 is a schematic view showing that a close clip plane and a spacing clip plane are set from a camera based on a view point according to the invention.
먼저 도 2 내지 도 4를 참조하면, 이 실시예는 특정 공간(S1)이 실제 갤러리로, 복수 개의 위치 정보 송수신 센서(L1 ~ L8)들에 의해 공간을 규정한다. 또 특정 공간(S1)에는 복수 개의 광학 모션 센서(I1 ~ I15)들이 규정된 공간의 테두리를 따라 일정 간격 이격되게 배치되어, 특정 공간(S1) 내의 웨어러블 디바이스(100)를 착용한 사용자(M)와 실제 사물(R)에 대한 위치 정보를 감지한다. 또 특정 공간(S1)의 바닥면에는 압력 센서(P1)이 구비되어 사용자의 위치, 이동 등을 감지한다. 이 실시예에서 위치 정보 송수신 센서(L1 ~ L8)는 예를 들어, 블루투스 비콘(bluetooth becon) 등으로 구비된다.2 to 4, in this embodiment, the specific space S1 is an actual gallery, and the space is defined by the plurality of position information transmission / reception sensors L1 to L8. A plurality of optical motion sensors I1 to I15 are arranged at regular intervals along the rim of the defined space so that the user M wearing the
구체적으로, 실제 갤러리(S1)는 일정 공간으로 규정되고, 대체적으로 전 영역을 커버할 수 있도록 위치 정보 송수신 센서(L1 ~ L8)가 설치되고, 인접하는 적어도 2 개의 위치 정보 송수신 센서(L1 ~ L8) 사이에는 광학 모션 센서(I1 ~ I15)가 설치되어, 실제 갤러리(S1) 내에서 움직이는 사용자(M), 실제 사물(R) 그리고 가상 물체(V)가 센싱되거나, 유효한 데이터로서 위치 데이터를 감지하도록 설치된다.Specifically, the actual gallery S1 is defined as a certain space, and the position information transmission / reception sensors L1 to L8 are installed so as to cover the entire area, and at least two position information transmission / reception sensors L1 to L8 Optical motion sensors I1 to I15 are provided between the virtual space S and the virtual space S so that the user M, the real object R and the virtual object V moving in the actual gallery S1 are sensed or detected as valid data .
또한 실제 갤러리(S1)를 구성하는 바닥면에는 다수의 압력 센서(P)들이 장착되어 바닥면 위를 압력을 가하면서 이동하는 사용자(M) 또는 실제 사물(R)의 실제의 위치 데이터를 센싱하도록 구비된다.A plurality of pressure sensors P are installed on the bottom surface of the actual gallery S1 to sense actual position data of the user M or the real object R moving while pressing the pressure on the floor surface Respectively.
이 때, 실제 사물(R)에 대한 데이터값은 고해상도의 3D 광학 스캔 기기(500 : 500a, 500b)를 활용하여 스캐닝함으로써 확보될 수 있다. 그리고 확보된 데이터값은 인터넷을 통하여 서버(300)에 전송되어 저장된다.At this time, the data value for the real object R can be secured by scanning using the high-resolution 3D optical scanning device 500 (500a, 500b). The secured data values are transmitted to the
또한, 사용자(M)가 웨어러블 디바이스(100)를 사용하여 각각의 실제 사물(R)과 가상 물체(V)에 대한 3 차원적인 좌표값이 읽혀짐에 따라, 웨어러블 디바이스(100)의 디스플레이 화면에 표시된다.As the user M reads the three-dimensional coordinate values of the virtual object V and the virtual object V using the
이 실시예에서 가상 현실 구현 시스템의 적용 원리는 피사체 예를 들어, 물고기 형상으로 예시되는 가상 물체(V)가 현실 속에서 현장감있게 재현되도록 하는 것으로서, 특정 공간(S1) 내의 위치 정보를 기반으로 하여, 특정 공간(S1) 내에서의 모든 사물에 대한 좌표, 크기 등을 모두 인식하고, 이에 따라 특정 공간(S1) 내에서 3차원 좌표가 부여하여 표시되도록 처리한다. 즉, 가상 현실 구현 시스템은 대상물의 위치 정보와 시야의 정보를 분석하여 가상 물체(V)와 실제 사물(R)이 현실감있는 융합적인 구현이 가능하다.In this embodiment, the application principle of the virtual reality system is to reproduce a virtual object V, which is exemplified as a fish shape, realistically in reality, based on position information in the specific space S1 , All the coordinates, sizes, and the like of all the objects in the specific space S1 are recognized, and the three-dimensional coordinates are displayed in the specific space S1. That is, the virtual reality system can realize a realistic fusion of the virtual object (V) and the real object (R) by analyzing the position information and the view information of the object.
예를 들어, 도 3의 사용자 시선(B)에 도시된 바와 같이, 웨어러블 디바이스(100)의 디스플레이 패널 상에 실제 사물(R)과, 특정 공간(S1) 내에 물고기 형상의 가상 물체(V)가 실제 사물(R)의 앞쪽에 표시되고, 특정 공간(S1) 내에서 물고기 형상의 가상 물체(V)가 유영을 하다가, 도 3의 사용자 시선(A)에 도시된 바와 같이, 실제 사물(R) 뒤로 돌아가면, 가상 물체(V)가 실제 사물(R) 뒤로 돌아감에 따라 실제 사물(R)과 가상 물체(V)가 중첩되는 중첩 영역(Hi)이 발생되어, 사용자의 시선에는 시야의 깊이에 따라 해당 중첩 부분의 가상 물체(V)의 이미지는 실제 사물(R)에 의해 일부가 가려지는 것으로 표시 처리되어, 실제로 가상 물체가 존재하는 것과 같은 가상의 3D 이미지가 구현된다.For example, as shown in the user line B of Fig. 3, the actual object R and the fish-shaped virtual object V in the specific space S1 are displayed on the display panel of the
또 사용자(M)가 웨어러블 디바이스(100)를 착용한 상태에서, 실제 사물(R)의 후방으로 이동하게 되면, 도 3의 사용자 시선(A)에서와 같이, 가상 물체(V)가 실제 사물(R)과 중첩되어 보이지 않던 부분이 도 3의 사용자 시선(B)에서 처럼 보이게 된다.When the user M moves to the rear of the actual object R in a state wearing the
또한 본 발명은 가상 현실과 증강 현실이 융합된 기술로서, 사용자(M)의 시야 밖에 있던 물고기 형상의 가상 물체(V)가 마치 실물이 점점 다가오는 것처럼, 사용자(M)의 전방으로 점점 튀어나오듯이, 가상으로 구현될 수 있다.In addition, the present invention is a technology in which a virtual reality and an augmented reality are fused, and a fish-shaped virtual object V that is outside the field of view of a user M is projected toward the front of the user M, , And can be implemented virtually.
더욱이 물고기 형상의 가상 물체(V)와 실제 사물(R)은 웨어러블 디바이스(100)를 통해서 보게 되면, 이들 데이터값이 합성되어 표시되고, 가상 물체(V)와 실제 사물(R)에 대한 다양한 부가 정보가 표시되며, 이들 부가 정보를 선택하게 하여 다양한 부가 서비스를 받을 수도 있다.Further, when the fish-shaped virtual object V and the real object R are viewed through the
실제 사물(R)에 대한 데이터값은 3D 광학 스캔 기기(500 : 500a, 500b)에 의해 실시간으로 스캐닝되어 얻어질 수도 있고, 실제 갤러리(S1)에 설치되어 있는 광학 모션 센서(I1 ~ I15), 위치 정보 송수신 센서(L1 ~ L8)에 의하여 감지되어 데이타값이 얻어질 수도 있으며, 바닥에 위치한 압력 센서(P)를 통해 얻어질 수도 있다. 뿐만 아니라, 상술한 방법들을 복합적으로 사용하여 얻어진 데이타값을 비교하여 오차를 줄일 수 있도록 할 수 있다.The data values for the actual object R may be obtained by scanning in real time by the 3D optical scanning device 500 (500a, 500b), and the optical motion sensors I1 to I15 installed in the actual gallery S1, The data value may be obtained by the position information transmission / reception sensors L1 to L8 and may be obtained through the pressure sensor P located at the bottom. In addition, it is possible to reduce the error by comparing the data values obtained by using the above-described methods in combination.
여기서, 웨어러블 디바이스(100)는 다양한 센서들을 이용하여 웨어러블 디바이스(100)의 3 차원 공간상 좌표, 방향, 그리고 각도 정보를 측정하고, 이를 통해 각각의 실제 사물(R)과 가상 물체(V)들 사이, 사용자(M)들 사이, 실제 사물(R) 또는 가상 물체(V)와 웨어러블 디바이스(100)들 사이의 상대적 위치 즉, 3 차원적 공간 좌표를 감지할 수 있다. 여기서 3 차원적 위치 정보를 감지하는 센서에는 예를 들어, IR 센서, 광학 감지 센서 등이 포함될 수 있다. 따라서 웨어러블 디바이스(100)의 위치, 3 차원 각도 정보에 의해 사용자의 시야가 결정된다.Here, the
동시에 이를 통해 도 7에 도시된 바와 같이, 사용자(M)가 공간적 위치 좌표 및 각도를 통해 디스플레이에 표현되는 시야 절두체(viewing frustum)가 정의되고, 이 때의 시야 절두체(viewing frustum) 내에 들어오는 피사체들에 대한 정보가 시야의 깊이 정보 프로세스를 통해 현실감있게 구현된다. 이는 사용자가 웨어러블 디바이스(100)의 카메라를 통해 실제 사물과 배경을 볼 수 있으므로, 시야 절두체(viewing frustum)는 뷰포인트(viewpoint) 즉, 카메라의 관점에서 전체 화면 중 어느 부분이 최종 화면에 보이는지를 알아내야 하는데, 이 보이는 영역 즉, 결정된 표시 영역을 의미한다. 즉, 웨어러블 디바이스(100)의 디스플레이 패널 상에 표시되는 화면은 시야 절두체 내에서 시야의 깊이에 따라 인접한 화면(near clip plane)과 먼 화면(far clip plane) 사이의 어느 한 화면이 된다.At the same time, as shown in Fig. 7, a viewing frustum is defined in which the user M is displayed on the display through the spatial position coordinates and angles, and the viewing frustum, which is in the viewing frustum at this time, Information is realized realistically through the depth information process of the visual field. Since the user can see the real object and background through the camera of the
그리고 공간 상에 위치하지만 시야 내에 들어오지 않은 사물은 표시되지 않지만, 시야에 들어오지 않는 사물 또는 사람이 발생시키는 음성 정보는 출력 가능하게 구현되고, 본 발명의 가상 현실 구현 시스템에 의해 구현되는 실재 공간은 가상으로 구현되는 공간과 그 형태와 넓이, 높이 등이 일치되도록 구현된다.In addition, although the object which is located in the space but does not appear in the visual field is not displayed, the object which does not appear in the visual field or the voice information generated by the person is outputably implemented, and the real space realized by the virtual reality realizing system of the present invention is virtual And the shape, the width, and the height are made to coincide with each other.
또 본 발명을 가상 갤러리에 적용한 경우, 웨어러블 디바이스(100)를 착용한 여러 명의 사용자(M)가 실제 갤러리(S1)에서 가상의 큐레이터와 함께 관람할 때, 실제 갤러리(S1) 공간 내에서 실존하는 여러 명의 사용자(M), 가상의 큐레이터 및 실제 사물(R)과 서로 충돌되지 않도록 고려된다. 이 때, 가상의 큐레이터는 작가의 이력, 경매 정보, 작품에 대한 이력, 작품의 창작 의도 등을 내래이션(narration) 방식으로 들려주기도 한다. 또한 가상의 큐레이터는 실제 갤러리의 큐레이터처럼, 관람자를 따라다니며 작품에 대한 디테일한 설명을 들려준다.In addition, when the present invention is applied to a virtual gallery, when several users M wearing the
게다가, 웨어러블 디바이스(100)의 디스플레이 패널에 함께 표시되는 메뉴(menu)를 선택함으로써, 해당 품목을 직접 구매할 수도 있다. 또한, 웨어러블 디바이스(100)의 디스플레이 패널에 작품과 함께 표시되는 가상의 광고 또는 실제 상품 광고 예를 들어, 배너 광고, 차량 등의 상품 광고 등을 선택하여 해당 상품을 구매할 수도 있다. 또한, 웨어러블 디바이스(100)의 디스플레이 패널에 작품과 함께 표시되는 메뉴(menu)를 선택함으로써, 해당 품목의 경매에 참여할 수도 있다.In addition, by selecting a menu displayed together on the display panel of the
그리고, 웨어러블 디바이스(100)의 디스플레이 패널에서 이미지와 음향이 출력되며, 각종 공간상 좌표 인식 센서에 위치를 알릴 수 있는 장비 및 데이터 통신 장비를 가지고, 디바이스 전면의 실재를 촬영하여 실시간 전송할 수 있는 카메라를 지님과 동시에, 레이저 스캔 장비를 지니며 내부에 동공의 위치를 측정하고 기록할 수 있는 장치를 더 구비할 수 있다.In addition, the display device of the
또한, 음향에 대한 부분에 있어서, 웨어러블 디바이스(100)를 착용한 각각의 사용자(M)에 대하여, 우측 방향에서 음향이 들려오는 것과 좌측 방향에서 음향이 들려오는 것과는 서로 달리 들리므로, 사용자(M)에 대하여 좌우측으로부터 들리는 음향이 서로 다르게 설정된다. 따라서 실제 갤러리(S1) 공간 내에서의 웨어러블 디바이스(100)를 착용한 사용자(M)와 가상 물체(V)의 상대 위치에 따라, 웨어러블 디바이스(100)의 좌우측으로부터 들리는 음향은 서로 음향의 레벨(level)이 달리 설정된다.In addition, in the portion relating to sound, since the sound is heard in the right direction and the sound is heard in the left direction for each user M wearing the
그리고 가상 물체(V)인 작품을 실제 갤러리(S1) 상에서 감상 중에 사용자가 작품의 앞뒤, 옆, 상하의 모든 면을 임의로 이동하며 선택적으로 관람할 수 있다. 이 때, 가상 물체(V) 곁에서 관람하는 동안, 웨어러블 디바이스(100) 내부에 놓여져 있는 사용자(M)의 동공이 머물러있는 시간 등을 확인하여, 대상물인 가상 물체(V)에 대한 선호도를 파악할 수도 있다.The user can arbitrarily move the front, back, side, and upper and lower sides of the work arbitrarily while viewing the work of the virtual object (V) on the actual gallery (S1). At this time, while viewing the virtual object (V), it is possible to check the time period during which the pupil of the user (M) placed in the wearable device (100) remains and to grasp the preference of the virtual object have.
또 이 실시예의 가상 현실 구현 시스템은 도 4에 도시된 바와 같이, 실제 사물과 가상 물체의 시야의 깊이가 각각 다른 경우, 시야의 깊이에 따라 원근 처리하여 현실감을 향상시킬 수 있다.In the virtual reality system of this embodiment, as shown in FIG. 4, when the depth of field of a virtual object is different from that of an actual object, perspective processing is performed according to the depth of field to improve the reality.
여기서 시야의 깊이는 특정 공간 내에 위치하는 복수 개의 실제 사물(R)들과 가상 물체(V)가 놓여진 위치에 따라 3 차원적으로 처리되어 화살표 방향에 따라 사용자의 시선이 서로 다른 거리감을 느끼게 되므로, 사용자(M)에 의해 가상 물체(V)의 이미지 데이터가 어떻게 달리 얻어지느냐에 따라 결정된다. 예를 들어, 시야의 깊이에 의해 실제 실존하는 실제 사물(R)들이 표시되고, 가상 물체(V)는 실제 사물(R)의 뒤로 위치되어 가상 사물(V)의 일부가 실제 사물(R)에 의해 가려지게 되면, 해당 부분이 사용자(M)의 시야에는 보이지 않게 처리된다.Here, the depth of view is three-dimensionally processed according to a position where a plurality of actual objects R and a virtual object V located in a specific space are placed, Is determined according to how the image data of the virtual object (V) is obtained differently by the user (M). For example, actual objects R actually existing by the depth of view are displayed, and the virtual object V is positioned behind the actual object R so that a part of the virtual object V is located on the real object R The corresponding portion is processed so as not to be visible in the field of view of the user M. [
이러한 가상 현실 구현 시스템은 특정 공간이 규정된 가상 갤러리 시스템으로 구현될 수 있으며, 또한 다양한 형태들 예를 들어, 도 2에 도시된 바와 같이, 특정 공간이 규정된 실제 갤러리(S1)로도 구현된다.Such a virtual reality system may be implemented as a virtual gallery system in which a specific space is defined, and is also implemented as an actual gallery S1 in which a specific space is defined in various forms, for example, as shown in FIG.
도 5는 본 발명의 다른 실시예에 따른 사용자가 착용한 웨어러블 디바이스에 연동되어 스텝 모터를 통한 광각 IP 카메라의 렌즈 방향을 상하 좌우 방향으로 구동되는 것을 나타낸 개요도이다.FIG. 5 is a schematic view showing how the lens direction of the wide-angle IP camera is driven in the vertical and horizontal directions by interlocking with the wearable device worn by the user according to another embodiment of the present invention.
도 5를 참조하면, 이 실시예의 광각 IP 카메라(600)는 사용자가 착용한 웨어러블 디바이스(100)와 연동되어 스텝 모터를 통한 광각 IP 카메라(600)의 렌즈 방향 즉, 촬영 방향을 원격 조절된다. 즉, 웨어러블 디바이스(100)를 착용한 사용자의 시선 방향이 상하 좌우로 변경됨에 따라 광각 IP 카메라(600)의 촬영 방향이 상하 좌우로 구동된다. 이는 웨어러블 디바이스(100)가 시선 방향을 움직이게 되면, 인터넷을 통하여 서버(300)가 이를 인식하고, 웨어러블 디바이스(100)의 움직임에 따라 광각 IP 카메라(600)를 상하 좌우로 회전시켜서 촬영 방향을 변경한다. 이 때, 사용자(M)가 착용한 웨어러블 디바이스(100)와 광각 IP 카메라(600)는 인터넷을 통하여 각각 서버(300)에 연결된다.5, the wide
이러한 광각 IP 카메라(600)는 사용자(M)가 착용한 웨어러블 디바이스(100)에 연동되는 상황은 예를 들어, 경기장, 경비 초소 등 다양한 장소에 적용 가능하다.The wide
예를 들어, 경기장에 적용된 경우, 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)가 경기장 내에서 경기 상황에 따라 자신의 머리를 움직이게 되면, 머리에 착용되어 있는 웨어러블 디바이스(100)의 움직임이 감지됨에 따라, 서버(300)에 연결되어 광각 IP 카메라(600)의 스텝 모터를 구동시켜서 경기 상황에 따라 촬영 방향을 달리 하도록 할 수 있다. 즉, 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)가 자신의 머리를 상하 좌우 방향으로 움직이게 됨에 따라 스텝 모터를 통해 광각 IP 카메라(600)의 렌즈 방향도 상하 좌우 방향으로 구동된다.For example, when the user wears the
그리고 경기장에는 복수 개의 광각 IP 카메라(600)가 설치될 수 있다. 이 경우, 복수 개의 광각 IP 카메라(600)들 중에 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)로 하여금, 보다 근접되거나 박진감 넘치는 영상 신호를 출력받을 수 있도록, 특정의 광각 IP 카메라(600)를 선택하도록 할 수 있다. 그러므로 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)의 시야에는 해당 특정의 광각 IP 카메라(600)에서 전송된 보다 근접되거나 박진감 넘치는 영상 신호를 볼 수 있게 된다.And a plurality of wide
또 다른 예로서, 경비 초소에 적용된 경우, 웨어러블 디바이스(100)에 연동되어 스텝 모터를 통해 광각 IP 카메라(600)가 구동됨으로써, 전방 곳곳에 설치되어 있는 각각의 광각 IP 카메라(600)를 통하여, 실제로 외곽 근무 순찰을 다니지 않고서도, 경비 초소의 근무 병사는 경비 초소 등에 머물러 있는 상태에서도 자신이 의도하는 대로 각각의 광각 IP 카메라(600)가 촬영한 영상을 통하여 경계 근무가 가능하다.As another example, when applied to the security guard place, the wide
도 6은 본 발명의 또 다른 실시예에 따른 군사용 드론을 이용한 가상 현실 구현 시스템의 구성을 나타낸 개요도이다.FIG. 6 is a schematic diagram showing a configuration of a virtual reality system using a military drone according to another embodiment of the present invention.
도 6을 참조하면, 이 실시예의 가상 현실 구현 시스템은 군사용 드론(D1 ~ D4)을 이용하여 병사의 위치 정보를 감지하고, 이를 통해 병사들의 상황을 가상 현실로 구현한다. 군사용 드론(D1 ~ D4)에는 위치 센서와 열감지 센서를 구비하여 병사들 각각의 유무와 위치를 감지한다. 또 군사용 드론(D1 ~ D4)은 웨어러블 디바이스(100)를 착용한 아군(m1 ~ m4)의 소속, 계급, 병과 등의 개인 정보와 아군(m1 ~ m4)들 각각의 생체 정보를 수집할 수 있으며, 생체 정보를 모니터링하여 각 단위 부대의 부대장에게 아군의 상태를 제공할 수도 있다.Referring to FIG. 6, the virtual reality system of this embodiment detects the position information of the soldier by using the military drones D1 to D4, and implements the situation of the soldiers as a virtual reality. The military drones D1 to D4 are provided with a position sensor and a heat sensor to detect the presence and position of each soldier. The military drones D1 to D4 may collect personal information such as membership, rank, sickness, etc. of the allied groups m1 to m4 wearing the
예를 들어, 전쟁 시, 복수 개의 군사용 드론(D1 ~ D4)을 이용하여 적군(e1 ~ e3)의 위치와 무기(t)나 군사용 장비 등을 감지하고, 적군(e1 ~ e3)들과 맞서 싸우는 많은 아군(m1 ~ m4)의 병사들이 전쟁터 상공을 비행하는 복수 개의 군사용 드론(D1 ~ D4)들로부터 각종 전쟁 상황에 대한 정보를 수집하여 지형 정보, 적군(e1 ~ e3)의 위치 정보 등을 이용하여 전쟁 상황을 파악하고, 이를 통해 집결 장소, 타격 목표, 효과적인 방어 루트, 공격 루트 및 이동 루트 등을 결정하도록 추천할 수 있다.For example, during a war, you can use multiple military drones (D1 to D4) to detect the positions of enemies (e1 to e3), weapons (t), military equipment, and fight against enemy forces (e1 to e3) Many allied soldiers (m1 ~ m4) gather information about various war situations from multiple military drones (D1 ~ D4) flying over the battlefield and use terrain information and location information of enemy forces (e1 ~ e3) To identify the battle situation, and to recommend a place to gather, a batting target, an effective defense route, an attack route and a movement route.
즉, 군사용 드론(D1 ~ D4)들은 전쟁터 상공을 비행하며, GPS 위성으로부터 자신의 위치 정보를 전송받는 GPS 수신 장치를 이용하여 현재의 위치 정보를 전송받는다. 또 군사용 드론(D1 ~ D4)들은 상호 인접하는 다른 군사용 드론(D1 ~ D4)들과 위치 정보를 전송하거나 삼각 측량법 등을 이용하여 산출된 거리 정보를 상호 교환하여 아군(m1 ~ m4) 및 적군(e1 ~ e3)에 대한 정확한 위치를 파악할 수도 있다.That is, the military drones D1 to D4 fly over the battlefield and receive the current location information using a GPS receiving device that receives their location information from the GPS satellites. In addition, the military drones D1 to D4 exchange location information with other military drones D1 to D4 adjacent to each other or exchange distance information calculated using triangulation method, e1 to e3) can be grasped.
또한 군사용 드론(D1 ~ D4)들은 웨어러블 디바이스(100)를 착용하고 있는 아군(m1 ~ m4)에게도 적군에 대한 위치 정보, 각종 전쟁 상황에 대한 정보를 전송할 수 있도록, 다양한 센서들 예를 들어, 위치 정보 송수신 기기, 열화상 센서 및 광학센서 등을 구비한다. 이러한 군사용 드론(D1 ~ D4)을 활용하여 적군(e1 ~ e3)과 적군 탱크(t) 등의 현재 위치를 파악함은 물론, 적군(e1 ~ e3)에 대한 공격 방향, 아군(m1 ~ m4)의 향후의 이동 경로 또는 아군(m1 ~ m4)의 퇴로를 용이하게 파악하여, 신속하고도 안전한 부대 이동이 가능하도록 한다.Also, the military drones D1 to D4 may be provided with various sensors such as a position sensor (not shown) for transmitting information on the enemy army and various war situations to the aliens m1 to m4 wearing the
따라서, 각각의 아군(m1 ~ m4)들은, 자신이 착용하고 있는 웨어러블 디바이스(100)를 통하여, 수많은 적군(e1 ~ e3) 또는 적군 탱크(t)에 대하여 자신의 위치를 노출시키지 않은 상태에서, 신속하고 안전한 부대 이동이나 작전을 수행할 수 있다.Therefore, each of the allied groups m1 to m4, without exposing their positions to a large number of enemy forces (e1 to e3) or enemy tank (t) through the
다른 예로서, 군사용 드론 대신에 통신망 기지국을 활용하는 경우, 특정 공간 상의 위치 정보를 감지하기 위하여 통신망 기지국, 와이파이(WiFi) 중계기, 블루투스 비콘 등을 이용하여 위치 정보를 판단하고 각각의 장치들 간의 삼각 측량법 등을 통해 특정 위치들 간의 거리 정보를 산출할 수 있다. 이 경우, 통신망 기지국을 예로 들은 것은 특정 공간을 꼭 어떤 방이나 사무실이 아닌, 예를 들면 서울시 등이 될 수 있음은 자명한 것이다.As another example, when a communication base station is used instead of a military drones, location information is determined using a communication network base station, a WiFi repeater, a Bluetooth beacon, etc. to detect location information in a specific space, Distance information between specific positions can be calculated through a surveying method or the like. In this case, it is obvious that a certain area is not necessarily a room or an office, for example, a city of Seoul.
또 다른 예로서, 특정 공간이 건물인 경우, 레이저 스캐너, IR 스캐너, 열화상 스캐너 등을 이용하여 건물들의 위치를 3 차원적으로 스캐닝하고, 동시에 사용자가 통신 기지국, 와이파이 중계기, 블루투스 비콘 등으로 위치 정보가 특정되면, 건물들 사이를 가상 물체(V)가 유영하는 등의 컨텐츠 구현이 가능하다.As another example, when a specific space is a building, the location of buildings is scanned three-dimensionally using a laser scanner, an IR scanner, a thermal image scanner, etc., and at the same time, Once the information is specified, it is possible to implement content such that the virtual object (V) swims between buildings.
그리고 도 8은 본 발명의 실시예에 따른 구글 글라스 형태의 웨어러블 디바이스를 나타낸 도면이다.8 is a view showing a wearable device in the form of a Google Glass according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 웨어러블 디바이스(100)는 다양한 형상으로 구비될 수 있고, 투명, 반투명, 불투명 글라스 등의 형태로 구성할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 구글 글라스(Google Glass) 제품 등의 형태로 구비될 수 있다.Referring to FIG. 8, the
상술한 본 발명의 가상 현실 구현 시스템은 특히, 가상 갤러리 시스템에 적용됨에 따라, 가상의 큐레이터가 표시되고, 이를 통해 작가의 이력, 경매 정보, 작품에 대한 이력, 작품의 창작 의도 등을 나래이션 방식으로 들려주기도, 웨어러블 디바이스(100)의 디스플레이 패널에 함께 표시되는 메뉴를 선택하게 함으로써, 해당 품목을 직접 구매할 수도 있으며, 디스플레이 패널에 작품과 함께 표시되는 가상의 광고 또는 실제 상품 광고를 선택하여 해당 상품을 구매할 수도 있는 효과가 있다.In particular, the virtual reality system of the present invention is applied to a virtual gallery system, and a virtual curator is displayed. Through this, the history of the artist, the auction information, the history of the work, Also, by selecting a menu displayed together on the display panel of the
또 본 발명의 가상 현실 구현 시스템은 경비 초소에 적용됨으로써, 웨어러블 디바이스(100)와 연동되어 스텝 모터를 통한 광각 IP 카메라(600)가 작동되어 실제로 외곽 근무 순찰을 다니지 않고서도, 경비 초소의 근무 병사가 실제로 경비 초소 등에 머물러 있는 상태에서 자신이 의도하는 대로 각각의 광각 IP 카메라(600)가 촬영한 영상을 통하여 경계 근무가 가능한 특징적인 효과가 있다.In addition, the virtual reality system of the present invention is applied to the security guard, so that the wide-
또한 본 발명의 가상 현실 구현 시스템은 군사용 드론에 적용됨에 따라, 적군과 적군 탱크의 현재 위치를 파악함은 물론, 적군에 대한 공격 방향, 아군의 향후의 이동 루트, 퇴각 루트 및 공격 루트 등을 용이하게 파악하여, 신속하고도 안전한 부대 이동 및 작전 수행이 가능한 효과가 있다.In addition, since the virtual reality system of the present invention is applied to a military drones, it is possible to grasp the current position of enemy forces and enemy tanks, and to facilitate the attack direction to enemy forces, Therefore, there is an effect that the unit movement and the operation can be performed quickly and safely.
이상에서, 본 발명에 따른 가상 현실 구현 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, This is possible.
100 : 웨어러블 디바이스 200 : 사용자 컴퓨터
300 : 서버 400 : 렌더링 컴퓨터
500 : 3D 광학 스캔 기기 600 : 광각 IP 카메라
I1 ~ I15 : 광학 모션센서 D1 ~ D4 : 군사용 드론
e1 ~ e3 : 적군 Hi : 중첩 영역
L1 ~ L8 : 위치 정보 송수신 센서 M : 사용자
m1 ~ m4 : 아군 P : 압력 센서
R : 실제 사물 S1 : 실제 갤러리
S2 : 개인 직접 관람 공간 t : 적군 탱크
V : 가상 물체100: wearable device 200: user computer
300: server 400: rendering computer
500: 3D optical scanning device 600: Wide angle IP camera
I1 to I15: Optical motion sensors D1 to D4: Military drones
e1 ~ e3: enemy Hi: overlap area
L1 to L8: Position information transmission / reception sensor M: User
m1 ~ m4: Friendly P: Pressure sensor
R: Actual objects S1: Actual gallery
S2: Private viewing space t: Enemy tank
V: virtual object
Claims (9)
복수 개의 위치 정보 송수신 센서를 통해 규정되는 특정 공간에 존재하는 실제 사물과 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용 가능한 웨어러블 디바이스와;
상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하고, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 사용자 컴퓨터 및;
상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 저장하고, 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 서버를 포함하는 것을 특징으로 하는 가상 현실 구현 시스템.A virtual reality system comprising:
A wearable device wearable by a user having a display panel on which a virtual object to be displayed in a specific space defined by a plurality of position information transmission / reception sensors and a virtual object to be realized in the specific space is displayed;
Acquiring positional information of the real object and positional information of the wearable device from the positional information transmission / reception sensor, a user in the specific space, and a plurality of optical motion sensors sensing movement of the real object, A user computer for transmitting image data of the virtual object and image data of the virtual object;
Storing the image data of the actual object and the image data of the virtual object, judging the positional information of the actual object in the specific space and the positional information of the wearable device, and when the actual object and the virtual object are partially overlapped, The display panel of the device processes the actual object and the overlapped part of the virtual object located nearer to the wearable device according to the visual depth between the image data of the real object and the image data of the virtual object on the display panel of the device And a server for transmitting the image data of the real object and the image data of the virtual object to the user computer.
상기 가상 현실 구현 시스템은;
상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하는 적어도 하나의 3 차원 광학 스캔 기기와;
상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하는 렌터링 컴퓨터를 더 포함하는 것을 특징으로 하는 가상 현실 구현 시스템.The method according to claim 1,
The virtual reality realization system comprising:
At least one three-dimensional optical scanning device for scanning the actual object to generate three-dimensional image data and outputting three-dimensional image data;
Further comprising a rendering computer for receiving the three-dimensional image data from the three-dimensional optical scanning device and performing a rendering operation processing to transmit image data of the real object to the server.
상기 가상 현실 구현 시스템은;
상기 서버의 제어를 받아서 상기 웨어러블 디바이스의 움직임에 대응하여 촬영 방향이 변경되도록 구동하는 광각 IP 카메라를 더 포함하되;
상기 웨어러블 디바이스는 상기 광각 IP 카메라로부터 촬영된 영상을 상기 디스플레이 패널에 표시하는 것을 특징으로 하는 가상 현실 구현 시스템.The method according to claim 1,
The virtual reality realization system comprising:
Further comprising: a wide angle IP camera that is driven under control of the server to change a photographing direction corresponding to the movement of the wearable device;
Wherein the wearable device displays an image photographed by the wide angle IP camera on the display panel.
상기 가상 현실 구현 시스템은;
상기 특정 공간의 바닥면에 구비되어 상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 더 감지하는 복수 개의 압력 센서를 더 구비하는 것을 특징으로 하는 가상 현실 구현 시스템.The method according to claim 1,
The virtual reality realization system comprising:
Further comprising a plurality of pressure sensors provided on a bottom surface of the specific space for further sensing the actual object and the location information of the wearable device.
상기 웨어러블 디바이스는;
상기 실제 사물과 상기 가상 물체에 대한 부가 정보를 더 표시하고, 상기 부가 정보가 선택되면, 상기 부가 정보에 대응하는 부가 서비스에 연결되도록 처리하는 것을 특징으로 하는 가상 현실 구현 시스템.The method according to claim 1,
Wherein the wearable device comprises:
Further displaying additional information about the real object and the virtual object, and, when the additional information is selected, processing to connect to the additional service corresponding to the additional information.
상기 서버는;
상기 웨어러블 디바이스의 상기 디스플레이 패널에 사용자의 시선에 따른 3 차원적 각도에 대응하여 상기 실제 사물과 상기 가상 물체를 더 표시되도록 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 상기 사용자 컴퓨터로 더 제공하는 것을 특징으로 하는 가상 현실 구현 시스템.6. The method according to any one of claims 1 to 5,
The server comprising:
The image data of the real object and the image data of the virtual object are displayed on the display panel of the wearable device to the user computer so that the virtual object and the virtual object are further displayed corresponding to the three- The virtual reality system comprising:
상기 위치 정보 송수신 센서는;
상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 인식하는 GPS 장치, 통신망 기지국, 무선 통신 중계기 및 드론 중 어느 하나로 구비되는 것을 특징으로 하는 가상 현실 구현 시스템.The method according to claim 6,
The position information transmission / reception sensor comprises:
A GPS device, a communication network base station, a wireless communication repeater, and a drone, for recognizing the actual object and the location information of the wearable device.
복수 개의 위치 정보 송수신 센서를 이용하여 특정 공간을 규정짓고;
상기 위치 정보 송수신 센서를 통해 상기 특정 공간에 존재하는 실제 사물의 위치 정보와, 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용한 웨어러블 디바이스의 위치 정보를 감지하고;
상기 특정 공간 내에 구비된 사용자 컴퓨터를 통해 상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하여, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하고; 그리고
서버가 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 것을 특징으로 하는 가상 현실 구현 시스템의 가상 현실 구현 방법.A virtual reality realization method of a virtual reality realization system comprising:
Defining a specific space using a plurality of position information transmission / reception sensors;
Receiving position information of a wearable device worn by a user equipped with a display panel on which a virtual object that is virtually realized in the specific space is displayed through the positional information transmission / reception sensor, and;
Receiving position information of the real object and position information of the wearable device from a plurality of optical motion sensors for sensing movement of the real object by the user in the specific space and the position information transmission / reception sensor through the user computer provided in the specific space And transmits image data of the real object and image data of the virtual object to the wearable device; And
The server judges the location information of the actual object in the specific space and the location information of the wearable device so that when the virtual object and the virtual object are partially overlapped, the display panel of the wearable device displays the image data of the real object and the virtual And an image processing unit configured to process the virtual object and the wearable device so that an overlapped portion of the real object and the virtual object located nearer to the wearable device is displayed according to the visual depth between the image data of the object, And transmitting the image data of the virtual reality system.
상기 방법은;
적어도 하나의 3 차원 광학 스캔 기기를 통해 상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하고;
렌터링 컴퓨터가 상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하고; 그리고
상기 서버는 상기 실제 사물의 이미지 데이터를 저장하는 것을 더 포함하는 것을 특징으로 하는 가상 현실 구현 시스템의 가상 현실 구현 방법.9. The method of claim 8,
The method comprising:
Scanning the actual object through at least one three-dimensional optical scanning device to generate three-dimensional image data, and outputting three-dimensional image data;
A rendering computer receives the three-dimensional image data from the three-dimensional optical scanning device, performs rendering calculation processing, and transmits image data of the real object to the server; And
Wherein the server further comprises storing image data of the real object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2017/007944 WO2018016928A1 (en) | 2016-07-22 | 2017-07-24 | Virtual reality implementation system and virtual reality implementation method thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160093043 | 2016-07-22 | ||
| KR20160093043 | 2016-07-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101696243B1 true KR101696243B1 (en) | 2017-01-13 |
Family
ID=57835444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160138326A Active KR101696243B1 (en) | 2016-07-22 | 2016-10-24 | Virtual reality system and method for realizing virtual reality therof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101696243B1 (en) |
| WO (1) | WO2018016928A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113885208A (en) * | 2017-02-27 | 2022-01-04 | 精工爱普生株式会社 | Display device, display system, and control method for display device |
| WO2025116544A1 (en) * | 2023-11-28 | 2025-06-05 | 삼성전자주식회사 | Electronic device, method, and computer-readable medium for rendering images |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087237B (en) * | 2018-06-29 | 2023-02-03 | 海口经济学院 | Virtual helmet |
| CN111766959B (en) * | 2019-04-02 | 2023-05-05 | 海信视像科技股份有限公司 | Virtual reality interaction method and virtual reality interaction device |
| CN112099638B (en) * | 2020-10-19 | 2024-02-06 | 瑞立视多媒体科技(北京)有限公司 | Information processing method and device in virtual reality scene and computer equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101106857B1 (en) | 2011-09-23 | 2012-01-20 | 여미옥 | Gallery system of virtual space using 3D |
| KR101454445B1 (en) | 2013-10-16 | 2014-10-27 | 백명섭 | System for exhibiting and dealing be made three dimensions galley |
| KR20150126938A (en) | 2013-03-11 | 2015-11-13 | 매직 립, 인코포레이티드 | System and method for augmented and virtual reality |
| KR101638550B1 (en) | 2014-06-25 | 2016-07-12 | 경북대학교 산학협력단 | Virtual Reality System using of Mixed reality, and thereof implementation method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101360999B1 (en) * | 2013-08-09 | 2014-02-10 | 코리아디지탈 주식회사 | Real time data providing method and system based on augmented reality and portable terminal using the same |
-
2016
- 2016-10-24 KR KR1020160138326A patent/KR101696243B1/en active Active
-
2017
- 2017-07-24 WO PCT/KR2017/007944 patent/WO2018016928A1/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101106857B1 (en) | 2011-09-23 | 2012-01-20 | 여미옥 | Gallery system of virtual space using 3D |
| KR20150126938A (en) | 2013-03-11 | 2015-11-13 | 매직 립, 인코포레이티드 | System and method for augmented and virtual reality |
| KR101454445B1 (en) | 2013-10-16 | 2014-10-27 | 백명섭 | System for exhibiting and dealing be made three dimensions galley |
| KR101638550B1 (en) | 2014-06-25 | 2016-07-12 | 경북대학교 산학협력단 | Virtual Reality System using of Mixed reality, and thereof implementation method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113885208A (en) * | 2017-02-27 | 2022-01-04 | 精工爱普生株式会社 | Display device, display system, and control method for display device |
| CN113885208B (en) * | 2017-02-27 | 2024-02-13 | 精工爱普生株式会社 | Display device, display system and display device control method |
| WO2025116544A1 (en) * | 2023-11-28 | 2025-06-05 | 삼성전자주식회사 | Electronic device, method, and computer-readable medium for rendering images |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018016928A1 (en) | 2018-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12254126B2 (en) | Electronic device displays an image of an obstructed target | |
| CN107782314B (en) | Code scanning-based augmented reality technology indoor positioning navigation method | |
| KR101696243B1 (en) | Virtual reality system and method for realizing virtual reality therof | |
| US10602115B2 (en) | Method and apparatus for generating projection image, method for mapping between image pixel and depth value | |
| JP6615732B2 (en) | Information processing apparatus and image generation method | |
| US20150097719A1 (en) | System and method for active reference positioning in an augmented reality environment | |
| US12368836B2 (en) | Image display system and image display method | |
| KR102381370B1 (en) | VR device and image processing method for providing virtual reality | |
| CN112788443A (en) | Interaction method and system based on optical communication device | |
| KR102835117B1 (en) | Method and apparatus for processing a smart object information based Infrared | |
| TWI747333B (en) | Interaction method based on optical communictation device, electric apparatus, and computer readable storage medium | |
| KR20210150881A (en) | Electronic apparatus and operaintg method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PA0302 | Request for accelerated examination |
St.27 status event code: A-1-2-D10-D17-exm-PA0302 St.27 status event code: A-1-2-D10-D16-exm-PA0302 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| FPAY | Annual fee payment |
Payment date: 20200109 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| U11 | Full renewal or maintenance fee paid |
Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE) Year of fee payment: 9 |