KR102852866B1 - Voice enhancement method and system in extended reality space for multi-party voice conversation - Google Patents

Voice enhancement method and system in extended reality space for multi-party voice conversation

Info

Publication number
KR102852866B1
KR102852866B1 KR1020230150037A KR20230150037A KR102852866B1 KR 102852866 B1 KR102852866 B1 KR 102852866B1 KR 1020230150037 A KR1020230150037 A KR 1020230150037A KR 20230150037 A KR20230150037 A KR 20230150037A KR 102852866 B1 KR102852866 B1 KR 102852866B1
Authority
KR
South Korea
Prior art keywords
user
voice
voice signal
reality space
extended reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230150037A
Other languages
Korean (ko)
Other versions
KR20250064384A (en
Inventor
김태홍
도준형
김중일
서정우
장경미
정영재
최정우
이동헌
Original Assignee
한국 한의학 연구원
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원, 한국과학기술원 filed Critical 한국 한의학 연구원
Priority to KR1020230150037A priority Critical patent/KR102852866B1/en
Publication of KR20250064384A publication Critical patent/KR20250064384A/en
Application granted granted Critical
Publication of KR102852866B1 publication Critical patent/KR102852866B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 확장 현실 공간에서 제1 사용자의 위치 정보 및 시선 정보를 특정하고, 음성 신호를 수신하며, 위치 정보에 근거하여, 음성 신호를 전달하기 위한 전달 범위를 산출하고, 시선 정보에 근거하여, 전달 범위 내에서 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 음성 신호의 강화와 관련된 강화 제어명령을 생성하며, 제2 사용자에게, 음성 신호와 함께, 강화 제어명령을 전달하는, 음성 강화 방법을 제공한다.The present invention provides a voice reinforcement method, which specifies position information and gaze information of a first user in an extended reality space, receives a voice signal, calculates a transmission range for transmitting the voice signal based on the position information, detects a second user who is a target of transmitting the voice signal by reinforcing the voice signal within the transmission range based on the gaze information, generates a reinforcement control command related to reinforcement of the voice signal, and transmits the reinforcement control command to the second user together with the voice signal.

Description

다자간 음성 대화를 위한 확장 현실 공간에서의 음성 강화 방법 및 시스템{VOICE ENHANCEMENT METHOD AND SYSTEM IN EXTENDED REALITY SPACE FOR MULTI-PARTY VOICE CONVERSATION}Voice enhancement method and system in extended reality space for multi-party voice conversation

본 발명은 다자간 음성 대화를 위한 확장 현실 공간에서의 음성 강화 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for voice enhancement in an extended reality space for multi-party voice conversation.

최근, 가상 현실(VR, Virtual Reality), 증강 현실(AR, Augmented Reality) 및 혼합 현실(MR, Mixed Reality)을 포괄하는 확장 현실에 대한 관심이 증대되고 있으며, 이에 따라, 다양한 목적을 갖는 확장 현실 공간을 제공하는 콘텐츠들이 개발되고 있다.Recently, interest in extended reality, which encompasses virtual reality (VR), augmented reality (AR), and mixed reality (MR), has been increasing, and accordingly, contents that provide extended reality spaces with various purposes are being developed.

특히, 확장 현실 공간에 접속한 사용자들 간의 음성 통신을 제공하는 콘텐츠들의 개발이 활발한 실정이다. 예를 들어, 다양한 콘텐츠들의 일례는, 사용자가 확장 현실 공간에 접속한 다른 사용자들과 회의를 진행하거나, 다양한 가상 객체들에 대한 교육을 제공할 수 있도록 구현되기도 한다.In particular, development of content that enables voice communication between users connected to an AR space is actively underway. For example, various examples of content are being implemented to allow users to conduct meetings with other users connected to an AR space or provide training on various virtual objects.

이에 따라, 확장 현실 공간에서 특정한 사용자의 음성을, 다른 사용자의 음성과 구분하여 듣기 위한 방안이 요구되는 실정이다.Accordingly, there is a need for a method to distinguish the voice of a specific user from the voices of other users in an extended reality space.

본 발명은 확장 현실 공간에서 수신되는 음성 신호로부터 특정 음성을 강화하여 제공하는 확장 현실 공간에서의 음성 강화 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for enhancing voice in an extended reality space, which enhances and provides a specific voice from a voice signal received in an extended reality space.

또한, 본 발명은 확장 현실 공간에서 사용자의 위치를 기준으로 특정 범위 내의 다른 사용자에게 음성을 제공하는 확장 현실 공간에서의 음성 강화 방법 및 시스템에 관한 것이다.Additionally, the present invention relates to a method and system for voice enhancement in an extended reality space for providing voice to other users within a specific range based on the user's location in the extended reality space.

또한, 본 발명은 확장 현실 공간에서 사용자의 시선 방향에 위치한 다른 사용자에게 강화된 음성을 송신하고, 시선 방향에 위치한 다른 사용자로부터 강화된 음성을 수신하는 확장 현실 공간에서의 음성 강화 방법 및 시스템에 관한 것이다.In addition, the present invention relates to a method and system for voice enhancement in an extended reality space, which transmits an enhanced voice to another user located in the direction of the user's gaze in the extended reality space, and receives an enhanced voice from another user located in the direction of the user's gaze.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 확장 현실 공간에서의 음성 강화 방법은, 확장 현실 공간에서 제1 사용자의 위치 정보 및 시선 정보를 특정하는 단계; 상기 제1 사용자의 음성 신호를 수신하고, 상기 제1 사용자의 상기 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하는 단계; 상기 시선 정보에 근거하여, 상기 전달 범위 내에서 상기 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하는 단계; 및 상기 확장 현실 공간에서 상기 제2 사용자에게, 상기 음성 신호와 함께, 상기 강화 제어명령을 전달하는 단계를 포함할 수 있다.In order to solve the problem discussed above, a method for enhancing voice in an extended reality space according to the present invention may include the steps of: specifying position information and gaze information of a first user in an extended reality space; receiving a voice signal of the first user, and calculating a transmission range for transmitting the voice signal based on the position information of the first user; detecting a second user, who is a target of transmitting the enhanced voice signal within the transmission range based on the gaze information, and generating a reinforcement control command related to the reinforcement of the voice signal; and transmitting the reinforcement control command, together with the voice signal, to the second user in the extended reality space.

또한, 본 발명에 따른 확장 현실 공간에서의 음성 강화 시스템은, 제1 사용자의 음성 신호를 수신하는 입력부; 및 확장 현실 공간에서 상기 제1 사용자의 위치 정보를 특정하고, 상기 제1 사용자의 상기 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하며, 상기 전달 범위 내에 존재하는 다른 사용자에게, 상기 음성 신호를 전달하는 제어부를 포함하고, 상기 제어부는, 상기 확장 현실 공간에서 상기 제1 사용자의 시선 정보를 특정하고, 상기 시선 정보에 근거하여, 상기 전달 범위 내에서 상기 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하며, 상기 확장 현실 공간에서 상기 제2 사용자에게, 상기 음성 신호와 함께, 상기 강화 제어명령을 전달할 수 있다.In addition, a voice reinforcement system in an extended reality space according to the present invention includes an input unit that receives a voice signal of a first user; and a control unit that specifies location information of the first user in the extended reality space, calculates a transmission range for transmitting the voice signal based on the location information of the first user, and transmits the voice signal to another user existing within the transmission range, wherein the control unit specifies gaze information of the first user in the extended reality space, detects a second user who is a target of transmitting the voice signal by strengthening it based on the gaze information within the transmission range, generates a reinforcement control command related to the reinforcement of the voice signal, and transmits the reinforcement control command together with the voice signal to the second user in the extended reality space.

또한, 본 발명에 따른 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램은, 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서, 상기 프로그램은, 확장 현실 공간에서 제1 사용자의 위치 정보 및 시선 정보를 특정하는 단계; 상기 제1 사용자의 음성 신호를 수신하고, 상기 제1 사용자의 상기 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하는 단계; 상기 시선 정보에 근거하여, 상기 전달 범위 내에서 상기 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하는 단계; 및 상기 확장 현실 공간에서 상기 제2 사용자에게, 상기 음성 신호와 함께, 상기 강화 제어명령을 전달하는 단계를 수행하도록 하는 명령어들을 포함할 수 있다.In addition, a program stored in a computer-readable recording medium according to the present invention is a program stored in a computer-readable recording medium, which is executed by one or more processes in an electronic device, and which includes commands to perform the steps of: specifying position information and gaze information of a first user in an extended reality space; receiving a voice signal of the first user, and calculating a transmission range for transmitting the voice signal based on the position information of the first user; detecting a second user, who is a target of transmitting and reinforcing the voice signal within the transmission range based on the gaze information, and generating a reinforcement control command related to reinforcing the voice signal; and transmitting the reinforcement control command, together with the voice signal, to the second user in the extended reality space.

본 발명의 다양한 실시예에 따르면, 확장 현실 공간에서의 음성 강화 방법 및 시스템은 확장 현실 공간에서 수신되는 음성 신호로부터 특정 음성을 강화한 음성 신호를 생성하고, 특정 음성이 강화된 음성 신호를 출력함으로써, 사용자가 확장 현실 공간에서 특정한 음성에 효과적으로 집중할 수 있도록 구현될 수 있다.According to various embodiments of the present invention, a method and system for voice enhancement in an extended reality space can be implemented to generate a voice signal in which a specific voice is enhanced from a voice signal received in an extended reality space, and output a voice signal in which the specific voice is enhanced, thereby enabling a user to effectively focus on a specific voice in an extended reality space.

또한, 본 발명의 다양한 실시예에 따르면, 확장 현실 공간에서의 음성 강화 방법 및 시스템은 확장 현실 공간에서 사용자의 위치를 기준으로 미리 정해진 범위 내에 위치한 다른 사용자들에게 음성 신호를 전달함으로써, 확장 현실 공간 내에서 다른 사용자들과 원활한 음성 통신이 가능할 수 있다.In addition, according to various embodiments of the present invention, a method and system for voice reinforcement in an extended reality space can enable smooth voice communication with other users in an extended reality space by transmitting a voice signal to other users located within a predetermined range based on the user's location in the extended reality space.

또한, 본 발명의 다양한 실시예에 따르면, 확장 현실 공간에서의 음성 강화 방법 및 시스템은 확장 현실 공간에서의 사용자의 시선 방향에 위치한 다른 사용자에게, 강조된 음성 신호를 전달함으로써, 복수의 사용자들 간의 대화가 동시다발적으로 이루어지는 상황에서 특정 사용자에게 자신의 음성을 명확히 전달할 수 있다.In addition, according to various embodiments of the present invention, a method and system for voice reinforcement in an extended reality space can clearly convey one's voice to a specific user in a situation where a conversation is taking place simultaneously among multiple users by conveying an emphasized voice signal to another user located in the direction of the user's gaze in the extended reality space.

또한, 본 발명의 다양한 실시예에 따르면, 확장 현실 공간에서의 음성 강화 방법 및 시스템은 확장 현실 공간에서의 사용자의 시선 방향에 위치한 다른 사용자로부터 수신되는 음성 신호를 강조함으로써, 복수의 사용자들 간의 대화가 동시다발적으로 이루어지는 상황에서 특정 사용자가 발화하는 음성을 명확히 들을 수 있다.In addition, according to various embodiments of the present invention, a method and system for enhancing voice in an extended reality space can clearly hear a voice spoken by a specific user in a situation where a conversation is taking place simultaneously among multiple users by emphasizing a voice signal received from another user located in the direction of the user's gaze in the extended reality space.

도 1 및 도 2는 본 발명에 따른 음성 강화 시스템을 도시한다.
도 3은 본 발명에 따른 음성 강화 방법의 순서도이다.
도 4는 확장 현실 공간에서 사용자의 전달 범위를 설정하는 일 실시예를 도시한다.
도 5 내지 도 7은 확장 현실 공간에서 사용자의 강화 영역을 설정하는 일 실시예를 도시한다.
도 8은 확장 현실 공간에서 다른 사용자의 음성을 변조하는 일 실시예를 도시한다.
도 9는 확장 현실 공간에 접속한 사용자들의 그룹을 표시하는 일 실시예를 도시한다.Figures 1 and 2 illustrate a voice enhancement system according to the present invention.
Figure 3 is a flowchart of a voice reinforcement method according to the present invention.
Figure 4 illustrates an embodiment of setting a user's transmission range in an extended reality space.
Figures 5 to 7 illustrate an embodiment of setting a user's enhancement area in an extended reality space.
Figure 8 illustrates an embodiment of modulating the voice of another user in an extended reality space.
FIG. 9 illustrates an embodiment of displaying a group of users connected to an extended reality space.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments disclosed in this specification will be described in detail with reference to the attached drawings. Regardless of the drawing numbers, identical or similar components will be given the same reference numbers, and redundant descriptions thereof will be omitted. The suffixes "module" and "part" used for components in the following description are assigned or used interchangeably only for the convenience of writing the specification, and do not in themselves have distinct meanings or roles. In addition, when describing the embodiments disclosed in this specification, if it is determined that a specific description of a related known technology may obscure the gist of the embodiments disclosed in this specification, a detailed description thereof will be omitted. In addition, the attached drawings are only intended to facilitate easy understanding of the embodiments disclosed in this specification, and the technical ideas disclosed in this specification are not limited by the attached drawings, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and technical scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms that include ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by these terms. These terms are used solely to distinguish one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it should be understood that it may be directly connected or connected to that other component, but that there may be other components intervening. Conversely, when a component is referred to as being "directly connected" or "connected" to another component, it should be understood that there are no other components intervening.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “include” or “have” are intended to specify the presence of a feature, number, step, operation, component, part or combination thereof described in the specification, but should be understood not to exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.

도 1 및 도 2는 본 발명에 따른 확장 현실 공간에서의 음성 강화 시스템을 도시한다.Figures 1 and 2 illustrate a voice enhancement system in an extended reality space according to the present invention.

도 1을 참조하면, 본 발명에 따른 확장 현실 공간에서의 음성 강화 시스템(100)(이하, 음성 강화 시스템)은 확장 현실 공간에서 하나 이상의 다른 사용자 단말로부터 수신되는 음성 신호를 분석하고, 분석 결과에 근거하여 특정한 다른 사용자 단말로부터 수신된 음성 신호를 강화하며, 강화된 음성 신호를 사용자 단말을 통해 출력할 수 있다.Referring to FIG. 1, a voice enhancement system (100) (hereinafter, “voice enhancement system”) in an extended reality space according to the present invention can analyze a voice signal received from one or more other user terminals in an extended reality space, enhance a voice signal received from a specific other user terminal based on the analysis result, and output the enhanced voice signal through the user terminal.

여기에서, 확장 현실 공간은 가상 현실(VR, Virtual Reality), 증강 현실(AR, Augmented Reality) 및 혼합 현실(MR, Mixed Reality) 공간을 포괄하는 개념으로서, 현실 공간에 기반하여 구현된 가상 공간을 의미할 수 있다.Here, the extended reality space is a concept that encompasses virtual reality (VR), augmented reality (AR), and mixed reality (MR) spaces, and can mean a virtual space implemented based on real space.

따라서, 확장 현실 공간에서는 서로 다른 사용자 단말 간에 음성 대화가 가능할 수 있고, 또한, 확장 현실 공간에 미리 구현된 가상 객체에 대한 상호작용에 기반하여 미리 정해진 음성이 출력될 수도 있다.Accordingly, voice conversations may be possible between different user terminals in the extended reality space, and also, predetermined voices may be output based on interactions with virtual objects implemented in advance in the extended reality space.

이를 위해, 사용자 단말은 가상 현실, 증강 현실, 혼합 현실 또는 확장 현실을 제공하는 장치일 수 있다. 예를 들어, 사용자 단말은 머리에 착용하는 디스플레이(HMD, Head Mounted Display)일 수 있으나, 이는 단지 예시일 뿐이며, 다른 형태의 장치도 가능할 수 있다.For this purpose, the user terminal may be a device that provides virtual reality, augmented reality, mixed reality, or extended reality. For example, the user terminal may be a head-mounted display (HMD), but this is merely an example, and other types of devices may also be possible.

즉, 사용자 단말은 태블릿, 개인 컴퓨터, 스마트폰 및 웨어러블 장비 등으로 참조될 수도 있으며, 미리 구현된 프로세스에 기반하여 확장 현실 공간을 렌더링할 수 있다. 이때, 사용자 단말은 디스플레이를 통해 확장 현실 공간을 사용자에게 제공하거나, 또는, 가상 현실 공간, 증강 현실 공간, 혼합 현실 공간 또는 확장 현실 공간을 출력하도록 마련된 장치와 연결되어, 사용자 단말을 통해 렌더링되는 확장 현실 공간을 제공할 수 있다.That is, the user terminal may be referred to as a tablet, personal computer, smartphone, or wearable device, and may render an extended reality space based on a pre-implemented process. At this time, the user terminal may provide the extended reality space to the user through a display, or may be connected to a device designed to output a virtual reality space, an augmented reality space, a mixed reality space, or an extended reality space, and may provide the extended reality space rendered through the user terminal.

또한, 사용자 단말은 마이크 등의 음성 입력 장치가 무선 또는 유선 네트워크를 통해 연결되어, 음성 입력 장치를 통한 사용자 입력에 따른 음성 신호를 생성하고, 확장 현실 공간에서 서로 다른 사용자 단말 간의 통신을 제공하도록 마련된 서버에 상기 음성 신호를 송신할 수 있다.In addition, the user terminal may be connected to a voice input device such as a microphone via a wireless or wired network, generate a voice signal according to user input through the voice input device, and transmit the voice signal to a server provided to provide communication between different user terminals in an extended reality space.

따라서, 사용자 단말은 상기 서버로부터 하나 이상의 다른 사용자 단말에서 생성된 음성 신호를 수신할 수 있다. 이와 같이, 사용자 단말은 음성 입력 장치를 통해 생성된 음성 신호를, 하나 이상의 다른 사용자 단말에 직접 또는, 간접적으로 제공하거나, 제공받을 수 있다.Accordingly, the user terminal can receive voice signals generated by one or more other user terminals from the server. In this way, the user terminal can directly or indirectly provide or receive voice signals generated by the voice input device to one or more other user terminals.

이와 관련하여, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자(10)의 위치 정보를 특정하여 위치 정보로부터 미리 정해진 전달 범위(13)에 존재하는 다른 사용자(11, 12)에게 음성 신호를 전달할 수 있다.In this regard, the voice reinforcement system (100) according to the present invention can specify the location information of a user (10) in an extended reality space and transmit a voice signal to another user (11, 12) existing within a predetermined transmission range (13) based on the location information.

여기에서, 사용자(10)는 확장 현실 공간에 접속하기 위하여 사용자 단말을 이용할 수 있다. 따라서, 본 명세서에서 사용자(10)로부터 입력된 음성은, 사용자 단말에 탑재(또는, 연결)된 음성 입력 장치를 통해 생성된 음성 신호를 의미하는 것으로 이해할 수 있다. 또한, 본 명세서에서 다른 사용자(11, 12)로부터 수신된 음성은, 확장 현실 공간에 접속한 다른 사용자 단말에서 생성된 음성 신호가 미리 정해진 서버에 전달되어, 상기 서버로부터 수신되는 음성 신호를 의미하는 것으로 이해할 수 있다.Here, the user (10) can use the user terminal to access the extended reality space. Therefore, in this specification, the voice input from the user (10) can be understood to mean a voice signal generated through a voice input device mounted (or connected) to the user terminal. In addition, in this specification, the voice received from another user (11, 12) can be understood to mean a voice signal generated by another user terminal accessing the extended reality space, transmitted to a predetermined server, and received from the server.

또한, 위치 정보는 사용자 단말을 통해 접속된 확장 현실 공간에 구현된 아바타(Avatar)의 위치를 의미할 수 있으며, 이러한 위치 정보는 확장 현실 공간에서의 좌표가 참조될 수 있다.Additionally, location information may refer to the location of an avatar implemented in an extended reality space accessed through a user terminal, and such location information may refer to coordinates in the extended reality space.

따라서, 전달 범위(13)는 확장 현실 공간에서 아바타의 위치 정보에 근거하여, 특정 사용자 단말에 입력된 음성 신호가 다른 사용자 단말에 제공되는 영역일 수 있으며, 실시예에 따라, 전달 범위(13)는 아바타의 위치 정보를 중심점으로 갖고, 미리 정해진 거리 간격을 반지름으로 갖는 원형 영역일 수 있다.Accordingly, the transmission range (13) may be an area in which a voice signal input to a specific user terminal is provided to another user terminal based on the location information of the avatar in the extended reality space, and according to an embodiment, the transmission range (13) may be a circular area having the location information of the avatar as a center point and a predetermined distance interval as a radius.

즉, 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자(10)의 위치를 중심으로 미리 정해진 전달 범위(13) 내에 하나 이상의 다른 사용자(11, 12)가 존재하는 경우, 상기 하나 이상의 다른 사용자(11, 12)에게 음성 신호를 전달할 수 있다.That is, the voice reinforcement system (100) can transmit a voice signal to one or more other users (11, 12) when the other users (11, 12) exist within a predetermined transmission range (13) centered on the location of the user (10) in the extended reality space.

또한, 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자(10)의 위치가 다른 사용자(11, 12)의 전달 범위 이내인 경우에, 상기 다른 사용자(11, 12)로부터 음성 신호를 전달받을 수 있다. 이때, 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자(10)의 위치가 복수의 사용자의 전달 범위(13)에 각각 속하는 경우, 상기 복수의 사용자들 각각으로부터 복수의 음성 신호를 수신할 수도 있다.In addition, the voice reinforcement system (100) can receive voice signals from other users (11, 12) when the location of the user (10) in the extended reality space is within the transmission range of the other users (11, 12). At this time, the voice reinforcement system (100) can also receive multiple voice signals from each of the multiple users when the location of the user (10) in the extended reality space is within the transmission range (13) of each of the multiple users.

나아가, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자(10)의 시선 정보를 특정하여, 시선 정보에 대응되는 강화 영역(14)에 위치한 다른 사용자(11)에게 강조된 음성 신호를 전달할 수 있다.Furthermore, the voice reinforcement system (100) according to the present invention can specify the gaze information of a user (10) in an extended reality space and transmit an emphasized voice signal to another user (11) located in a reinforcement area (14) corresponding to the gaze information.

여기에서, 시선 정보는 확장 현실 공간에 접속하기 위하여 착용한 사용자 단말의 방향과 관련된 정보를 포함할 수 있으며, 또는, 확장 현실 공간에 접속한 사용자에 대응되는 아바타의 정면 방향(또는, 바라보는 방향)과 관련된 정보를 포함할 수 있다.Here, the gaze information may include information related to the direction of the user terminal worn to access the extended reality space, or may include information related to the frontal direction (or the direction in which the avatar is looking) of the user corresponding to the user accessing the extended reality space.

따라서, 강화 영역(14)은 시선 정보에 근거하여, 사용자(10)의 음성 신호를 강조하도록 확장 현실 공간에서 미리 정해진 영역을 나타낼 수 있다.Accordingly, the reinforcement area (14) can represent a predetermined area in the extended reality space to emphasize the voice signal of the user (10) based on the gaze information.

따라서, 음성 강화 시스템(100)은 사용자(10)의 시선 정보에 대응되는 강화 영역(14)에 위치한 다른 사용자(11)에게, 음성 신호와 함께, 음성 신호의 강화와 관련된 제어명령을 전달함으로써, 다른 사용자(11)가 사용자(10)로부터 수신한 음성 신호를 강조하도록 구현될 수 있다.Accordingly, the voice reinforcement system (100) can be implemented to transmit a control command related to reinforcement of a voice signal, together with a voice signal, to another user (11) located in a reinforcement area (14) corresponding to the gaze information of the user (10), thereby allowing another user (11) to emphasize a voice signal received from the user (10).

예를 들어, 음성 강화 시스템(100)은 특정 사용자가 다른 사용자로부터 음성 신호와 함께, 음성 신호의 강화와 관련된 제어명령을 수신하고, 수신한 제어명령에 따라, 다른 사용자로부터 수신한 음성 신호에 대하여 주파수 변조 및 크기 조절 중 적어도 하나를 수행하여 상기 다른 사용자의 음성이 강조된 음성 신호를 생성할 수 있다.For example, a voice enhancement system (100) may receive a control command related to enhancement of a voice signal from another user along with a voice signal from a specific user, and, according to the received control command, perform at least one of frequency modulation and size adjustment on the voice signal received from the other user to generate a voice signal in which the voice of the other user is emphasized.

상기와 같은 구성들을 통해, 음성 강화 시스템(100)은 확장 현실 공간에서 수신되는 음성 신호로부터 특정 음성을 강화한 음성 신호를 생성하고, 특정 음성이 강화된 음성 신호를 출력함으로써, 사용자가 확장 현실 공간에서 특정한 음성에 효과적으로 집중할 수 있도록 구현될 수 있다.Through the above configurations, the voice reinforcement system (100) can be implemented to generate a voice signal that reinforces a specific voice from a voice signal received in an extended reality space, and output a voice signal that reinforces a specific voice, thereby allowing a user to effectively focus on a specific voice in an extended reality space.

한편, 음성 강화 시스템(100)은 태블릿, 개인 컴퓨터, 스마트폰 및 웨어러블 장비 등의 사용자 단말(1)을 통해 제공되도록 구현될 수 있으며, 예를 들어, 음성 강화 시스템(100)은 애플리케이션(Application) 또는 소프트웨어(Software)의 형태로 제공되거나, 웹 페이지 상에서 제공될 수 있다.Meanwhile, the voice reinforcement system (100) may be implemented to be provided through a user terminal (1) such as a tablet, personal computer, smartphone, or wearable device, and for example, the voice reinforcement system (100) may be provided in the form of an application or software, or may be provided on a web page.

도 2를 참조하면, 본 발명에 따른 음성 강화 시스템(100)은 통신부(110), 입력부(120), 저장부(130), 제어부(140) 및 출력부(150)를 포함할 수 있다.Referring to FIG. 2, a voice reinforcement system (100) according to the present invention may include a communication unit (110), an input unit (120), a storage unit (130), a control unit (140), and an output unit (150).

통신부(110)는 다른 사용자 단말 또는, 미리 정해진 서버와 무선 또는 유선 네트워크를 통해 연결될 수 있다.The communication unit (110) can be connected to another user terminal or a predetermined server via a wireless or wired network.

여기에서, 미리 정해진 서버는 확장 현실 공간을 제공하도록 구현된 서버일 수 있으며, 사용자 단말은 미리 정해진 서버와 통신을 수행함으로써, 확장 현실 공간에 접속하여 확장 현실 공간에서 사용자에 대응되는 아바타를 로드할 수 있다.Here, the predetermined server may be a server implemented to provide an extended reality space, and the user terminal may access the extended reality space by communicating with the predetermined server and load an avatar corresponding to the user in the extended reality space.

따라서, 통신부(110)는 다른 사용자 단말 또는, 서버에 음성 신호를 송신하고, 다른 사용자 단말 또는, 서버로부터 음성 신호를 수신할 수 있다.Accordingly, the communication unit (110) can transmit a voice signal to another user terminal or server, and receive a voice signal from another user terminal or server.

입력부(120)는 확장 현실 공간에서의 상호작용을 위한 사용자 입력을 수신할 수 있다. 즉, 입력부(120)는 마이크 등의 음성 입력 장치와 연결되어 음성 신호를 입력받을 수 있다.The input unit (120) can receive user input for interaction in an extended reality space. That is, the input unit (120) can be connected to a voice input device such as a microphone to receive a voice signal.

또한, 입력부(120)는 키보드, 마우스, 터치 패드 및 컨트롤러 등의 입력 장치와 연결되어, 확장 현실 공간에서 구현된 아바타를 이동시키거나, 가상 객체에 대한 상호작용을 수행하기 위한 사용자 입력을 수신할 수 있다.In addition, the input unit (120) can be connected to input devices such as a keyboard, mouse, touch pad, and controller, and can receive user input for moving an avatar implemented in an extended reality space or performing interaction with a virtual object.

저장부(130)는 본 발명에 따른 음성 강화 시스템(100)의 동작에 필요한 정보 및 명령어들이 저장될 수 있다. 예를 들어, 저장부(130)는 확장 현실 공간과 관련된 정보가 저장되고, 특정 음성 신호를 강화하기 위한 정보가 저장될 수 있다.The storage unit (130) can store information and commands necessary for the operation of the voice enhancement system (100) according to the present invention. For example, the storage unit (130) can store information related to an extended reality space and information for enhancing a specific voice signal.

제어부(140)는 본 발명에 따른 음성 강화 시스템(100)의 전반적인 동작을 수행할 수 있다. 예를 들어, 제어부(140)는 확장 현실 공간에서의 사용자의 위치 정보 및 시선 정보를 특정하고, 사용자 입력에 근거하여 음성 신호를 획득하며, 위치 정보에 근거하여 전달 범위를 산출하고, 시선 정보에 근거하여 강화 영역을 산출하며, 강화 영역 내에서 검출된 다른 사용자에게, 음성 신호와 함께 음성 신호의 강화와 관련된 강화 제어명령을 전달할 수 있다.The control unit (140) can perform the overall operation of the voice reinforcement system (100) according to the present invention. For example, the control unit (140) can specify the user's location information and gaze information in the extended reality space, acquire a voice signal based on the user input, calculate a transmission range based on the location information, calculate a reinforcement area based on the gaze information, and transmit a reinforcement control command related to the reinforcement of the voice signal together with the voice signal to another user detected within the reinforcement area.

이때, 강화 제어명령은 특정한 음성 신호를 강화하도록 지정되는 제어명령일 수 있으며, 예를 들어, 강화 제어명령은 특정 사용자의 위치가 다른 사용자의 강화 영역에 속하는지 여부를 나타내도록 설정되거나, 또는, 특정 음성 신호와 관련된 정보(예를 들면, 음성 신호 채널 등)를 포함하여 해당 음성 신호를 강조하도록 설정될 수 있다.At this time, the reinforcement control command may be a control command designated to reinforce a specific voice signal, for example, the reinforcement control command may be set to indicate whether the location of a specific user belongs to another user's reinforcement area, or may be set to emphasize a specific voice signal by including information related to the specific voice signal (e.g., voice signal channel, etc.).

출력부(150)는 확장 현실 공간에서의 상호작용에 따른 결과물을 제공할 수 있다. 즉, 출력부(150)는 디스플레이 출력 장치와 연결되어 확장 현실 공간 및 확장 현실 공간에 접속한 사용자(또는, 다른 사용자)를 표시할 수 있다.The output unit (150) can provide results according to interactions in the extended reality space. That is, the output unit (150) can be connected to a display output device to display the extended reality space and a user (or another user) accessing the extended reality space.

또한, 출력부(150)는 스피커, 이어폰 등의 음성 출력 장치와 연결되어, 다른 사용자로부터 수신된 음성 신호를 출력할 수 있다.In addition, the output unit (150) is connected to a voice output device such as a speaker or earphone, and can output a voice signal received from another user.

이상에서 살펴본 음성 강화 시스템(100)의 구성에 근거하여, 아래에서는 음성 강화 방법에 대해 보다 구체적으로 설명하도록 한다.Based on the configuration of the voice reinforcement system (100) discussed above, the voice reinforcement method will be described in more detail below.

도 3은 본 발명에 따른 음성 강화 방법의 순서도이다. 도 4는 확장 현실 공간에서 사용자의 전달 범위를 설정하는 일 실시예를 도시한다. 도 5 내지 도 7은 확장 현실 공간에서 사용자의 강화 영역을 설정하는 일 실시예를 도시한다. 도 8은 확장 현실 공간에서 다른 사용자의 음성을 변조하는 일 실시예를 도시한다. 도 9는 확장 현실 공간에 접속한 사용자들의 그룹을 표시하는 일 실시예를 도시한다.Figure 3 is a flowchart of a voice enhancement method according to the present invention. Figure 4 illustrates an embodiment of setting a user's transmission range in an augmented reality space. Figures 5 to 7 illustrate an embodiment of setting a user's enhancement area in an augmented reality space. Figure 8 illustrates an embodiment of modulating the voice of another user in an augmented reality space. Figure 9 illustrates an embodiment of displaying a group of users connected to an augmented reality space.

도 3을 참조하면, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서 특정 사용자의 위치 정보 및 시선 정보를 특정할 수 있다(S100).Referring to FIG. 3, the voice reinforcement system (100) according to the present invention can specify location information and gaze information of a specific user in an extended reality space (S100).

구체적으로, 음성 강화 시스템(100)은 확장 현실 공간에서 미리 설정된 좌표에 기반하여, 사용자가 위치한 지점에 대응되는 좌표를 확인하고, 확인된 좌표를 사용자의 위치 정보로서 특정할 수 있다.Specifically, the voice reinforcement system (100) can identify coordinates corresponding to a point where the user is located based on preset coordinates in the extended reality space, and specify the identified coordinates as the user's location information.

예를 들어, 음성 강화 시스템(100)은 2 차원 좌표계에 기반하여 구현된 확장 현실 공간에서 사용자가 렌더링된 지점의 x축 및 y축 좌표를 확인하고, 확인된 좌표를 위치 정보로서 특정할 수 있다.For example, the voice reinforcement system (100) can check the x-axis and y-axis coordinates of a point rendered by a user in an extended reality space implemented based on a two-dimensional coordinate system, and specify the checked coordinates as location information.

다른 예를 들면, 음성 강화 시스템(100)은 3 차원 좌표계에 기반하여 구현된 확장 현실 공간에서 사용자가 렌더링된 지점의 x축, y축 및 z축 좌표를 확인하고, 확인된 좌표를 위치 정보로서 특정할 수 있다.As another example, the voice reinforcement system (100) can check the x-axis, y-axis, and z-axis coordinates of a point rendered by a user in an extended reality space implemented based on a three-dimensional coordinate system, and specify the checked coordinates as location information.

또 다른 예를 들면, 음성 강화 시스템(100)은 복수의 공간을 갖도록 구현된 확장 현실 공간에서, 사용자가 렌더링된 공간에 대응되는 인덱스를 확인하고, 확인된 인덱스에 대응되는 공간에서 사용자가 렌더링된 지점의 좌표를 확인하며, 인덱스 및 좌표를 위치 정보로서 특정할 수 있다.As another example, the voice reinforcement system (100) can identify an index corresponding to a space where a user is rendered in an extended reality space implemented to have multiple spaces, identify coordinates of a point where the user is rendered in the space corresponding to the identified index, and specify the index and coordinates as location information.

나아가, 음성 강화 시스템(100)은 확장 현실 공간에서 사용자의 정면 방향(또는, 시선 방향)에 대응되는 방향 벡터를 특정하고, 특정된 방향 벡터를 시선 정보로서 결정할 수 있다.Furthermore, the voice reinforcement system (100) can specify a direction vector corresponding to the user's frontal direction (or gaze direction) in the extended reality space and determine the specified direction vector as gaze information.

예를 들어, 음성 강화 시스템(100)은 미리 정의된 복수의 방향 벡터를 포함하는 확장 현실 공간에서, 사용자의 정면에 대응되는 하나의 방향 벡터를 시선 정보로서 특정할 수 있다.For example, the voice reinforcement system (100) can specify one direction vector corresponding to the front of the user as gaze information in an extended reality space including a plurality of predefined direction vectors.

이때, 방향 벡터는 사용자가 이동 가능한 방향을 나타내도록 정의될 수 있다. 일 실시예에서, 방향 벡터는 전측, 후측, 좌측 및 우측 중 어느 하나의 방향으로 이동 가능하도록 구현된 확장 현실 공간에서, 전측 방향, 후측 방향, 좌측 방향 및 우측 방향 각각이 방향 벡터로서 정의될 수 있다. 또한, 실시예에 따라 방향 벡터는, 8 개의 방향, 12 개의 방향 또는, 16 개의 방향 등 다양하게 정의될 수 있다.At this time, the direction vector may be defined to indicate a direction in which the user can move. In one embodiment, the direction vector may be defined as a forward direction, a backward direction, a left direction, and a right direction, respectively, in an extended reality space implemented so that movement in any one of the forward, backward, left, and right directions is possible. Furthermore, depending on the embodiment, the direction vector may be defined in various ways, such as 8 directions, 12 directions, or 16 directions.

다른 예를 들면, 음성 강화 시스템(100)은 미리 정의된 복수의 방향 벡터를 포함하는 확장 현실 공간에서, 사용자의 얼굴 부위가 향하는 방향에 대응되는 하나의 방향 벡터를 시선 정보로서 특정할 수 있다.As another example, the voice reinforcement system (100) can specify one direction vector corresponding to the direction in which the user's face part is facing as gaze information in an extended reality space including a plurality of predefined direction vectors.

또 다른 예를 들면, 음성 강화 시스템(100)은 사용자 단말을 통해 표시되는 화면과 관련된 정보에 근거하여 시선 정보를 특정할 수 있다. 즉, 음성 강화 시스템(100)은 화면에 렌더링된 하나 이상의 가상 객체와 관련된 정보 및, 화면에 렌더링된 하나 이상의 다른 사용자와 관련된 정보를 시선 정보로서 특정할 수 있다.As another example, the voice reinforcement system (100) can specify gaze information based on information related to a screen displayed through a user terminal. That is, the voice reinforcement system (100) can specify information related to one or more virtual objects rendered on the screen and information related to one or more other users rendered on the screen as gaze information.

다른 예를 들면, 음성 강화 시스템(100)은 사용자 단말을 통해 화면에 가상 객체 및 다른 사용자를 표시하기 위해 렌더링하는 정보에 근거하여 시선 정보를 특정할 수도 있다.As another example, the voice reinforcement system (100) may also specify gaze information based on information rendered to display virtual objects and other users on a screen via a user terminal.

나아가, 본 발명에 따른 음성 강화 시스템(100)은 특정 사용자(또는, 제1 사용자)의 음성 신호를 획득하고, 특정 사용자의 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출할 수 있다(S200).Furthermore, the voice reinforcement system (100) according to the present invention can obtain a voice signal of a specific user (or a first user) and, based on the location information of the specific user, calculate a transmission range for transmitting the voice signal (S200).

구체적으로, 음성 강화 시스템(100)은 확장 현실 공간에서의 특정 사용자의 위치 정보에 따른 좌표를 기준으로, 미리 정해진 영역을 특정하여, 다른 사용자(또는, 제2 사용자)에게 음성 신호를 전달하기 위한 전달 범위를 산출할 수 있다.Specifically, the voice reinforcement system (100) can calculate a transmission range for transmitting a voice signal to another user (or a second user) by specifying a predetermined area based on coordinates according to location information of a specific user in an extended reality space.

여기에서, 특정 사용자(예를 들면, 제1 사용자)는 음성 발화자로서, 음성 입력 장치(예를 들면, 마이크)를 통해 음성 신호를 수신하고, 수신된 음성을 확장 현실 공간에 접속한 다른 사용자(예를 들면, 제2 사용자)에게 전달하는 사용자 단말이 참조될 수 있다.Here, a specific user (e.g., a first user) may be referred to as a user terminal that receives a voice signal as a voice speaker through a voice input device (e.g., a microphone) and transmits the received voice to another user (e.g., a second user) connected to the extended reality space.

따라서, 다른 사용자(예를 들면, 제2 사용자)는 확장 현실 공간에 접속한 복수의 사용자로서, 상기 특정 사용자에 의하여 전달된 음성을 수신하는 사용자 단말이 참조될 수 있다.Accordingly, another user (e.g., a second user) may be a user terminal that receives a voice transmitted by a specific user, as a plurality of users connected to the extended reality space.

이때, 특정 사용자(예를 들면, 제1 사용자) 및 다른 사용자(예를 들면, 제2 사용자) 각각은, 사용자 단말을 통해 확장 현실 공간에 접속하여 음성을 송수신할 수 있으며, 이때, 사용자 단말은, 가상 현실, 증강 현실, 혼합 현실 또는 확장 현실을 제공하는 장치로서, 예를 들면, 머리에 착용하는 디스플레이(HMD, Head Mounted Display)일 수 있으나, 이는 단지 예시일 뿐이며, 다른 형태의 장치도 가능할 수 있다.At this time, a specific user (e.g., a first user) and another user (e.g., a second user) can each access the extended reality space through a user terminal and transmit and receive voices. At this time, the user terminal may be a device that provides virtual reality, augmented reality, mixed reality, or extended reality, for example, a head-mounted display (HMD), but this is only an example, and other types of devices may also be possible.

도 4를 참조하여 예를 들면, 음성 강화 시스템(100)은 사용자(20)에 대하여 특정된 위치 정보에 따른 좌표를 중심점으로 지정하고, 중심점으로부터 미리 정해진 거리 간격을 반지름으로 갖는 원형 영역을 특정하여 전달 범위(21)를 산출할 수 있다.Referring to FIG. 4, for example, the voice reinforcement system (100) can calculate the transmission range (21) by designating coordinates according to specific location information for the user (20) as a center point and specifying a circular area having a radius of a predetermined distance interval from the center point.

이러한 경우에, 음성 강화 시스템(100)은 위치 정보가, 원형 영역으로 특정된 전달 범위(21)에 속하는 다른 사용자(23)에게 음성 신호를 전달하고, 위치 정보가 전달 범위(21)를 벗어난 다른 사용자(24)에게는 음성 신호를 전달하지 않을 수 있다.In this case, the voice reinforcement system (100) may transmit voice signals to other users (23) whose location information falls within a transmission range (21) specified as a circular area, and may not transmit voice signals to other users (24) whose location information is outside the transmission range (21).

즉, 음성 강화 시스템(100)은 특정 사용자(23)의 위치 정보가 다른 사용자(20)의 전달 범위(21)에 속하는 경우, 상기 다른 사용자에 의하여 생성된 음성 신호를 수신할 수 있다.That is, the voice reinforcement system (100) can receive a voice signal generated by another user (20) when the location information of a specific user (23) falls within the transmission range (21) of the other user.

다른 예를 들면, 음성 강화 시스템(100)은 사용자에 대하여 특정된 위치 정보에 따른 좌표를 중심점으로 지정하고, 중심점으로부터 미리 정해진 거리 간격을 반지름으로 갖는 구 영역을 특정하여 전달 범위를 산출할 수 있다.As another example, the voice reinforcement system (100) can calculate the transmission range by designating a coordinate based on location information specific to the user as a center point and specifying a spherical area having a radius of a predetermined distance interval from the center point.

또 다른 예를 들면, 음성 강화 시스템(100)은 사용자에 대하여 특정된 위치 정보에 따른 좌표를 중심점으로 지정하고, 중심점으로부터 미리 정해진 거리 간격을 반지름으로 갖는 원형 영역을 특정하되, 위치 정보의 z축 값에 대하여 미리 정해진 값의 범위가 포함된 원통 영역을 전달 범위로서 산출할 수 있다.As another example, the voice reinforcement system (100) may designate a coordinate according to location information specific to the user as a center point, specify a circular area having a radius of a predetermined distance interval from the center point, and output a cylindrical area including a range of values predetermined for the z-axis value of the location information as a transmission range.

다른 예를 들면, 음성 강화 시스템(100)은 사용자에 대하여 특정된 위치 정보의 인덱스에 대응되는 특정 공간을 전달 범위로서 산출할 수 있다. 즉, 음성 강화 시스템(100)은 복수의 공간을 갖도록 구현된 확장 현실 공간에서, 복수의 공간 중, 사용자가 위치한 공간을 전달 범위로서 산출할 수 있다.As another example, the voice reinforcement system (100) can calculate a specific space corresponding to an index of location information specific to the user as a transmission range. That is, the voice reinforcement system (100) can calculate, as a transmission range, a space in which the user is located among the multiple spaces in an extended reality space implemented to have multiple spaces.

또 다른 예를 들면, 음성 강화 시스템(100)은 사용자에 대하여 특정된 위치 정보의 인덱스에 대응되는 특정 공간에서, 위치 정보에 따른 좌표를 중심점으로 지정하고, 중심점으로부터 미리 정해진 거리 간격을 반지름으로 갖는 원형 영역을 특정하여 전달 범위를 산출할 수 있다.As another example, the voice reinforcement system (100) can calculate a transmission range by designating a coordinate according to the location information as a center point in a specific space corresponding to an index of location information specified for the user, and specifying a circular area having a radius of a predetermined distance interval from the center point.

나아가, 음성 강화 시스템(100)은 확장 현실 공간에서의 위치 정보에 따른 좌표를 기준으로, 미리 정해진 영역을 특정하고, 특정된 영역을 미리 정해진 조건에 따라 단계적으로 분할하여 복수의 전달 범위를 산출할 수 있다.Furthermore, the voice reinforcement system (100) can specify a predetermined area based on coordinates according to location information in the extended reality space, and divide the specified area into stages according to predetermined conditions to produce multiple transmission ranges.

예를 들어, 음성 강화 시스템(100)은 사용자에 대하여 특정된 위치 정보에 따른 좌표를 중심점으로 지정하고, 중심점으로부터 미리 정해진 거리 간격을 반지름으로 갖는 원형 영역을 특정하며, 특정된 영역을 미리 정해진 거리 간격에 따라 분할하여 단계적으로 분할된 복수의 전달 범위를 결정할 수 있다.For example, the voice reinforcement system (100) can determine a plurality of transmission ranges that are divided stepwise by specifying coordinates based on location information specific to the user as a center point, specifying a circular area having a radius of a predetermined distance interval from the center point, and dividing the specified area based on the predetermined distance interval.

이러한 경우에, 음성 강화 시스템(100)은 위치 정보가, 원형 영역으로 특정된 전달 범위에 속하는 다른 사용자에게 음성 신호와 함께 복수의 전달 범위와 관련된 정보를 전달할 수 있다. 이때, 복수의 전달 범위와 관련된 정보는 복수의 전달 범위에 대한 단계를 나타내는 정보일 수 있다.In such cases, the voice reinforcement system (100) can transmit information related to multiple transmission ranges, along with voice signals, to other users within a transmission range specified as a circular area. In this case, the information related to multiple transmission ranges may be information indicating steps for the multiple transmission ranges.

이를 통해, 음성 강화 시스템(100)은 전달 범위에 속하는 다른 사용자에게, 전달 범위에 대한 단계에 따라 음성의 크기가 변화된 음성 신호를 전달할 수 있다.Through this, the voice reinforcement system (100) can transmit a voice signal with a voice volume that has been changed according to the stage of the transmission range to other users within the transmission range.

즉, 음성 강화 시스템(100)은 특정 사용자의 위치 정보가 다른 사용자의 전달 범위에 속하는 경우, 상기 다른 사용자에 의하여 생성된 음성 신호를 수신하되, 전달 범위에 대한 단계가 상기 특정 사용자의 위치 정보와 가까운 거리를 나타낼수록 음성 크기가 증가된 음성 신호를 수신하고, 전달 범위에 대한 단계가 상기 특정 사용자의 위치 정보와 먼 거리를 나타낼수록 음성 크기가 감소된 음성 신호를 수신할 수 있다.That is, when the location information of a specific user falls within the transmission range of another user, the voice reinforcement system (100) receives a voice signal generated by the other user, and as the step for the transmission range indicates a closer distance from the location information of the specific user, the voice signal with an increased voice volume is received, and as the step for the transmission range indicates a farther distance from the location information of the specific user, the voice signal with a decreased voice volume is received.

다시 도 3을 참조하면, 본 발명에 따른 음성 강화 시스템(100)은 시선 정보에 근거하여, 전달 범위 내에서 음성 신호를 강화하여 전달할 대상인 다른 사용자(예를 들면, 제2 사용자)를 검출하고, 음성 신호의 강화와 관련된 강화 제어명령을 생성할 수 있다(S300).Referring again to FIG. 3, the voice reinforcement system (100) according to the present invention can detect another user (e.g., a second user) who is the target of the voice signal reinforcement transmission within the transmission range based on line of sight information, and generate a reinforcement control command related to the reinforcement of the voice signal (S300).

구체적으로, 음성 강화 시스템(100)은 특정 사용자의 전달 범위 내에서 위치 정보에 따른 좌표를 기준으로 시선 정보에 따라 미리 정해진 영역을, 특정 사용자의 강화 영역으로서 산출하고, 강화 영역 내에 위치하는 다른 사용자를 음성 신호를 강화하여 전달할 대상으로서 검출할 수 있다.Specifically, the voice reinforcement system (100) can calculate a predetermined area based on coordinates according to position information within the transmission range of a specific user as the reinforcement area of the specific user, and detect other users located within the reinforcement area as targets to which a voice signal is to be reinforced and transmitted.

도 5를 참조하여 예를 들면, 음성 강화 시스템(100)은 사용자 단말의 디스플레이 장치에 표시된 화면에서, 미리 정해진 화면 영역(예를 들면, 화면의 중앙 지점)을 강화 영역으로서 특정할 수 있다. 이러한 경우에, 음성 강화 시스템(100)은 미리 정해진 화면 영역에서 다른 사용자(30)를 인식하고, 인식된 다른 사용자에게 음성이 강화되도록 강화 제어명령를 송신할 수 있다.Referring to FIG. 5, for example, the voice enhancement system (100) can specify a predetermined screen area (e.g., the center point of the screen) as an enhancement area on a screen displayed on a display device of a user terminal. In this case, the voice enhancement system (100) can recognize another user (30) in the predetermined screen area and transmit an enhancement control command to the recognized other user so that the voice is enhanced.

따라서, 음성 강화 시스템(100)은 미리 정해진 화면 영역에서 인식된 다른 사용자(30)에게는 음성을 강화하여 제공하기 위한 강화 제어명령을 송신하고, 미리 정해진 화면 영역 밖에 위치하는 다른 사용자(32, 33)에게는 기본으로 설정된 크기의 음성을 제공하기 위한 제어명령을 송신할 수 있다.Accordingly, the voice reinforcement system (100) can transmit a reinforcement control command to provide a reinforced voice to another user (30) recognized in a predetermined screen area, and can transmit a control command to provide a voice at a default size to another user (32, 33) located outside the predetermined screen area.

이때, 음성 강화 시스템(100)은 화면 영역에서 인식된 다른 사용자(30)를 확인할 수 있도록 다른 사용자(30)를 강조 표시(31)할 수도 있다. 또한, 음성 강화 시스템(100)은 미리 정해진 화면 영역 밖에 위치하는 다른 사용자(32, 33)에게 기본으로 설정된 크기의 음성을 제공하기 위하여, 음성 신호만을 제공할 수도 있다.At this time, the voice reinforcement system (100) may highlight (31) another user (30) so that the other user (30) recognized in the screen area can be identified. In addition, the voice reinforcement system (100) may provide only a voice signal in order to provide a voice of a default size to another user (32, 33) located outside a predetermined screen area.

다른 예를 들면, 음성 강화 시스템(100)은 사용자의 위치 정보에 따른 좌표를 기준으로, 시선 정보에 따른 방향에서 미리 정해진 거리 범위를 강화 영역으로 특정할 수 있다. 이때, 강화 영역은 위치 정보에 따른 좌표에 가까울수록 폭이 좁은 부채꼴 형태로 특정될 수 있으며, 부채꼴 외의 직사각형, 삼각형 등 다른 형태로 특정될 수도 있음은 물론이다.As another example, the voice reinforcement system (100) can specify a predetermined distance range as a reinforcement area in a direction based on gaze information, based on coordinates based on the user's location information. In this case, the reinforcement area can be specified as a fan-shaped area with a narrower width as it approaches the coordinates based on the location information. Of course, it can also be specified as a shape other than a fan-shaped area, such as a rectangle or triangle.

이에 따라, 음성 강화 시스템(100)은 사용자에 대하여 특정된 강화 영역에 위치하는 다른 사용자에게 음성을 강화하여 제공하기 위한 강화 제어명령을 송신할 수 있다. 이때, 음성 강화 시스템(100)은 강화 영역 밖에 위치하는 다른 사용자에게는 기본 크기(또는, 감소된 크기)의 음성을 제공하기 위한 제어명령을 송신할 수 있다.Accordingly, the voice enhancement system (100) can transmit a reinforcement control command to provide voice enhancement to other users located within a specific reinforcement area for the user. At this time, the voice enhancement system (100) can transmit a control command to provide voice at a basic volume (or reduced volume) to other users located outside the reinforcement area.

이와 관련하여, 도 6을 참조하면, 확장 현실 공간에 접속한 복수의 사용자들(40, 41, 42, 43)과 각 사용자들의 시선 정보에 따른 방향을 확인할 수 있다.In this regard, referring to FIG. 6, it is possible to check the direction of multiple users (40, 41, 42, 43) connected to the extended reality space and the gaze information of each user.

이러한 경우에, 제1 사용자(40)에 대하여 특정되는 강화 영역에는 제2 사용자(41)가 위치한 것으로 이해할 수 있고, 제2 사용자(41)에 대하여 특정되는 강화 영역에는 제1 사용자(40)가 위치한 것으로 이해할 수 있다.In this case, it can be understood that the second user (41) is located in the reinforcement area specified for the first user (40), and it can be understood that the first user (40) is located in the reinforcement area specified for the second user (41).

또한, 제3 사용자(42)에 대하여 특정되는 강화 영역에는 제1 사용자(40)가 위치한 것으로 이해할 수 있다.Additionally, it can be understood that the first user (40) is located in the reinforcement area specified for the third user (42).

따라서, 음성 강화 시스템(100)은 제2 사용자(41)에게 제1 사용자(40)의 음성이 강화된 음성 신호를 전달하고, 제1 사용자(40)에게 제2 사용자(41) 및 제3 사용자(42)의 음성이 강화된 음성 신호를 전달할 수 있다.Accordingly, the voice enhancement system (100) can transmit a voice signal in which the voice of the first user (40) is enhanced to the second user (41), and can transmit a voice signal in which the voices of the second user (41) and the third user (42) are enhanced to the first user (40).

또 다른 예를 들면, 음성 강화 시스템(100)은 사용자 입력에 근거하여 특정한 다른 사용자를 선택하고, 선택된 특정한 다른 사용자에게 음성을 강화하여 제공하기 위한 강화 제어명령을 음성 신호와 함께 송신할 수 있다.As another example, the voice enhancement system (100) can select a specific other user based on user input and transmit an enhancement control command along with a voice signal to provide an enhanced voice to the selected specific other user.

이를 위해, 음성 강화 시스템(100)은 사용자로부터 입력되는 음성 신호를 분석하여 확장 현실 공간에 접속한 다른 사용자와 관련된 정보(예를 들면, ID 또는, 닉네임)와 비교하고, 비교 결과에 근거하여 음성 신호와 동일한 정보를 가진 다른 사용자가 존재하는 경우, 해당 다른 사용자를 선택할 수 있다.To this end, the voice reinforcement system (100) analyzes a voice signal input from a user and compares it with information (e.g., ID or nickname) related to other users who have accessed the extended reality space, and if there is another user with the same information as the voice signal based on the comparison result, the other user can be selected.

나아가, 음성 강화 시스템(100)은 사용자에 대하여 산출된 강화 영역에서 가상 객체를 인식하고, 인식된 가상 객체로부터 미리 정해진 거리 범위 이내에 위치하는 다른 사용자에게 음성을 강화하여 제공하기 위한 강화 제어명령을 가상 객체에 매칭시킬 수 있다.Furthermore, the voice enhancement system (100) can recognize a virtual object in a reinforcement area generated for a user and match a reinforcement control command to the virtual object to provide a voice enhancement to another user located within a predetermined distance range from the recognized virtual object.

도 7을 참조하여 예를 들면, 음성 강화 시스템(100)은 제1 사용자(51) 및 제2 사용자(52)에 대하여 산출된 강화 영역에서 제1 가상 객체(50)를 인식하고, 제1 가상 객체(50)로부터 미리 정해진 거리 범위 이내에 위치하는 다른 사용자에게 제1 사용자(51) 및 제2 사용자(52)의 음성을 강화하여 제공하기 위한 강화 제어명령을 제1 가상 객체(50)에 매칭시킬 수 있다.Referring to FIG. 7, for example, the voice enhancement system (100) can recognize a first virtual object (50) in an enhancement area generated for a first user (51) and a second user (52), and match an enhancement control command to the first virtual object (50) to provide the enhanced voices of the first user (51) and the second user (52) to other users located within a predetermined distance range from the first virtual object (50).

또한, 음성 강화 시스템(100)은 제3 사용자(54)에 대하여 산출된 강화 영역에서 제2 가상 객체(53)를 인식하고, 제2 가상 객체(53)로부터 미리 정해진 거리 범위 이내에 위치하는 다른 사용자에게 제3 사용자(54)의 음성을 강화하여 제공하기 위한 강화 제어명령을 제1 가상 객체(53)에 매칭시킬 수 있다.In addition, the voice enhancement system (100) can recognize a second virtual object (53) in the enhancement area generated for the third user (54) and match an enhancement control command to the first virtual object (53) to provide the enhanced voice of the third user (54) to another user located within a predetermined distance range from the second virtual object (53).

다시 도 3을 참조하면, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서 제2 사용자에게, 음성 신호와 함께, 강화 제어명령을 전달할 수 있다(S400).Referring again to FIG. 3, the voice reinforcement system (100) according to the present invention can transmit a reinforcement control command together with a voice signal to a second user in an extended reality space (S400).

구체적으로, 음성 강화 시스템(100)은 사용자에 대한 전달 범위 내에서 다른 사용자를 인식하고, 인식된 다른 사용자의 위치가 사용자에 대한 강화 영역에 속하는지 여부를 확인할 수 있다.Specifically, the voice reinforcement system (100) can recognize other users within the transmission range for the user and determine whether the location of the recognized other user belongs to the reinforcement area for the user.

이에 따라, 음성 강화 시스템(100)은 전달 범위 내에서 인식된 다른 사용자의 위치가 강화 영역에 속하는 경우, 사용자의 음성을 강화하여 제공하기 위한 강화 제어명령을, 음성 신호와 함께 다른 사용자에게 송신할 수 있다.Accordingly, the voice reinforcement system (100) can transmit a reinforcement control command to provide a reinforced voice of the user to the other user together with a voice signal when the location of another user recognized within the transmission range falls within the reinforcement area.

또한, 음성 강화 시스템(100)은 전달 범위 내에서 인식된 다른 사용자의 위치가 강화 영역의 밖에 위치하는 경우, 사용자의 음성을 기본 크기(또는, 감소된 크기)로 제공하기 위한 제어명령을, 음성 신호와 함께 다른 사용자에게 송신할 수 있다.Additionally, the voice reinforcement system (100) can transmit a control command to the other user along with the voice signal to provide the user's voice at a basic volume (or reduced volume) when the location of another user recognized within the transmission range is located outside the reinforcement area.

이때, 음성 강화 시스템(100)은 다른 사용자의 위치가 강화 영역의 밖에 위치하는 경우, 다른 사용자에게 기본으로 설정된 크기의 음성을 제공하기 위하여, 음성 신호만을 제공할 수도 있다.At this time, the voice reinforcement system (100) may provide only a voice signal in order to provide a voice of a default size to other users when the location of the other users is outside the reinforcement area.

나아가, 음성 강화 시스템(100)은 사용자의 전달 범위 내에서 인식된 다른 사용자의 위치와, 사용자의 위치 정보에 따른 위치 사이에 미리 정해진 가상 방해물이 배치된 경우, 상기 다른 사용자에게 음성 신호와 함께, 가상 방해물에 따른 음성 신호의 약화와 관련된 약화 제어명령을 전달할 수 있다.Furthermore, when a predetermined virtual obstacle is placed between the location of another user recognized within the user's transmission range and the location according to the user's location information, the voice reinforcement system (100) can transmit a weakening control command related to weakening of the voice signal according to the virtual obstacle together with the voice signal to the other user.

도 8을 참조하여 예를 들면, 음성 강화 시스템(100)은 사용자(62)의 전달 범위 내에 배치된 가상 방해물(60)을 인식하고, 인식된 가상 방해물(60)의 위치에 근거하여, 가상 방해물(60)이 사용자(62)의 위치 정보에 따른 위치와, 사용자(62)의 전달 범위 내의 다른 사용자(61, 63)의 위치 사이에 배치되었는지 여부를 확인할 수 있다.Referring to FIG. 8, for example, the voice reinforcement system (100) can recognize a virtual obstacle (60) placed within the transmission range of a user (62), and, based on the location of the recognized virtual obstacle (60), determine whether the virtual obstacle (60) is placed between a location according to the location information of the user (62) and a location of another user (61, 63) within the transmission range of the user (62).

이에 따라, 음성 강화 시스템(100)은 가상 방해물(60)이 사용자(62)와 다른 사용자(63) 사이에 배치된 경우, 가상 방해물(60)에 의하여 사용자의 음성이 변조되도록 약화 제어명령을 사용자(62)의 음성 신호와 함께 다른 사용자(63)에게 송신할 수 있다.Accordingly, the voice reinforcement system (100) can transmit a weakening control command to the other user (63) together with the voice signal of the user (62) so that the user's voice is modulated by the virtual obstacle (60) when the virtual obstacle (60) is placed between the user (62) and the other user (63).

이때, 가상 방해물(60)은 벽, 창문, 문 등의 가상 객체가 참조될 수 있으며, 가상 방해물(60)에는 가상 방해물에 의하여 음성 신호의 주파수를 변조하기 위한 변조 정보가 매칭되어 저장될 수 있다.At this time, the virtual obstacle (60) may be a virtual object such as a wall, window, or door, and modulation information for modulating the frequency of a voice signal by the virtual obstacle (60) may be matched and stored in the virtual obstacle.

즉, 변조 정보는 가상 방해물에 의하여 음성 신호의 주파수를 변조하도록 생성될 수 있으며, 이러한 변조 정보는 가상 방해물의 재질, 종류, 형태 등에 따라 다르게 설정될 수 있다.That is, modulation information can be generated to modulate the frequency of a voice signal by a virtual obstacle, and this modulation information can be set differently depending on the material, type, shape, etc. of the virtual obstacle.

나아가, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서 다른 사용자로부터, 강화 제어명령과 함께 음성 신호를 수신하고, 강화 제어명령에 근거하여 음성 신호를 강조하며, 강조된 음성 신호를 출력할 수 있다.Furthermore, the voice enhancement system (100) according to the present invention can receive a voice signal together with an enhancement control command from another user in an extended reality space, emphasize the voice signal based on the enhancement control command, and output the emphasized voice signal.

구체적으로, 음성 강화 시스템(100)은 확장 현실 공간에서 다른 사용자로부터 강화 제어명령과 함께 음성 신호를 수신하면, 강화 제어명령이 다른 사용자의 음성을 강화하여 제공하도록 설정되었는지 여부를 확인할 수 있다.Specifically, when the voice enhancement system (100) receives a voice signal together with an enhancement control command from another user in an extended reality space, it can determine whether the enhancement control command is set to provide enhancement of the voice of the other user.

따라서, 음성 강화 시스템(100)은 강화 제어명령이 다른 사용자의 음성을 강화하여 제공하도록 설정된 경우, 다른 사용자로부터 수신된 음성 신호를 강화하여 출력할 수 있다.Accordingly, the voice reinforcement system (100) can enhance and output a voice signal received from another user when the enhancement control command is set to enhance and provide the voice of another user.

이와 관련하여, 음성 강화 시스템(100)은 사용자의 음성을 기본 크기(또는, 감소된 크기)로 제공하도록 설정된 제어명령을 수신하는 경우, 다른 사용자로부터 수신된 음성 신호를 기본 크기로 출력하거나, 감소시켜 출력할 수 있다.In this regard, when the voice enhancement system (100) receives a control command set to provide the user's voice at a basic size (or a reduced size), it can output a voice signal received from another user at a basic size or at a reduced size.

또는, 음성 강화 시스템(100)은 강화 제어명령이 특정 사용자의 음성을 강화하여 제공하도록 설정된 경우, 다른 사용자로부터 수신된 음성 신호를 기본 크기로 출력하고, 강화 제어명령이 특정 사용자를 제외한 다른 사용자의 음성을 감소된 크기로 제공하도록 설정된 경우, 특정 사용자로부터 수신된 음성 신호를 제외한 다른 음성 신호를 감소시켜 출력할 수도 있다.Alternatively, the voice enhancement system (100) may output voice signals received from other users at a basic volume when the enhancement control command is set to provide the voices of other users except for the specific user at a reduced volume, and may output other voice signals except for the voice signals received from the specific user at a reduced volume.

예를 들어, 음성 강화 시스템(100)은 강화 제어명령이 다른 사용자의 음성을 강화하여 제공하도록 설정된 경우, 다른 사용자의 음성 신호에 대한 크기 조절을 통해, 음성 신호에 대응되는 음성의 크기가 증가되도록 제어하고, 크기가 조절된 음성 신호를 출력할 수 있다.For example, when the voice reinforcement system (100) is set to provide a reinforcement control command to reinforce the voice of another user, the voice reinforcement system (100) can control the size of the voice corresponding to the voice signal to increase through size adjustment of the voice signal of the other user, and output the voice signal with the adjusted size.

이때, 음성 강화 시스템(100)은 사용자의 시선 정보와, 다른 사용자의 위치에 근거하여, 다른 사용자의 음성 신호를 입체화(또는, 가상화)하여 출력할 수 있다. 즉, 사용자의 시선 정보에 따른 방향을 기준으로 다른 사용자가 좌측에 위치하여 음성 신호를 송신하는 경우, 음성 출력 장치의 좌측 채널을 통해 음성 신호를 출력함으로써, 음성 신호를 입체화할 수 있다.At this time, the voice reinforcement system (100) can output the voice signal of another user in stereoscopic form (or virtualized form) based on the user's gaze information and the location of the other user. That is, when the other user is positioned to the left and transmits a voice signal based on the direction according to the user's gaze information, the voice signal can be stereoscopicized by outputting the voice signal through the left channel of the voice output device.

나아가, 음성 강화 시스템(100)은 확장 현실 공간에서 다른 사용자로부터 가상 방해물에 따른 약화 제어명령과 함께 음성 신호를 수신하면, 약화 제어명령이 다른 사용자의 음성을 변조하여 제공하도록 설정되었는지 여부를 확인할 수 있다.Furthermore, when the voice reinforcement system (100) receives a voice signal together with a weakening control command according to a virtual obstacle from another user in an extended reality space, it can check whether the weakening control command is set to be provided by modulating the voice of the other user.

따라서, 음성 강화 시스템(100)은 약화 제어명령이 다른 사용자의 음성을 변조하여 제공하도록 설정된 경우, 다른 사용자로부터 수신된 음성 신호를 변조하여 출력하고, 약화 제어명령이 사용자의 음성을 원상태로 제공하도록 설정된 경우, 다른 사용자로부터 수신된 음성 신호를 원상태로 출력할 수 있다.Accordingly, the voice reinforcement system (100) can output a voice signal received from another user in a modulated form when the weakening control command is set to provide the voice of another user in a modulated form, and can output a voice signal received from another user in its original form when the weakening control command is set to provide the voice of the user in its original form.

예를 들어, 음성 강화 시스템(100)은 약화 제어명령이 다른 사용자의 음성을 변조하여 제공하도록 설정된 경우, 가상 방해물에 매칭된 변조 정보를 확인하고, 확인된 변조 정보에 근거하여 다른 사용자로부터 수신된 음성 신호의 주파수를 변조할 수 있다. 이를 통해, 음성 강화 시스템(100)은 가상 방해물에 의하여 변조된 다른 사용자의 음성을 출력할 수 있다.For example, if the voice enhancement system (100) is configured to provide a weakening control command by modulating the voice of another user, the system can identify modulation information matching the virtual obstacle and modulate the frequency of a voice signal received from the other user based on the identified modulation information. This allows the system to output the voice of the other user modulated by the virtual obstacle.

다른 예를 들면, 음성 강화 시스템(100)은 약화 제어명령이 다른 사용자의 음성을 변조하여 제공하도록 설정되고, 상기 다른 사용자의 음성 신호의 크기가 상기 가상 방해물에 대하여 미리 정해진 역치(Threshold)보다 낮은 경우, 다른 사용자의 음성 신호를 제거할 수 있다.As another example, the voice reinforcement system (100) is set to provide a weakening control command by modulating the voice of another user, and if the size of the voice signal of the other user is lower than a threshold set in advance for the virtual obstacle, the voice signal of the other user can be removed.

이를 통해, 음성 강화 시스템(100)은 가상 방해물에 의한 음성 신호의 차폐를 구현할 수 있다.Through this, the voice reinforcement system (100) can implement shielding of a voice signal by a virtual obstacle.

나아가, 음성 강화 시스템(100)은 시선 정보에 근거하여, 다른 사용자로부터 수신되는 음성 신호를 강화할 영역인 집중 영역을 산출할 수 있다. 즉, 음성 강화 시스템(100)은 전달 범위 내에 위치한 다른 사용자의 음성 신호에 대하여 주파수 변조 및 크기 조절 중 적어도 하나를 수행하여 상기 다른 사용자의 음성을 강조하도록 집중 영역을 산출할 수 있다.Furthermore, the voice enhancement system (100) can calculate a focus area, which is an area where voice signals received from other users are to be enhanced, based on gaze information. That is, the voice enhancement system (100) can calculate a focus area by performing at least one of frequency modulation and size adjustment on the voice signals of other users located within the transmission range to emphasize the voices of said other users.

여기에서, 집중 영역은 다른 사용자의 음성 신호를 강조하도록 확장 현실 공간에서 미리 정해진 영역을 나타낼 수 있다. 즉, 음성 강화 시스템(100)은 집중 영역에 위치한 사용자의 음성 신호를 강조함으로써, 전달 범위에 따라 수신되는 음성 신호에서 특정 사용자의 음성을 강조할 수 있다.Here, the focus area may represent a predetermined area in the extended reality space to emphasize the voice signals of other users. That is, the voice enhancement system (100) can emphasize the voice of a specific user in the received voice signal according to the transmission range by emphasizing the voice signals of users located in the focus area.

예를 들어, 음성 강화 시스템(100)은 사용자에 대하여 산출된 강화 영역과 동일한 영역을 집중 영역으로서 특정할 수 있다. 이러한 경우에, 음성 강화 시스템(100)은 집중 영역에 위치한 다른 사용자로부터 수신되는 음성 신호를 강조할 수 있다.For example, the voice enhancement system (100) may specify an area identical to the generated enhancement area for the user as a focus area. In this case, the voice enhancement system (100) may emphasize voice signals received from other users located in the focus area.

즉, 음성 강화 시스템(100)은 사용자 단말의 디스플레이 장치에 표시된 화면에서, 미리 정해진 화면 영역을 집중 영역으로서 특정하는 경우, 집중 영역에서 인식된 다른 사용자의 음성을 강화할 수 있다.That is, when the voice reinforcement system (100) specifies a predetermined screen area as a focus area on a screen displayed on a display device of a user terminal, it can reinforce the voice of another user recognized in the focus area.

또한, 음성 강화 시스템(100)은 사용자의 위치 정보에 따른 좌표를 기준으로, 시선 정보에 따른 방향에서 미리 정해진 거리 범위를 집중 영역으로 특정하는 경우, 집중 영역에 위치하는 다른 사용자의 음성을 강화할 수 있다.In addition, the voice reinforcement system (100) can reinforce the voice of another user located in the focus area when specifying a predetermined distance range in the direction according to the gaze information based on the coordinates according to the user's location information as the focus area.

또한, 음성 강화 시스템(100)은 집중 영역에서 가상 객체가 인식되는 경우, 가상 객체에 매칭된, 강화 제어명령에 대응되는 다른 사용자의 음성을 강화할 수 있다.Additionally, the voice reinforcement system (100) can reinforce the voice of another user corresponding to the reinforcement control command that matches the virtual object when a virtual object is recognized in the focus area.

상기와 같은 구성들을 통해, 음성 강화 시스템(100)은 확장 현실 공간에서 사용자의 위치를 기준으로 미리 정해진 범위 내에 위치한 다른 사용자들에게 음성 신호를 전달함으로써, 확장 현실 공간 내에서 다른 사용자들과 원활한 음성 통신이 가능할 수 있다.Through the above configurations, the voice reinforcement system (100) can transmit voice signals to other users located within a predetermined range based on the user's location in the extended reality space, thereby enabling smooth voice communication with other users within the extended reality space.

또한, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자의 시선 방향에 위치한 다른 사용자에게, 강조된 음성 신호를 전달함으로써, 복수의 사용자들 간의 대화가 동시다발적으로 이루어지는 상황에서 특정 사용자에게 자신의 음성을 명확히 전달할 수 있다.In addition, the voice reinforcement system (100) according to the present invention can clearly convey one's voice to a specific user in a situation where a conversation is taking place simultaneously among multiple users by transmitting an emphasized voice signal to another user located in the direction of the user's gaze in an extended reality space.

또한, 본 발명에 따른 음성 강화 시스템(100)은 확장 현실 공간에서의 사용자의 시선 방향에 위치한 다른 사용자로부터 수신되는 음성 신호를 강조함으로써, 복수의 사용자들 간의 대화가 동시다발적으로 이루어지는 상황에서 특정 사용자가 발화하는 음성을 명확히 들을 수 있다.In addition, the voice enhancement system (100) according to the present invention emphasizes voice signals received from other users located in the user's line of sight in an extended reality space, thereby enabling a user to clearly hear the voice spoken by a specific user in a situation where conversations are taking place simultaneously among multiple users.

나아가, 음성 강화 시스템(100)은 확장 현실 공간에 접속한 복수의 사용자들과 관련된 정보(예를 들면, ID, 닉네임, 네트워크 상태, 음성 입력 장치 연결 여부, 그룹 정보 등)를 제공하고, 사용자 입력에 근거하여 복수의 사용자들 각각에 대한 개별 설정을 수행할 수 있다.Furthermore, the voice reinforcement system (100) provides information related to multiple users connected to the extended reality space (e.g., ID, nickname, network status, whether a voice input device is connected, group information, etc.) and can perform individual settings for each of the multiple users based on user input.

도 9의 (a)를 참조하여 예를 들면, 음성 강화 시스템(100)은 확장 현실 공간에 접속한 복수의 사용자들(70, 71, 72, 73, 74)을 각 사용자들이 속한 그룹에 따라 서로 다른 형태로 표시할 수 있다. 즉, 음성 강화 시스템(100)은 동일한 그룹에 속한 사용자들(70, 71, 72) 또는, 다른 그룹에 속한 사용자들(73, 74)의 외곽선에 강조 표시를 렌더링하거나, 동일한 그룹에 속한 사용자들(70, 71, 72) 또는, 다른 그룹에 속한 사용자들(73, 74)의 렌더링 수준을 다르게 하여 표시할 수도 있다.Referring to (a) of FIG. 9, for example, the voice enhancement system (100) can display multiple users (70, 71, 72, 73, 74) connected to the extended reality space in different forms depending on the group to which each user belongs. That is, the voice enhancement system (100) can render highlight marks on the outlines of users (70, 71, 72) belonging to the same group or users (73, 74) belonging to different groups, or can display users (70, 71, 72) belonging to the same group or users (73, 74) belonging to different groups at different rendering levels.

또한, 음성 강화 시스템(100)은 사용자와 동일한 그룹(81)에 속한 다른 사용자들로부터만 음성 신호를 수신할 수도 있다.Additionally, the voice reinforcement system (100) may receive voice signals only from other users belonging to the same group (81) as the user.

도 9의 (b)를 참조하여 다른 예를 들면, 음성 강화 시스템(100)은 확장 현실 공간에 접속한 사용자들(82, 83, 84, 87, 88)을 그룹(81, 86)별로 표시(80)할 수 있다. 이에 따라, 음성 강화 시스템(100)은 다른 사용자들로부터 수신되는 음성 신호의 크기를 미리 정해진 기준에 따라 표시할 수 있다.As another example, referring to (b) of FIG. 9, the voice reinforcement system (100) can display (80) users (82, 83, 84, 87, 88) connected to the extended reality space by group (81, 86). Accordingly, the voice reinforcement system (100) can display the size of voice signals received from other users according to a predetermined standard.

이때, 음성 강화 시스템(100)은 사용자와 동일한 그룹(81)에 속한 다른 사용자들의 음성 상태만을 표시할 수도 있다.At this time, the voice reinforcement system (100) may only display the voice status of other users belonging to the same group (81) as the user.

사용자 입력에 근거하여 특정 사용자의 음성 크기를 높이거나 낮출 수 있다. 이러한 경우에, 음성 강화 시스템(100)은 사용자 입력에 따라 설정된 음성 크기에 근거하여 상기 특정 사용자로부터 수신된 음성 신호의 크기를 높이거나 낮출 수 있다.The voice volume of a specific user can be increased or decreased based on user input. In this case, the voice enhancement system (100) can increase or decrease the volume of a voice signal received from the specific user based on the voice volume set according to the user input.

또 다른 예를 들면, 음성 강화 시스템(100)은 사용자 입력에 근거하여 확장 현실 공간으로부터 특정 사용자를 강제로 퇴장시키거나, 확장 현실 공간으로 특정 사용자를 초대할 수 있다.As another example, the voice reinforcement system (100) can forcibly eject a specific user from an extended reality space or invite a specific user into an extended reality space based on user input.

나아가, 위에서 살펴본 본 발명은, 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서 구현될 수 있다.Furthermore, the present invention discussed above can be implemented as a program executed by one or more processes in an electronic device and stored in a computer-readable recording medium.

따라서, 본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명에 따른 다양한 제어방법은 통합된, 또는 개별적인 프로그램의 형태로 제공될 수 있다.Accordingly, the present invention can be implemented as computer-readable code or instructions on a program-recorded medium. That is, the various control methods according to the present invention can be provided in the form of integrated or individual programs.

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.Meanwhile, computer-readable media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include hard disk drives (HDDs), solid-state disk drives (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, and optical data storage devices.

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.Furthermore, the computer-readable medium may include a storage device and may be a server or cloud storage device accessible via communication. In this case, the computer may download the program according to the present invention from the server or cloud storage device via wired or wireless communication.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.Furthermore, in the present invention, the computer described above is an electronic device equipped with a processor, i.e., a CPU (Central Processing Unit), and there is no particular limitation on its type.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Meanwhile, the above detailed description should not be construed as limiting in any respect and should be considered illustrative. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are intended to be included within the scope of the present invention.

Claims (10)

확장 현실 공간에서의 음성 강화 시스템을 이용한 음성 강화 방법에 있어서,
제어부가 확장 현실 공간에서 제1 사용자의 위치 정보 및 시선 정보를 특정하는 단계;
상기 제어부가 상기 제1 사용자의 음성 신호를 수신하고, 상기 제1 사용자의 상기 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하는 단계;
상기 제어부가 상기 시선 정보에 근거하여, 상기 전달 범위 내에서 상기 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하는 단계; 및
상기 제어부가 상기 확장 현실 공간에서 상기 제2 사용자에게, 상기 음성 신호와 함께, 상기 강화 제어명령을 전달하는 단계를 포함하고,
상기 강화 제어명령을 생성하는 단계는,
상기 제1 사용자의 상기 시선 정보에 따른 강화 영역에서 상기 제2 사용자가 인식되는 경우, 상기 제2 사용자에게 상기 강화 제어명령에 따라 상기 제1 사용자의 음성이 강화된 음성 신호를 전달하고,
상기 제1 사용자의 상기 시선 정보에 따른 강화 영역에서 특정 가상 객체가 인식되는 경우, 상기 특정 가상 객체로부터 미리 정해진 거리 범위 이내에 위치하는 다른 사용자에게 상기 제1 사용자의 음성이 강화된 음성 신호를 전달하는, 확장 현실 공간에서의 음성 강화 방법.
In a voice reinforcement method using a voice reinforcement system in an extended reality space,
A step in which the control unit specifies the location information and gaze information of the first user in the extended reality space;
A step in which the control unit receives a voice signal of the first user and calculates a transmission range for transmitting the voice signal based on the location information of the first user;
A step in which the control unit detects a second user who is the target of strengthening and transmitting the voice signal within the transmission range based on the gaze information, and generates a strengthening control command related to strengthening the voice signal; and
The control unit includes a step of transmitting the enhanced control command together with the voice signal to the second user in the extended reality space,
The step of generating the above-mentioned strengthened control command is:
When the second user is recognized in the reinforcement area according to the gaze information of the first user, the voice signal of the first user is reinforced according to the reinforcement control command and is transmitted to the second user.
A voice enhancement method in an extended reality space, wherein when a specific virtual object is recognized in a strengthened area according to the gaze information of the first user, the voice of the first user is transmitted as an enhanced voice signal to another user located within a predetermined distance range from the specific virtual object.
 제1 항에 있어서,
상기 확장 현실 공간에서 제3 사용자의 음성 신호와 함께, 상기 강화 제어명령을 수신하는 단계;
상기 강화 제어명령에 근거하여 상기 제3 사용자의 상기 음성 신호를 강화하는 단계; 및
상기 강화된 음성 신호를 출력하는 단계를 더 포함하는, 확장 현실 공간에서의 음성 강화 방법.
In the first paragraph,
A step of receiving the enhanced control command together with a voice signal of a third user in the extended reality space;
A step of strengthening the voice signal of the third user based on the strengthening control command; and
A method for enhancing speech in an extended reality space, further comprising the step of outputting the enhanced speech signal.
 제2 항에 있어서, 상기 음성 신호를 강화하는 단계는,
상기 강화 제어명령이 상기 제3 사용자의 음성 신호를 강화하도록 설정된 경우, 상기 제3 사용자로부터 수신된 상기 음성 신호에 대한 크기 조절을 통해, 상기 음성 신호에 대응되는 음성의 크기를 증가시키는, 확장 현실 공간에서의 음성 강화 방법.
In the second paragraph, the step of strengthening the voice signal comprises:
A voice enhancement method in an extended reality space, wherein the volume of a voice corresponding to the voice signal is increased by adjusting the volume of the voice signal received from the third user when the above-mentioned enhancement control command is set to enhance the voice signal of the third user.
 제1 항에 있어서, 상기 음성 신호와 함께, 강화 제어명령을 전달하는 단계는,
상기 전달 범위 내에서 인식된 상기 제2 사용자의 위치와, 상기 위치 정보에 따른 위치 사이에 미리 정해진 가상 방해물이 배치된 경우, 상기 제2 사용자에게 상기 음성 신호와 함께, 상기 가상 방해물에 따른 상기 음성 신호의 약화와 관련된 약화 제어명령을 전달하는 단계를 포함하는, 확장 현실 공간에서의 음성 강화 방법.
In the first paragraph, the step of transmitting a reinforcement control command together with the voice signal is,
A method for strengthening voice in an extended reality space, comprising the step of transmitting, to the second user, a weakening control command related to weakening of the voice signal according to the virtual obstacle, together with the voice signal, when a predetermined virtual obstacle is placed between the position of the second user recognized within the transmission range and the position according to the location information.
 제4 항에 있어서,
상기 확장 현실 공간에서 제4 사용자의 음성 신호와 함께, 상기 약화 제어명령을 수신하는 단계;
상기 약화 제어명령이 상기 제2 사용자의 음성을 변조하여 제공하도록 설정된 경우, 상기 가상 방해물에 매칭된 변조 정보를 확인하는 단계; 및
상기 확인된 변조 정보에 근거하여 상기 제4 사용자로부터 수신된 음성 신호의 주파수를 변조하는 단계를 더 포함하는, 확장 현실 공간에서의 음성 강화 방법.
In the fourth paragraph,
A step of receiving the weakening control command together with a voice signal of a fourth user in the extended reality space;
When the above weakening control command is set to provide a modulated voice of the second user, a step of checking modulation information matched to the virtual obstacle; and
A method for voice enhancement in an extended reality space, further comprising the step of modulating the frequency of a voice signal received from the fourth user based on the confirmed modulation information.
 제1 항에 있어서,
상기 시선 정보에 근거하여, 다른 사용자로부터 수신되는 음성 신호를 강화할 영역인 집중 영역을 산출하고, 상기 집중 영역에 위치한 제5 사용자의 음성 신호를 수신하며, 상기 제5 사용자의 음성 신호를 강화하여 출력하는 단계를 더 포함하는, 확장 현실 공간에서의 음성 강화 방법.
In the first paragraph,
A voice reinforcement method in an extended reality space, further comprising the steps of: calculating a focus area, which is an area in which a voice signal received from another user is to be reinforced, based on the above gaze information; receiving a voice signal of a fifth user located in the focus area; and strengthening and outputting the voice signal of the fifth user.
 제1 항에 있어서, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하는 단계는,
상기 확장 현실 공간에서의 상기 위치 정보에 따른 좌표를 기준으로, 미리 정해진 영역을 특정하여 전달 범위를 산출하는, 확장 현실 공간에서의 음성 강화 방법.
In the first paragraph, the step of calculating the transmission range for transmitting the voice signal is as follows:
A voice reinforcement method in an extended reality space, which calculates a transmission range by specifying a predetermined area based on coordinates according to the location information in the extended reality space.
 제1 항에 있어서, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하는 단계는,
상기 전달 범위 내에서 상기 위치 정보에 따른 좌표를 기준으로 상기 시선 정보에 따라 미리 정해진 영역을 강화 영역으로서 산출하는 단계; 및
상기 강화 영역 내에 위치하는 다른 사용자를 상기 음성 신호를 강화하여 전달할 대상으로서 검출하는 단계를 포함하는, 확장 현실 공간에서의 음성 강화 방법.
In the first paragraph, the step of generating a reinforcement control command related to the reinforcement of the voice signal comprises:
A step of calculating a predetermined area as a reinforcement area based on the line of sight information based on the coordinates according to the position information within the above transmission range; and
A method for voice reinforcement in an extended reality space, comprising the step of detecting another user located within the reinforcement area as a target to which the voice signal is to be reinforced and transmitted.
 제1 사용자의 음성 신호를 수신하는 입력부; 및
확장 현실 공간에서 상기 제1 사용자의 위치 정보를 특정하고, 상기 제1 사용자의 상기 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하며, 상기 전달 범위 내에 존재하는 다른 사용자에게, 상기 음성 신호를 전달하는 제어부를 포함하고,
상기 제어부는,
상기 확장 현실 공간에서 상기 제1 사용자의 시선 정보를 특정하고, 상기 시선 정보에 근거하여, 상기 전달 범위 내에서 상기 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하며, 상기 확장 현실 공간에서 상기 제2 사용자에게, 상기 음성 신호와 함께, 상기 강화 제어명령을 전달하고,
상기 제1 사용자의 상기 시선 정보에 따른 강화 영역에서 상기 제2 사용자가 인식되는 경우, 상기 제2 사용자에게 상기 강화 제어명령에 따라 상기 제1 사용자의 음성이 강화된 음성 신호를 전달하며,
상기 제1 사용자의 상기 시선 정보에 따른 강화 영역에서 특정 가상 객체가 인식되는 경우, 상기 특정 가상 객체로부터 미리 정해진 거리 범위 이내에 위치하는 다른 사용자에게 상기 제1 사용자의 음성이 강화된 음성 신호를 전달하는, 확장 현실 공간에서의 음성 강화 시스템.
An input unit for receiving a voice signal from a first user; and
A control unit configured to specify location information of the first user in an extended reality space, calculate a transmission range for transmitting the voice signal based on the location information of the first user, and transmit the voice signal to another user within the transmission range,
The above control unit,
In the extended reality space, the gaze information of the first user is specified, and based on the gaze information, a second user who is the target of the voice signal to be strengthened and transmitted within the transmission range is detected, and a strengthening control command related to the strengthening of the voice signal is generated, and the strengthening control command is transmitted to the second user in the extended reality space together with the voice signal.
When the second user is recognized in the reinforcement area according to the gaze information of the first user, the voice signal of the first user is reinforced according to the reinforcement control command and is transmitted to the second user.
A voice enhancement system in an extended reality space that transmits a voice signal with the voice of the first user enhanced to another user located within a predetermined distance range from the specific virtual object when a specific virtual object is recognized in the enhancement area according to the gaze information of the first user.
 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서,
상기 프로그램은,
확장 현실 공간에서 제1 사용자의 위치 정보 및 시선 정보를 특정하는 단계;
상기 제1 사용자의 음성 신호를 수신하고, 상기 제1 사용자의 상기 위치 정보에 근거하여, 상기 음성 신호를 전달하기 위한 전달 범위를 산출하는 단계;
상기 시선 정보에 근거하여, 상기 전달 범위 내에서 상기 음성 신호를 강화하여 전달할 대상인 제2 사용자를 검출하고, 상기 음성 신호의 강화와 관련된 강화 제어명령을 생성하는 단계; 및
상기 확장 현실 공간에서 상기 제2 사용자에게, 상기 음성 신호와 함께, 상기 강화 제어명령을 전달하는 단계를 수행하도록 하는 명령어들을 포함하고,
상기 강화 제어명령을 생성하는 단계는,
상기 제1 사용자의 상기 시선 정보에 따른 강화 영역에서 상기 제2 사용자가 인식되는 경우, 상기 제2 사용자에게 상기 강화 제어명령에 따라 상기 제1 사용자의 음성이 강화된 음성 신호를 전달하고,
상기 제1 사용자의 상기 시선 정보에 따른 강화 영역에서 특정 가상 객체가 인식되는 경우, 상기 특정 가상 객체로부터 미리 정해진 거리 범위 이내에 위치하는 다른 사용자에게 상기 제1 사용자의 음성이 강화된 음성 신호를 전달하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.A program that is executed by one or more processes on an electronic device and stored on a computer-readable recording medium.
The above program is,
A step of specifying location information and gaze information of a first user in an extended reality space;
A step of receiving a voice signal of the first user and calculating a transmission range for transmitting the voice signal based on the location information of the first user;
A step of detecting a second user who is a target of strengthening and transmitting the voice signal within the transmission range based on the above gaze information, and generating a strengthening control command related to strengthening the voice signal; and
Includes commands for performing a step of transmitting the enhanced control command together with the voice signal to the second user in the extended reality space,
The step of generating the above-mentioned strengthened control command is:
When the second user is recognized in the reinforcement area according to the gaze information of the first user, the voice signal of the first user is reinforced according to the reinforcement control command and is transmitted to the second user.
A program stored in a computer-readable recording medium, characterized in that when a specific virtual object is recognized in the reinforcement area according to the gaze information of the first user, the program transmits a reinforced voice signal of the first user to another user located within a predetermined distance range from the specific virtual object.
KR1020230150037A 2023-11-02 2023-11-02 Voice enhancement method and system in extended reality space for multi-party voice conversation Active KR102852866B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230150037A KR102852866B1 (en) 2023-11-02 2023-11-02 Voice enhancement method and system in extended reality space for multi-party voice conversation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230150037A KR102852866B1 (en) 2023-11-02 2023-11-02 Voice enhancement method and system in extended reality space for multi-party voice conversation

Publications (2)

Publication Number Publication Date
KR20250064384A KR20250064384A (en) 2025-05-09
KR102852866B1 true KR102852866B1 (en) 2025-09-01

Family

ID=95708583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230150037A Active KR102852866B1 (en) 2023-11-02 2023-11-02 Voice enhancement method and system in extended reality space for multi-party voice conversation

Country Status (1)

Country Link
KR (1) KR102852866B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170339509A1 (en) * 2014-06-23 2017-11-23 Glen A. Norris Sound Localization for an Electronic Call
US20220284706A1 (en) * 2021-03-04 2022-09-08 Carnegie Mellon University Audio and Video Management for Extended Reality Video Conferencing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506293B1 (en) * 2020-10-08 2023-03-06 주식회사 살린 Meeting system in virtual reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170339509A1 (en) * 2014-06-23 2017-11-23 Glen A. Norris Sound Localization for an Electronic Call
US20220284706A1 (en) * 2021-03-04 2022-09-08 Carnegie Mellon University Audio and Video Management for Extended Reality Video Conferencing

Also Published As

Publication number Publication date
KR20250064384A (en) 2025-05-09

Similar Documents

Publication Publication Date Title
CN107930119B (en) Information processing method, information processing device, electronic equipment and storage medium
KR102566358B1 (en) Automobile seat adjustment method, device, equipment and storage medium
JP6942101B2 (en) Visual methods and devices, programs, storage media, electronic devices that compensate for audio information
US10067740B2 (en) Multimodal input system
WO2018018857A1 (en) Gesture control method and apparatus applied to vr device
US20200342669A1 (en) Managing content in augmented reality
US10895966B2 (en) Selection using a multi-device mixed interactivity system
US12393269B2 (en) Calibrating a gaze tracker
US11320894B2 (en) Dynamic control of hovering drone
US11291911B2 (en) Visualization of sound data extending functionality of applications/services including gaming applications/services
US20170351393A1 (en) Auto targeting assistance for input devices
US12218798B2 (en) Virtual gaming environment
US20260111094A1 (en) Displaying an environment from a selected point-of-view
KR102852866B1 (en) Voice enhancement method and system in extended reality space for multi-party voice conversation
EP3864494B1 (en) Locating spatialized sounds nodes for echolocation using unsupervised machine learning
US10878618B2 (en) First-person perspective-mediated reality
CN121794669A (en) Gaze-assisted input for electronic devices
CN109461203B (en) Gesture three-dimensional image generation method and device, computer equipment and storage medium
KR101558094B1 (en) Multi-modal system using for intuitive hand motion and control method thereof
EP3790249A1 (en) A user interface, method, computer program for enabling user-selection of audio content
US20250086872A1 (en) Rigid accessory adjustment
Zielasko et al. Blowclick 2.0: A trigger based on non-verbal vocal input
US12511839B1 (en) Selective hit testing based on a relevancy criterion
EP4614374A1 (en) Method and system for selective object rendering in metaverse
KR20200125062A (en) Method for user input and user interface device executing the method

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

F11 Ip right granted following substantive examination

Free format text: ST27 STATUS EVENT CODE: A-2-4-F10-F11-EXM-PR0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)