JP7537908B2 - Audio distribution delay adjustment device, audio distribution delay adjustment system, and audio distribution delay adjustment program - Google Patents
Audio distribution delay adjustment device, audio distribution delay adjustment system, and audio distribution delay adjustment program Download PDFInfo
- Publication number
- JP7537908B2 JP7537908B2 JP2020081259A JP2020081259A JP7537908B2 JP 7537908 B2 JP7537908 B2 JP 7537908B2 JP 2020081259 A JP2020081259 A JP 2020081259A JP 2020081259 A JP2020081259 A JP 2020081259A JP 7537908 B2 JP7537908 B2 JP 7537908B2
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- audio
- delay
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 26
- 230000003139 buffering effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000003111 delayed effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 239000000872 buffer Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、配信音声遅延調整装置、配信音声遅延調整システム、および配信音声遅延調整プログラムに関する。 The present invention relates to a distribution audio delay adjustment device, a distribution audio delay adjustment system, and a distribution audio delay adjustment program.
コンサートや航空ショー等のイベントをイベント会場で観覧する際に、楽しい実況や詳しい解説を聴きながら観覧したいというニーズがある。また、近年では、テレビで放送されるスポーツイベントの生中継等を鑑賞する際に、テレビ番組によって公式に提供される実況や解説だけでなく、多種多様なキャスターによる実況や解説を聴きながら中継を鑑賞したいというニーズも生まれている。 When watching events such as concerts and air shows at the event venue, there is a need to be able to listen to entertaining commentary and detailed explanations. In recent years, when watching live broadcasts of sporting events on television, there is also a need to be able to watch the broadcast while listening to commentary and explanations by a wide variety of casters, in addition to the commentary and explanations officially provided by the television program.
しかしながら、たとえば敷地の広いイベント会場でユーザーがイベントを鑑賞する際、イベントが行われている位置と、イベントを鑑賞するユーザーの位置との距離が離れている場合、イベントにおいて発生した音声は、距離に応じて遅延してユーザーに到達する。また、テレビの生中継は、デジタル放送におけるエンコードおよびデコード等の影響により、映像が撮影されている現地の時刻よりも、少なくとも2~3秒程度遅延して放送されることが知られている。この遅延時間は、経由するネットワークや機器、受像機のデコード性能等によっても変動し、さらに、放送局の都合等によって、テレビの生中継は数分程度遅延させて放映されることもある。一方、これらのイベント会場やテレビの生中継における遅延に比べて、インターネット等を介して音声を配信する場合、遅延は1秒程度に抑えられる。 However, for example, when a user is watching an event at a large event venue, if the location where the event is taking place is far from the location of the user watching the event, the audio generated at the event will reach the user with a delay according to the distance. It is also known that live television broadcasts are broadcast with a delay of at least 2 to 3 seconds from the local time when the video was shot, due to the effects of encoding and decoding in digital broadcasting. This delay time varies depending on the network, equipment, and decoding performance of the receiver that are passed through, and furthermore, live television broadcasts may be delayed by a few minutes due to the convenience of the broadcasting station. On the other hand, when audio is distributed over the Internet, the delay is kept to around 1 second, compared to the delay at these event venues and live television broadcasts.
したがって、イベント会場でイベントを鑑賞するユーザーや、テレビで放映されるイベントの映像を視聴するユーザーに向けて、同じイベントの解説・実況等の音声をインターネット経由で配信する場合、次のような問題が生じる。まず、イベント会場のユーザーにおいては、イベントにおいて実際に発生している音声と配信される音声との間でタイミングのずれが生じてしまう。たとえば、コンサート会場において次の曲が聞こえてくる前に、配信される音声によって次の曲名が告げられてしまっては、ユーザーにとっては興醒めであり、演者にとっても不都合である。また、テレビを視聴するユーザーにおいては、テレビの映像と配信される音声のタイミングがずれてしまうという問題がある。たとえば、サッカーの試合の中継等において、映像ではまだゴールが決められていないのに、音声ではゴールが決められたことが伝えられてしまっては、ユーザーにとって興醒めであり不都合である。 Therefore, when audio such as commentary and live coverage of an event is distributed via the Internet to users watching the event at the event venue or to users watching the event on television, the following problems arise. First, for users at the event venue, there is a timing discrepancy between the audio actually occurring at the event and the distributed audio. For example, at a concert venue, if the name of the next song is announced by the distributed audio before the next song is heard, it is a letdown for the user and an inconvenience for the performer. Also, for users watching television, there is a problem of a discrepancy in timing between the television image and the distributed audio. For example, in a live broadcast of a soccer game, if the audio announces that a goal has been scored even though the image shows that the goal has not yet been scored, it is a letdown and an inconvenience for the user.
上記のような問題に関連して、放送局において、放送とストリーミングの両方を用いて映像および音声を配信する場合に、放送とストリーミングのタイミングを同期させる技術が開示されている(特許文献1参照)。特許文献1には、ストリーミング情報に収録時刻情報を予め付加しておくとともに、受信装置において放送信号の受信時刻情報を記録しておき、受信装置においてストリーミング情報の収録時刻情報と放送の受信時刻情報とが同期するようにストリーミング情報と放送信号を再生することが記載されている。 In relation to the above problems, a technology has been disclosed for synchronizing the timing of broadcasting and streaming when a broadcasting station distributes video and audio using both broadcasting and streaming (see Patent Document 1). Patent Document 1 describes a technique for adding recording time information to streaming information in advance, recording reception time information of the broadcast signal in a receiving device, and reproducing the streaming information and broadcast signal in the receiving device so that the recording time information of the streaming information and the reception time information of the broadcast are synchronized.
しかしながら、上記特許文献1記載の技術は、1つの放送局においてストリーミング情報および放送信号を生成して、1つの受信装置においてそれらを受信する場合にのみ適用可能な技術であり、本発明において問題としている上記のような状況については何ら考慮されていない。 However, the technology described in Patent Document 1 is applicable only when streaming information and broadcast signals are generated at one broadcasting station and received at one receiving device, and does not take into consideration the above-mentioned situation that is the problem of the present invention.
本発明は、上記のような事情に鑑みてなされたものであり、開催されるイベントに合わせて解説・実況等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる配信音声遅延調整装置、配信音声遅延調整システム、および配信音声遅延調整プログラムを提供することを目的とする。 The present invention has been made in consideration of the above circumstances, and aims to provide a distribution audio delay adjustment device, a distribution audio delay adjustment system, and a distribution audio delay adjustment program that can appropriately adjust the timing at which audio is output to users when audio such as commentary and live commentary is distributed in real time to coincide with an event being held.
上記目的は、下記の手段によって達成される。 The above objectives will be achieved by the following means:
配信音声遅延調整装置は、取得部、配信部、調整部、および特定部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。配信部は、取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。特定部は、イベントに関する音声の発生位置と、配信音声情報を出力するユーザー端末の位置との間の距離を特定する。調整部は、特定部によって特定された距離に応じて遅延の程度を調整する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信する。
また、配信音声遅延調整装置は、取得部、配信部、調整部、および設定部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。配信部は、取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。設定部は、遅延の程度を調整するための遅延設定を受け付ける。設定部は、ユーザー端末においてユーザーから受け付けられた指示に基づいて、遅延設定を受け付ける。調整部は、設定部において受け付けられた遅延設定を考慮して、遅延の程度を調整する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信する。
また、配信音声遅延調整装置は、取得部、配信部、および調整部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。配信音声は、テレビ放送されるイベントの映像に合わせてリアルタイム配信するためのものであり、映像には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が表示される。調整部は、映像および配信音声を視聴するユーザーが使用するユーザー端末において、映像を撮影して解析し、当該映像に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、遅延の程度を調整する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信する。
また、配信音声遅延調整装置は、取得部、配信部、および調整部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。配信音声は、テレビ放送されるイベントの映像に合わせてリアルタイム配信するためのものであり、映像に含まれる映像内音声には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が含まれる。調整部は、映像および配信音声を視聴するユーザーが使用するユーザー端末において、映像内音声を取得して解析し、当該映像内音声に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、遅延の程度を調整する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信する。
また、配信音声遅延調整装置は、取得部、配信部、および調整部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。配信部は、取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信するものであって、配信部は、予め用意された配信タイミングの異なる複数の配信音声情報を配信可能であり、遅延の程度に応じて、複数の配信音声情報の中から使用する配信音声情報を選択することによって、配信音声情報がユーザー端末において出力されるタイミングを調整する。
また、配信音声遅延調整装置は、取得部、配信部、および調整部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。配信部は、取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。取得部は、配信音声情報に基づいて配信音声をテキスト化した情報であるテキスト情報を取得する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信する。
The distributed audio delay adjustment device has an acquisition unit, a distribution unit, an adjustment unit, and a determination unit . The acquisition unit acquires, from a distribution terminal, distributed audio information related to distributed audio for real-time distribution in accordance with an event being held. The distribution unit is configured to be able to distribute, in real time, the distributed audio information acquired by the acquisition unit to a user terminal of a user who listens to the distributed audio. The adjustment unit adjusts the degree of delay in the timing at which the distributed audio information is output at the user terminal. The determination unit determines the distance between the generation position of audio related to the event and the position of the user terminal that outputs the distributed audio information . The adjustment unit adjusts the degree of delay in accordance with the distance determined by the determination unit. The distribution unit distributes the distributed audio information in accordance with the degree of delay adjusted by the adjustment unit.
The distribution audio delay adjustment device also has an acquisition unit, a distribution unit, an adjustment unit, and a setting unit. The acquisition unit acquires distribution audio information related to distribution audio for real-time distribution in accordance with an event to be held from a distribution terminal. The distribution unit is configured to be able to distribute the distribution audio information acquired by the acquisition unit in real time to a user terminal of a user who listens to the distribution audio. The adjustment unit adjusts the degree of delay in the timing at which the distribution audio information is output at the user terminal. The setting unit accepts a delay setting for adjusting the degree of delay. The setting unit accepts the delay setting based on an instruction accepted from a user at the user terminal. The adjustment unit adjusts the degree of delay in consideration of the delay setting accepted by the setting unit. The distribution unit distributes the distribution audio information according to the degree of delay adjusted by the adjustment unit.
The delivery audio delay adjustment device also includes an acquisition unit, a delivery unit, and an adjustment unit. The acquisition unit acquires delivery audio information related to the delivery audio for real-time delivery in accordance with an event to be held from a delivery terminal. The delivery audio information acquired by the acquisition unit is configured to be able to be delivered in real time to a user terminal of a user who listens to the delivery audio. The adjustment unit adjusts the degree of delay in the timing at which the delivery audio information is output at the user terminal. The delivery audio is for real-time delivery in accordance with video of an event broadcast on television, and timestamp information indicating a timestamp related to the video is displayed on the video. The adjustment unit photographs and analyzes the video at a user terminal used by a user who watches the video and delivery audio, and adjusts the degree of delay based on the timestamp obtained by acquiring timestamp information included in the video. The delivery unit delivers the delivery audio information in accordance with the degree of delay adjusted by the adjustment unit.
The delivery audio delay adjustment device also includes an acquisition unit, a delivery unit, and an adjustment unit. The acquisition unit acquires delivery audio information related to the delivery audio for real-time delivery in accordance with an event to be held from a delivery terminal. The delivery audio information acquired by the acquisition unit is configured to be able to be delivered in real time to a user terminal of a user who listens to the delivery audio. The adjustment unit adjusts the degree of delay in the timing at which the delivery audio information is output at the user terminal. The delivery audio is for real-time delivery in accordance with a video of an event broadcast on television, and the in-video audio included in the video includes timestamp information indicating a timestamp related to the video. The adjustment unit acquires and analyzes the in-video audio at a user terminal used by a user who watches the video and delivery audio, and adjusts the degree of delay based on the timestamp obtained by acquiring the timestamp information included in the in-video audio. The delivery unit delivers the delivery audio information according to the degree of delay adjusted by the adjustment unit.
The delivery audio delay adjustment device also includes an acquisition unit, a delivery unit, and an adjustment unit. The acquisition unit acquires delivery audio information related to the delivery audio to be delivered in real time in accordance with an event to be held from a delivery terminal. The delivery unit is configured to be able to deliver the delivery audio information acquired by the acquisition unit in real time to a user terminal of a user who listens to the delivery audio. The adjustment unit adjusts the degree of delay in the timing at which the delivery audio information is output at the user terminal. The delivery unit delivers the delivery audio information according to the degree of delay adjusted by the adjustment unit, and is capable of delivering a plurality of delivery audio information with different delivery timings prepared in advance, and adjusts the timing at which the delivery audio information is output at the user terminal by selecting the delivery audio information to be used from the plurality of delivery audio information according to the degree of delay.
The distributed audio delay adjustment device also has an acquisition unit, a distribution unit, and an adjustment unit. The acquisition unit acquires distributed audio information related to the distributed audio for real-time distribution in accordance with an event being held from a distribution terminal. The distribution unit is configured to be able to distribute the distributed audio information acquired by the acquisition unit in real time to a user terminal of a user who listens to the distributed audio. The adjustment unit adjusts the degree of delay in the timing at which the distributed audio information is output at the user terminal. The acquisition unit acquires text information, which is information obtained by converting the distributed audio into text, based on the distributed audio information. The distribution unit distributes the distributed audio information according to the degree of delay adjusted by the adjustment unit.
配信音声遅延調整システムは、上記の配信音声遅延調整装置と、配信される配信音声情報を受信するユーザー端末とを有する。ユーザー端末は、配信音声情報が遅延の程度に沿って出力されるように、配信音声情報の出力タイミングを調整する出力部を有する。 The distributed audio delay adjustment system includes the above-mentioned distributed audio delay adjustment device and a user terminal that receives the distributed audio information. The user terminal includes an output unit that adjusts the output timing of the distributed audio information so that the distributed audio information is output in accordance with the degree of delay.
配信音声遅延調整プログラムは、ステップ(a)、ステップ(a1)、ステップ(b)、およびステップ(c)をコンピューターに実行させるように構成される。ステップ(a)は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。ステップ(a1)は、イベントに関する音声の発生位置と、配信音声情報を出力するユーザー端末の位置との間の距離を特定する。ステップ(b)は、ステップ(a)において取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信する。ステップ(c)は、ステップ(a1)によって特定された距離に応じて遅延の程度を調整する。ステップ(c)は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。ステップ(b)は、ステップ(c)において調整された遅延の程度に応じて配信音声情報を配信する。
また、配信音声遅延調整プログラムは、ステップ(a)、ステップ(b)、ステップ(c)、およびステップ(c1)をコンピューターに実行させるように構成される。ステップ(a)は、ステップ(a)は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。ステップ(b)は、ステップ(a)において取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信する。ステップ(c)は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。ステップ(c1)は、ユーザー端末においてユーザーから受け付けられた指示に基づいて、遅延の程度を調整するための遅延設定を受け付ける。ステップ(c)は、ステップ(c1)によって受け付けられた遅延設定を考慮して、遅延の程度を調整する。ステップ(b)は、ステップ(c)において調整された遅延の程度に応じて配信音声情報を配信する。
The distributed audio delay adjustment program is configured to cause a computer to execute steps (a), (a1), (b), and (c). Step (a) acquires distributed audio information related to distributed audio for real-time distribution in accordance with an event to be held from a distribution terminal. Step (a1) identifies the distance between the location of the sound related to the event and the location of the user terminal that outputs the distributed audio information . Step (b) distributes the distributed audio information acquired in step (a) in real time to the user terminal of the user who listens to the distributed audio. Step (c) adjusts the degree of delay according to the distance identified by step (a1) . Step (c) adjusts the degree of delay in the timing at which the distributed audio information is output at the user terminal. Step (b) distributes the distributed audio information according to the degree of delay adjusted in step (c).
The distributed audio delay adjustment program is configured to cause a computer to execute steps (a), (b), (c), and (c1). Step (a) acquires distributed audio information related to distributed audio for real-time distribution in accordance with an event to be held from a distribution terminal. Step (b) distributes the distributed audio information acquired in step (a) in real time to a user terminal of a user who listens to the distributed audio. Step (c) adjusts the degree of delay of the timing at which the distributed audio information is output at the user terminal. Step (c1) accepts a delay setting for adjusting the degree of delay based on an instruction accepted from a user at the user terminal. Step (c) adjusts the degree of delay in consideration of the delay setting accepted in step (c1). Step (b) distributes the distributed audio information according to the degree of delay adjusted in step (c).
本発明の配信音声遅延調整装置によれば、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得して、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信する際に、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整し、調整された遅延の程度に応じて配信音声情報を遅延させて配信する。これにより、開催されるイベントに合わせて解説・実況等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる。 According to the distributed audio delay adjustment device of the present invention, distributed audio information regarding distributed audio for real-time distribution in accordance with an event being held is acquired from a distribution terminal, and when distributing the distributed audio in real time to a user terminal of a user who listens to the distributed audio, the degree of delay in the timing at which the distributed audio information is output at the user terminal is adjusted, and the distributed audio information is delayed and distributed according to the adjusted degree of delay. This makes it possible to appropriately adjust the timing at which audio is output to the user when audio such as commentary and live commentary is distributed in real time in accordance with an event being held.
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。 Hereinafter, an embodiment of the present invention will be described with reference to the attached drawings. Note that in the description of the drawings, the same elements are given the same reference numerals, and duplicate descriptions will be omitted. Also, the dimensional ratios in the drawings have been exaggerated for the convenience of explanation, and may differ from the actual ratios.
<第1実施形態>
第1実施形態においては、イベント会場でイベントを観覧するユーザーに対してリアルタイム配信される音声の遅延を調整する例について説明する。
First Embodiment
In the first embodiment, an example will be described in which a delay in audio distributed in real time to users watching an event at an event venue is adjusted.
<システムの全体構成>
図1は、第1実施形態に係る配信音声遅延調整装置が適用される配信音声遅延調整システムの概略構成を示す図である。本実施形態の配信音声遅延調整システムは、イベント会場でイベントを観覧するユーザーのユーザー端末10にリアルタイム配信される配信音声の遅延を調整する。
<Overall system configuration>
1 is a diagram showing a schematic configuration of a distribution audio delay adjustment system to which a distribution audio delay adjustment device according to a first embodiment is applied. The distribution audio delay adjustment system of this embodiment adjusts the delay of distribution audio that is distributed in real time to a user terminal 10 of a user watching an event at an event venue.
図1に示すように、配信音声遅延調整システムは、ユーザー端末10、配信用端末20、およびサーバー30から構成される。 As shown in FIG. 1, the distribution audio delay adjustment system is composed of a user terminal 10, a distribution terminal 20, and a server 30.
ユーザー端末10は、リアルタイム配信される音声を聴取するユーザーが使用するスマートフォン、タブレットPC等の情報端末である。 The user terminal 10 is an information terminal such as a smartphone or tablet PC used by a user who wants to listen to the audio being distributed in real time.
配信用端末20は、音声をリアルタイム配信する配信者が使用する端末または装置である。 The distribution terminal 20 is a terminal or device used by a distributor to distribute audio in real time.
サーバー30は、たとえば、配信用端末20を用いたリアルタイム配信サービスを提供する事業者によって設けられ、配信用端末20から送信された配信音声情報をユーザー端末10に配信する。サーバー30は、互いに配信タイミングが異なる複数の配信音声情報を保有し、ユーザー端末10に配信する。なお、サーバー30は、1つだけ設けられ、1つのサーバー30が配信タイミングを異ならせて配信音声情報をユーザー端末10に配信してもよい。あるいは、サーバー30は複数設けられてもよい。この場合、各サーバー30は、通信環境やネットワーク遅延が異なるように互いに隔離されて配置されてもよい。 The server 30 is provided, for example, by a business that provides a real-time distribution service using the distribution terminal 20, and distributes distribution audio information sent from the distribution terminal 20 to the user terminal 10. The server 30 holds multiple pieces of distribution audio information with different distribution timings, and distributes them to the user terminal 10. Note that only one server 30 may be provided, and the single server 30 may distribute distribution audio information to the user terminal 10 with different distribution timings. Alternatively, multiple servers 30 may be provided. In this case, the servers 30 may be located isolated from each other so that they have different communication environments and network delays.
各構成は、ネットワークを介して接続され、有線または無線の各種通信方式によって通信可能である。以下、各構成について詳細に説明する。 Each component is connected via a network and can communicate using various wired or wireless communication methods. Each component is described in detail below.
<ユーザー端末10>
図2は、ユーザー端末の概略構成を示すブロック図である。
<User terminal 10>
FIG. 2 is a block diagram showing a schematic configuration of a user terminal.
図2に示すように、ユーザー端末10は、制御部11、記憶部12、通信部13、操作表示部14、および音声入出力部15を備える。各構成要素は、バスを介して相互に通信可能に接続されている。 As shown in FIG. 2, the user terminal 10 includes a control unit 11, a memory unit 12, a communication unit 13, an operation display unit 14, and a voice input/output unit 15. Each component is connected to each other via a bus so that they can communicate with each other.
制御部11は、CPU(Central Processing Unit)を備え、プログラムに従い、上述した各構成要素の制御や各種の演算処理を実行する。本実施形態において、制御部11は、出力部として機能する。 The control unit 11 includes a CPU (Central Processing Unit) and controls the above-mentioned components and executes various calculation processes according to a program. In this embodiment, the control unit 11 functions as an output unit.
記憶部12は、予め各種プログラムや各種データを記憶するROM(Read Only Memory)、作業領域として一時的にプログラムやデータを記憶するRAM(Random Access Memory)、各種プログラムや各種データを記憶するハードディスク等を備える。 The storage unit 12 includes a ROM (Read Only Memory) that stores various programs and data in advance, a RAM (Random Access Memory) that temporarily stores programs and data as a working area, and a hard disk that stores various programs and data.
通信部13は、ネットワークを介して、他の端末や装置と通信するためのインターフェースを備える。通信部13は、たとえば、サーバー30と各種データの送受信を行う。 The communication unit 13 has an interface for communicating with other terminals and devices via a network. The communication unit 13 transmits and receives various data to and from the server 30, for example.
操作表示部14は、たとえば、タッチパネル式のディスプレイであり、各種情報を表示すると共に、ユーザーからの各種入力を受け付ける。 The operation display unit 14 is, for example, a touch panel display that displays various information and accepts various inputs from the user.
音声入出力部15は、音声を入力するためのマイクまたは音声入力端子等と、音声を出力するためのスピーカーまたは音声出力端子等によって構成される。音声入出力部15は、たとえば、サーバー30から取得された配信音声情報に対応する音声を出力したり、音声の入力を受け付けたりする。 The audio input/output unit 15 is composed of a microphone or an audio input terminal for inputting audio, and a speaker or an audio output terminal for outputting audio. For example, the audio input/output unit 15 outputs audio corresponding to distributed audio information acquired from the server 30, and receives audio input.
<配信用端末20>
図3は、配信用端末の概略構成を示すブロック図である。
<Delivery Terminal 20>
FIG. 3 is a block diagram showing a schematic configuration of the distribution terminal.
図3に示すように、配信用端末20は、制御部21、記憶部22、通信部23、操作表示部24、および音声入出力部25を備える。各構成要素は、バスを介して相互に通信可能に接続されている。 As shown in FIG. 3, the distribution terminal 20 includes a control unit 21, a memory unit 22, a communication unit 23, an operation display unit 24, and an audio input/output unit 25. Each component is connected to each other via a bus so that they can communicate with each other.
配信用端末20の制御部21、記憶部22、通信部23、操作表示部24、および音声入出力部25は、ユーザー端末10の制御部11、記憶部12、通信部13、操作表示部14、および音声入出力部15と同様の機能を有するため、さらなる説明を省略する。配信用端末20の制御部21や音声入出力部25等の各構成は、高品質なリアルタイム音声配信を実現するため、専用の高性能な機材によって構成されうる。たとえば、配信用端末20は、高性能なマイクおよびヘッドフォンを有するヘッドセットと、マイクによって取得された音声情報をリアルタイム配信に有利な形式のデータに変換するプロセッサーと、生成されたデータを送信する通信モジュール等とをケースに一体的に収納して構成される。 The control unit 21, memory unit 22, communication unit 23, operation display unit 24, and audio input/output unit 25 of the distribution terminal 20 have the same functions as the control unit 11, memory unit 12, communication unit 13, operation display unit 14, and audio input/output unit 15 of the user terminal 10, so further explanation will be omitted. Each component of the distribution terminal 20, such as the control unit 21 and audio input/output unit 25, can be composed of dedicated high-performance equipment to achieve high-quality real-time audio distribution. For example, the distribution terminal 20 is composed of a headset with a high-performance microphone and headphones, a processor that converts audio information acquired by the microphone into data in a format advantageous for real-time distribution, and a communication module that transmits the generated data, all housed together in a case.
<サーバー30>
図4は、サーバーの概略構成を示すブロック図である。
<Server 30>
FIG. 4 is a block diagram showing a schematic configuration of the server.
図4に示すように、サーバー30は、制御部31、記憶部32、および通信部33を備える。各構成要素は、バスを介して相互に通信可能に接続されている。本実施形態において、サーバー30は、配信音声遅延調整装置として機能する。 As shown in FIG. 4, the server 30 includes a control unit 31, a storage unit 32, and a communication unit 33. The components are connected to each other via a bus so that they can communicate with each other. In this embodiment, the server 30 functions as a distribution audio delay adjustment device.
サーバー30の制御部31、記憶部32、および通信部33は、ユーザー端末10の制御部11、記憶部12、および通信部13と同様の機能を有するため、さらなる説明を省略する。 The control unit 31, memory unit 32, and communication unit 33 of the server 30 have the same functions as the control unit 11, memory unit 12, and communication unit 13 of the user terminal 10, so further explanation will be omitted.
記憶部32には、配信用端末20から送信された配信音声情報が記憶される。また、記憶部32には、配信タイミングや遅延時間に関する情報も記憶される。また、記憶部32には、イベントに関する音声の発生位置である音源の位置に関する情報や、ユーザー端末10の位置に関する情報も記憶される。音源の位置に関する情報は、イベントごとに予め設定されてもよく、音源に設けた情報端末によって取得されたGPS位置情報をサーバー30に送信することによって取得されてもよい。ユーザー端末10の位置に関する情報は、たとえばユーザー端末10によって取得されたGPS位置情報をサーバー30に送信することによって取得される。上記の位置に関する情報は、たとえば緯度経度等の所定の座標系における位置に対応する座標情報として記憶される。 The storage unit 32 stores the distribution audio information transmitted from the distribution terminal 20. The storage unit 32 also stores information related to distribution timing and delay time. The storage unit 32 also stores information related to the position of the sound source, which is the position where the sound related to the event is generated, and information related to the position of the user terminal 10. The information related to the position of the sound source may be set in advance for each event, or may be acquired by transmitting GPS position information acquired by an information terminal provided in the sound source to the server 30. The information related to the position of the user terminal 10 is acquired, for example, by transmitting GPS position information acquired by the user terminal 10 to the server 30. The above-mentioned information related to the position is stored as coordinate information corresponding to a position in a predetermined coordinate system, such as latitude and longitude.
<サーバー30の機能>
図5は、サーバー制御部の機能構成を示すブロック図である。
<Functions of Server 30>
FIG. 5 is a block diagram showing the functional configuration of the server control unit.
図5に示すように、サーバー30の制御部31は、プログラムを読み込んで処理を実行することによって、取得部311、配信部312、調整部313、特定部314、および設定部315として機能する。 As shown in FIG. 5, the control unit 31 of the server 30 functions as an acquisition unit 311, a distribution unit 312, an adjustment unit 313, an identification unit 314, and a setting unit 315 by loading a program and executing processing.
取得部311は、開催されるイベントに合わせてリアルタイム配信される配信音声に関する配信音声情報を配信用端末20から取得する
配信部312は、取得部311によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末10にリアルタイムで配信可能に構成される。
The acquisition unit 311 acquires from the distribution terminal 20 distribution audio information regarding the distribution audio that is distributed in real time in accordance with the event being held. The distribution unit 312 is configured to be able to distribute the distribution audio information acquired by the acquisition unit 311 in real time to the user terminal 10 of the user who is listening to the distribution audio.
調整部313は、配信音声情報がユーザー端末10において出力されるタイミングの遅延の程度を調整する。 The adjustment unit 313 adjusts the degree of delay in the timing at which the distributed audio information is output at the user terminal 10.
特定部314は、イベントに関する音声の発生位置と、配信音声情報を出力するユーザー端末10の位置との間の距離を特定する。 The determination unit 314 determines the distance between the location where the sound related to the event is generated and the location of the user terminal 10 that outputs the distributed sound information.
設定部315は、遅延の程度を調整するための遅延設定を受け付ける。 The setting unit 315 accepts delay settings to adjust the degree of delay.
<第1実施形態の配信音声遅延調整システムにおける処理>
図6Aは、第1実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れの一例を示すシーケンスチャートである。図6Bは、第1実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れの他の例を示すシーケンスチャートである。図6Aおよび図6Bのシーケンスチャートに示される各構成の処理は、各構成の記憶部にプログラムとして記憶されており、各装置の制御部が各部を制御することにより実行される。
<Processing in the distribution audio delay adjustment system of the first embodiment>
Fig. 6A is a sequence chart showing an example of a flow of processing executed in the delivery audio delay adjustment system according to the first embodiment. Fig. 6B is a sequence chart showing another example of a flow of processing executed in the delivery audio delay adjustment system according to the first embodiment. The processing of each component shown in the sequence charts of Fig. 6A and Fig. 6B is stored as a program in the storage unit of each component, and is executed by the control unit of each device controlling each unit.
図6Aに示すように、配信用端末20は、音声入出力部25を介して、配信者によって発せられる配信用の音声である配信音声を取得する(ステップS201)。 As shown in FIG. 6A, the distribution terminal 20 acquires distribution audio, which is audio for distribution uttered by the distributor, via the audio input/output unit 25 (step S201).
続いて、配信用端末20は、ステップS201の処理において取得した配信音声に基づいて、リアルタイム配信に適した形式の配信音声情報を生成し(ステップS202)、サーバー30に送信する。 Next, the distribution terminal 20 generates distribution audio information in a format suitable for real-time distribution based on the distribution audio acquired in the processing of step S201 (step S202) and transmits it to the server 30.
ユーザー端末10は、操作表示部14の操作等を介してユーザーから音声配信指示を受け付け(ステップS101)、サーバー30に音声配信要求を送信する。 The user terminal 10 receives an audio distribution instruction from the user via operation of the operation display unit 14, etc. (step S101), and transmits an audio distribution request to the server 30.
サーバー30は、イベントに関する音声の発生位置である音源の位置と、ユーザー端末10の位置との間の距離を特定する(ステップS301)。サーバー30は、記憶部32に記憶されている音源の位置に関する情報とユーザー端末10の位置に関する情報に基づいて、音源の位置とユーザー端末10の位置との間の距離を算出して特定する。 The server 30 determines the distance between the position of the sound source, which is the position where sound related to the event is generated, and the position of the user terminal 10 (step S301). The server 30 calculates and determines the distance between the position of the sound source and the position of the user terminal 10 based on information related to the position of the sound source stored in the storage unit 32 and information related to the position of the user terminal 10.
サーバー30は、ステップS301の処理において特定された音源の位置と、ユーザー端末10の位置との間の距離に応じて、配信音声情報をユーザー端末10に配信するタイミングの遅延の程度を調整する(ステップS302)。たとえば、野外イベント等において音源とユーザー端末10とが1km程度離れている場合、音源において発生する音声が、空気中を伝わってユーザーの位置に届くまでには3秒程度かかる。一方、リアルタイム配信される音声は、1秒程度の遅延でユーザー端末10に届いてしまう。この場合、サーバー30は、ユーザー端末10の位置との間の距離に応じて、配信音声情報をユーザー端末10に配信するタイミングを2秒程度遅延させるように遅延の程度を調整する。 The server 30 adjusts the degree of delay in the timing of delivering the delivery audio information to the user terminal 10 according to the distance between the position of the sound source identified in the processing of step S301 and the position of the user terminal 10 (step S302). For example, if the sound source and the user terminal 10 are about 1 km apart at an outdoor event, it takes about 3 seconds for the sound generated at the sound source to travel through the air and reach the user's position. On the other hand, sound delivered in real time reaches the user terminal 10 with a delay of about 1 second. In this case, the server 30 adjusts the degree of delay so that the timing of delivering the delivery audio information to the user terminal 10 is delayed by about 2 seconds according to the distance between the user terminal 10 and the position of the user terminal 10.
このとき、サーバー30は、自機の中で配信タイミングの異なる複数の配信音声情報のファイルを用意しておき、その中から適切なファイルを選択して配信してもよい。あるいは、サーバー30は、配信タイミングの異なる別のサーバー30から配信音声情報を配信させてもよい。 At this time, the server 30 may prepare multiple files of distributed audio information with different distribution timings in its own device and select an appropriate file from among them to distribute. Alternatively, the server 30 may distribute the distributed audio information from another server 30 with a different distribution timing.
サーバー30は、ステップS302の処理において遅延の程度を調整した上で、配信音声情報をユーザー端末10に送信する。サーバー30は、配信音声情報とあわせて、配信タイミングの遅延の程度を示す情報をユーザー端末10に送信する。 The server 30 adjusts the degree of delay in the processing of step S302 and then transmits the distribution audio information to the user terminal 10. The server 30 transmits information indicating the degree of delay in the distribution timing together with the distribution audio information to the user terminal 10.
ユーザー端末10は、サーバー30から送信された配信音声情報に基づいて、音声入出力部15を介して配信音声を出力する(ステップS102)。 The user terminal 10 outputs the distributed audio via the audio input/output unit 15 based on the distributed audio information transmitted from the server 30 (step S102).
続いて、ユーザー端末10は、ユーザーから遅延設定を受け付けたか否かを判断する(ステップS103)。ユーザーは、ユーザー端末10から出力された配信音声を聴いて、イベントの音源から直接届く音とタイミングが合っているか否かを判断し、判断結果に応じてユーザー端末10に遅延設定(遅延時間設定)を入力する。ユーザー端末10は、たとえば遅延設定を調整するためのスライダー型のスイッチまたはボタンを操作表示部14に表示して、ユーザーからの操作を受け付けることによって遅延設定を受け付ける。 The user terminal 10 then determines whether a delay setting has been accepted from the user (step S103). The user listens to the distributed audio output from the user terminal 10, judges whether the timing matches with the sound arriving directly from the sound source of the event, and inputs a delay setting (delay time setting) into the user terminal 10 based on the judgment result. The user terminal 10 accepts the delay setting by displaying, for example, a slider-type switch or button for adjusting the delay setting on the operation display unit 14 and accepting an operation from the user.
遅延設定を受け付けていない場合(ステップS103:NO)、ユーザー端末10は、ステップS104の処理に進む。 If the delay setting has not been accepted (step S103: NO), the user terminal 10 proceeds to processing in step S104.
遅延設定を受け付けている場合(ステップS103:YES)、ユーザー端末10は、受け付けた遅延設定を示す情報をサーバー30に送信する。 If the delay setting has been accepted (step S103: YES), the user terminal 10 transmits information indicating the accepted delay setting to the server 30.
サーバー30は、ユーザー端末10から送信された遅延設定に基づいて、遅延の程度を再度調整し(ステップS303)、配信タイミングが調整された配信音声情報をユーザー端末10に送信する。このとき、サーバー30は、配信音声情報とあわせて、配信タイミングの遅延の程度を示す情報をユーザー端末10に送信する。 The server 30 readjusts the degree of delay based on the delay setting transmitted from the user terminal 10 (step S303), and transmits the distribution audio information with the adjusted distribution timing to the user terminal 10. At this time, the server 30 transmits information indicating the degree of delay in the distribution timing together with the distribution audio information to the user terminal 10.
続いて、ユーザー端末10は、出力タイミングの調整が必要であるか否かを判断する(ステップS104)。ユーザー端末10は、たとえばステップS103の処理において受け付けた遅延設定と、サーバー30から送信された配信音声情報の遅延の程度を示す情報に基づいて、出力タイミングの調整の要否を判断する。あるいは、ユーザー端末10は、サーバー30から送信された配信音声情報を出力して、配信音声を聴いたユーザーから出力タイミングの調整の要否に関する指示を受け付けてもよい。 The user terminal 10 then determines whether or not adjustment of the output timing is necessary (step S104). The user terminal 10 determines whether or not adjustment of the output timing is necessary based on, for example, the delay setting received in the processing of step S103 and information indicating the degree of delay of the distributed audio information transmitted from the server 30. Alternatively, the user terminal 10 may output the distributed audio information transmitted from the server 30 and receive an instruction from a user who listens to the distributed audio as to whether or not adjustment of the output timing is necessary.
出力タイミングの調整が必要でない場合(ステップS104:NO)、ユーザー端末10は、ステップS106の処理に進む。 If adjustment of the output timing is not required (step S104: NO), the user terminal 10 proceeds to processing in step S106.
出力タイミングの調整が必要である場合(ステップS104:YES)、ユーザー端末10は、サーバー30から送信された配信音声情報を出力するタイミングを調整する(ステップS105)。たとえば、ユーザー端末10は、サーバー30から送信された配信音声情報をすぐに出力せずに、所定の時間バッファリングしてから出力することによって、出力タイミングを調整する。 If adjustment of the output timing is necessary (step S104: YES), the user terminal 10 adjusts the timing of outputting the distributed audio information transmitted from the server 30 (step S105). For example, the user terminal 10 adjusts the output timing by buffering the distributed audio information transmitted from the server 30 for a predetermined period of time before outputting it, rather than immediately outputting it.
続いて、ユーザー端末10は、サーバー30から送信された配信音声情報に基づいて、音声入出力部15を介して配信音声を出力する(ステップS106)。 Next, the user terminal 10 outputs the distributed audio via the audio input/output unit 15 based on the distributed audio information transmitted from the server 30 (step S106).
なお、上記のステップS103の遅延設定に関する処理と、ステップS104~S105の出力タイミングの調整に関する処理とは、あわせて実行されてもよく、あるいはいずれかの処理が択一的に実行されてもよい。たとえば、ステップS103の処理においてユーザーが配信音声を2秒遅延させたいという指示をユーザー端末10に入力した場合、ユーザー端末10は、サーバー30に対して配信タイミングを1秒遅延させるための遅延設定を送信して1秒遅延した配信音声情報を取得し、取得した配信音声情報を1秒バッファリングしてから出力してもよい。これにより、ユーザーが所望する配信音声の2秒遅延を実現できる。 The process relating to the delay setting in step S103 and the process relating to the output timing adjustment in steps S104 to S105 may be executed together, or one of the processes may be executed selectively. For example, if the user inputs an instruction to the user terminal 10 in the process of step S103 to delay the distribution audio by 2 seconds, the user terminal 10 may send a delay setting for delaying the distribution timing by 1 second to the server 30, obtain distribution audio information delayed by 1 second, and buffer the obtained distribution audio information for 1 second before outputting it. This makes it possible to achieve the 2-second delay in distribution audio desired by the user.
また、上記の図6Aの例では、ステップS301の処理において、サーバー30によって音源の位置とユーザー端末10の位置との間の距離が特定される例について説明したが、当該距離はユーザー端末10によって特定されてもよい。たとえば、図6Bに示すように、ユーザー端末10は、ステップS101の処理を実行後にサーバー30から音源の位置に関する情報の提供を受けてもよい。この場合、ユーザー端末10は、ステップS1011の処理において、サーバー30から受信した音源の位置に関する情報と自機の位置情報に基づいて、音源の位置とユーザー端末10の位置との間の距離を算出して特定し、特定した距離を示す情報をサーバー30に送信する。これにより、サーバー30は、ステップS301の処理において、ユーザー端末10から送信された情報に基づいて、音源の位置とユーザー端末10の位置との間の距離を特定して、その後の処理において遅延の程度を調整するための基準値として使用することができる。 In the example of FIG. 6A above, the server 30 identifies the distance between the position of the sound source and the position of the user terminal 10 in the process of step S301, but the distance may be identified by the user terminal 10. For example, as shown in FIG. 6B, the user terminal 10 may receive information on the position of the sound source from the server 30 after executing the process of step S101. In this case, the user terminal 10 calculates and identifies the distance between the position of the sound source and the position of the user terminal 10 based on the information on the position of the sound source received from the server 30 and its own position information in the process of step S1011, and transmits information indicating the identified distance to the server 30. As a result, the server 30 can identify the distance between the position of the sound source and the position of the user terminal 10 based on the information transmitted from the user terminal 10 in the process of step S301, and use it as a reference value for adjusting the degree of delay in subsequent processes.
以上のように、本実施形態の配信音声遅延調整システムによれば、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末20から取得して、配信音声を聴取するユーザーのユーザー端末10にリアルタイムで配信する際に、配信音声情報がユーザー端末10において出力されるタイミングの遅延の程度を調整し、調整された遅延の程度に応じて配信音声情報を遅延させて配信する。これにより、開催されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる。 As described above, according to the distributed audio delay adjustment system of this embodiment, distributed audio information regarding distributed audio for real-time distribution in accordance with an event being held is obtained from the distribution terminal 20, and when distributing the distributed audio in real time to the user terminal 10 of the user who listens to the distributed audio, the degree of delay in the timing at which the distributed audio information is output at the user terminal 10 is adjusted, and the distributed audio information is delayed and distributed according to the adjusted degree of delay. This makes it possible to appropriately adjust the timing at which audio is output to the user when audio such as a live commentary or commentary is distributed in real time in accordance with an event being held.
また、配信音声遅延調整装置システムによれば、イベントに関する音声の発生位置と、配信音声情報を出力するユーザー端末10の位置との間の距離を特定し、特定された距離に応じて遅延の程度を調整する。これにより、たとえば敷地の広いイベント会場でユーザーがイベントを鑑賞する際に、イベントにおいて発生した音声とリアルタイム配信される実況や解説等の音声のタイミングを適切に合わせることができる。 The distributed audio delay adjustment device system also identifies the distance between the location where the audio related to the event is generated and the location of the user terminal 10 that outputs the distributed audio information, and adjusts the degree of delay according to the identified distance. This allows, for example, when a user is watching an event at a large event venue, to appropriately match the timing of the audio generated at the event with the audio of the live broadcast or commentary that is being distributed in real time.
<第2実施形態>
第2実施形態においては、デジタル放送によるテレビの生中継でイベントを観覧するユーザーに対してリアルタイム配信される配信音声の遅延を調整する例について説明する。
Second Embodiment
In the second embodiment, an example will be described in which a delay in audio delivered in real time to users watching an event via live television broadcasting through digital broadcasting is adjusted.
<システムの全体構成>
図7は、第2実施形態に係る配信音声遅延調整装置が適用される配信音声遅延調整システムの概略構成を示す図である。本実施形態の配信音声遅延調整システムは、デジタル放送によるテレビの生中継でイベントを観覧するユーザーのユーザー端末10にリアルタイム配信される配信音声の遅延を調整する。
<Overall system configuration>
7 is a diagram showing a schematic configuration of a distribution audio delay adjustment system to which a distribution audio delay adjustment device according to the second embodiment is applied. The distribution audio delay adjustment system of this embodiment adjusts the delay of distribution audio that is distributed in real time to a user terminal 10 of a user watching an event via live television broadcasting by digital broadcasting.
図7に示すように、配信音声遅延調整システムは、ユーザー端末10、配信用端末20、およびサーバー30から構成される。ユーザーはテレビ40において放映される生中継の映像を視聴しつつ、ユーザー端末10に配信される配信音声を聴取する。テレビ40において放映される生中継の映像は、イベント会場内のテレビ中継用設備50によって撮影され、テレビ局システム60や電波塔等の設備を介してテレビ40に届けられる。 As shown in FIG. 7, the distributed audio delay adjustment system is composed of a user terminal 10, a distribution terminal 20, and a server 30. A user listens to the distributed audio distributed to the user terminal 10 while watching live broadcast video aired on a television 40. The live broadcast video aired on the television 40 is captured by television broadcasting equipment 50 within the event venue and delivered to the television 40 via equipment such as a television station system 60 and a radio tower.
この際、生中継の映像は、デジタル放送におけるエンコードおよびデコード等の影響により、イベント会場内において映像が撮影されている時刻よりも、少なくとも2~3秒程度遅延して放映される。また、遅延時間は経由するネットワークや機器、受像機のデコード性能等によっても変動する。さらに、放送局の都合等によって、テレビの生中継は数分~数十分程度遅延して放映されることもある。一方、インターネット等のネットワーク経由でユーザー端末10に配信される音声の遅延時間は1秒程度に抑えられる。 Due to the effects of encoding and decoding in digital broadcasting, the live broadcast video is delayed by at least 2 to 3 seconds from the time the video was shot at the event venue. The delay time also varies depending on the network and equipment passed through, the decoding performance of the receiver, etc. Furthermore, depending on the broadcasting station's circumstances, live television broadcasts may be delayed by several minutes to several tens of minutes. On the other hand, the delay time for audio delivered to user terminal 10 via a network such as the Internet is kept to around 1 second.
第2実施形態の配信音声遅延調整システムに含まれるユーザー端末10、配信用端末20、およびサーバー30の構成は、第1実施形態の配信音声遅延調整システムの構成と同様であるため、さらなる説明を省略する。 The configurations of the user terminal 10, the distribution terminal 20, and the server 30 included in the distribution audio delay adjustment system of the second embodiment are similar to those of the distribution audio delay adjustment system of the first embodiment, so further explanation is omitted.
<第2実施形態の配信音声遅延調整システムにおける処理>
図8は、第2実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れを示すシーケンスチャートである。
<Processing in the distributed audio delay adjustment system according to the second embodiment>
FIG. 8 is a sequence chart showing the flow of processing executed in the delivery audio delay adjustment system according to the second embodiment.
図8に示すように、配信用端末20は、音声入出力部25を介して、配信者によって発せられる配信音声を取得する(ステップS211)。 As shown in FIG. 8, the distribution terminal 20 acquires the distribution audio uttered by the distributor via the audio input/output unit 25 (step S211).
続いて、配信用端末20は、ステップS211の処理において取得した配信音声に基づいて、リアルタイム配信に適した形式の配信音声情報を生成し(ステップS212)、サーバー30に送信する。 Next, the distribution terminal 20 generates distribution audio information in a format suitable for real-time distribution based on the distribution audio acquired in the processing of step S211 (step S212) and transmits it to the server 30.
ユーザー端末10は、操作表示部14の操作等を介してユーザーから音声配信指示を受け付け(ステップS111)、サーバー30に音声配信要求を送信する。サーバー30は、ユーザー端末10からの音声配信要求に応じて、配信用端末20から受信している配信音声情報をユーザー端末10に送信する。このとき、第1実施形態と同様に、配信タイミングに関する遅延の程度の調整が行われてもよい。たとえば、通信距離に応じて通信の遅延の程度が変動するような環境においては、配信用端末20の位置とユーザー端末10の位置との間の距離を特定して、特定された距離に応じて遅延の程度が調整されてもよい。 The user terminal 10 receives an audio distribution instruction from the user via operation of the operation display unit 14, etc. (step S111), and transmits an audio distribution request to the server 30. In response to the audio distribution request from the user terminal 10, the server 30 transmits the distribution audio information received from the distribution terminal 20 to the user terminal 10. At this time, as in the first embodiment, the degree of delay related to the distribution timing may be adjusted. For example, in an environment where the degree of communication delay varies depending on the communication distance, the distance between the position of the distribution terminal 20 and the position of the user terminal 10 may be specified, and the degree of delay may be adjusted depending on the specified distance.
ユーザー端末10は、サーバー30から送信された配信音声情報に基づいて、音声入出力部15を介して配信音声を出力する(ステップS112)。 The user terminal 10 outputs the distributed audio via the audio input/output unit 15 based on the distributed audio information transmitted from the server 30 (step S112).
続いて、ユーザー端末10は、遅延設定を受け付けたか否かを判断する(ステップS113)。 Next, the user terminal 10 determines whether the delay setting has been accepted (step S113).
たとえば、ユーザーは、ユーザー端末10から出力された配信音声を聴いて、テレビ40において放映されているイベントの映像および音声とタイミングが合っているか否かを判断し、判断結果に応じてユーザー端末10に遅延設定を入力することができる。 For example, the user can listen to the distributed audio output from the user terminal 10, judge whether the timing is synchronized with the video and audio of the event being broadcast on the television 40, and input a delay setting into the user terminal 10 based on the result of the judgment.
あるいは、テレビ40において放映される映像に、当該映像に関するタイムスタンプを符号化してタイムスタンプ情報として含めておき、タイムスタンプ情報を含む映像がテレビ40の画面に表示されてもよい。この場合、ユーザーは、ユーザー端末10に設けられているカメラを用いて当該映像を撮影する。ユーザー端末10は、撮影した映像を解析して当該映像に含まれるタイムスタンプ情報を取得し、得られたタイムスタンプと、ユーザー端末10に保持されている時刻情報とを比較することによってテレビの映像の遅延の状況を判断する。ユーザー端末10は、遅延の状況に応じて適切な遅延設定を決定して入力として受け付けることができる。 Alternatively, a timestamp for the video broadcast on the television 40 may be encoded and included as timestamp information, and the video including the timestamp information may be displayed on the screen of the television 40. In this case, the user captures the video using a camera provided in the user terminal 10. The user terminal 10 analyzes the captured video to obtain the timestamp information contained in the video, and determines the delay status of the television video by comparing the obtained timestamp with the time information held in the user terminal 10. The user terminal 10 can determine an appropriate delay setting depending on the delay status and accept it as input.
また、テレビ40において放映される映像に含まれる映像内音声に、当該映像に関するタイムスタンプを符号化してタイムスタンプ情報として含めておき、タイムスタンプ情報を含む音声がテレビ40のスピーカーから出力されてもよい。この場合、ユーザーは、ユーザー端末10の音声入出力部15を用いて映像内音声を取得する。ユーザー端末10は、取得した映像内音声を解析して当該映像内音声に含まれるタイムスタンプ情報を取得し、得られたタイムスタンプと、ユーザー端末10に保持されている時刻情報とを比較することによってテレビの映像の遅延の状況を判断する。ユーザー端末10は、遅延の状況に応じて適切な遅延設定を決定して入力として受け付けることができる。 Also, a timestamp related to the video broadcast on the television 40 may be encoded and included as timestamp information in the in-video audio contained in the video, and the audio including the timestamp information may be output from the speaker of the television 40. In this case, the user acquires the in-video audio using the audio input/output unit 15 of the user terminal 10. The user terminal 10 analyzes the acquired in-video audio to acquire timestamp information contained in the in-video audio, and determines the delay status of the television video by comparing the acquired timestamp with time information stored in the user terminal 10. The user terminal 10 can determine an appropriate delay setting depending on the delay status and accept it as input.
遅延設定を受け付けていない場合(ステップS113:NO)、ユーザー端末10は、ステップS114の処理に進む。 If the delay setting has not been accepted (step S113: NO), the user terminal 10 proceeds to processing in step S114.
遅延設定を受け付けている場合(ステップS113:YES)、ユーザー端末10は、受け付けた遅延設定を示す情報をサーバー30に送信する。 If the delay setting has been accepted (step S113: YES), the user terminal 10 transmits information indicating the accepted delay setting to the server 30.
このとき、配信用端末20も、配信者から遅延設定を受け付けたか否かを判断してもよい(ステップS213)。たとえば、配信者は、配信用端末20からサーバー30に音声配信要求を送信して、サーバー30から配信音声情報を取得する。そして、配信者は、音声入出力部25から出力された配信音声を聴いて、テレビにおいて放映されているイベントの映像および音声とタイミングが合っているか否かを判断し、判断結果に応じて配信用端末20に遅延設定を入力することができる。なお、上記の処理を行う主体は、配信者のみに限定されず、イベントに関わるスタッフや、配信に関わるスタッフ等が、たとえば自身が保有するスマートフォン等の情報端末とテレビを使用して行ってもよい。 At this time, the distribution terminal 20 may also determine whether or not it has received a delay setting from the distributor (step S213). For example, the distributor transmits an audio distribution request from the distribution terminal 20 to the server 30 and obtains distribution audio information from the server 30. The distributor can then listen to the distribution audio output from the audio input/output unit 25, determine whether the timing is correct with the video and audio of the event being broadcast on television, and input a delay setting to the distribution terminal 20 based on the result of the determination. Note that the subject performing the above process is not limited to the distributor, and may be a staff member involved in the event or a staff member involved in distribution, for example, using an information terminal such as a smartphone owned by the distributor, and a television.
遅延設定を受け付けていない場合(ステップS213:NO)、配信用端末20は、ステップS211の処理に戻る。 If the delay setting has not been accepted (step S213: NO), the distribution terminal 20 returns to the processing of step S211.
遅延設定を受け付けている場合(ステップS213:YES)、配信用端末20は、受け付けた遅延設定を示す情報をサーバー30に送信する。 If a delay setting has been accepted (step S213: YES), the distribution terminal 20 transmits information indicating the accepted delay setting to the server 30.
サーバー30は、ユーザー端末10および/または配信用端末20から送信された遅延設定に基づいて、遅延の程度を調整し(ステップS311)、配信タイミングが調整された配信音声情報をユーザー端末10に送信する。このとき、サーバー30は、配信音声情報とあわせて、配信タイミングの遅延の程度を示す情報をユーザー端末10に送信する。 The server 30 adjusts the degree of delay based on the delay setting transmitted from the user terminal 10 and/or the distribution terminal 20 (step S311), and transmits the distribution audio information with the adjusted distribution timing to the user terminal 10. At this time, the server 30 transmits information indicating the degree of delay in the distribution timing together with the distribution audio information to the user terminal 10.
ステップS114~S116の各処理は、第1実施形態のステップS104~S106の各処理と同様であるため、さらなる説明を省略する。また、第1実施形態と同様に、ステップS113の遅延設定に関する処理と、ステップS114~S115の出力タイミングの調整に関する処理とは、あわせて実行されてもよく、あるいはいずれかの処理が択一的に実行されてもよい。 The processes in steps S114 to S116 are similar to those in steps S104 to S106 in the first embodiment, and therefore further description will be omitted. As in the first embodiment, the process relating to delay setting in step S113 and the process relating to adjusting the output timing in steps S114 to S115 may be performed together, or either process may be performed alternatively.
ここで、配信タイミングの遅延の程度を調整して出力タイミングを調整する処理の例について具体例を挙げて説明する。 Here, we will explain with a concrete example how to adjust the degree of delay in the delivery timing to adjust the output timing.
<処理例1>
処理例1においては、1つのサーバー30において、配信タイミングが異なる複数の配信音声情報を記憶する。たとえば、サーバー30は、遅延なしの配信音声情報、配信タイミングを2秒遅延させた配信音声情報、30秒遅延させた配信音声情報、1分遅延させた配信音声情報等の複数の配信音声情報を準備する。なお、用意される配信音声情報の数や配信タイミングは上記の例に限定されない。
<Processing Example 1>
In processing example 1, a single server 30 stores a plurality of pieces of distributed audio information with different distribution timings. For example, the server 30 prepares a plurality of pieces of distributed audio information, such as distributed audio information without delay, distributed audio information with a distribution timing delayed by 2 seconds, distributed audio information with a 30 second delay, and distributed audio information with a 1 minute delay. Note that the number of pieces of distributed audio information prepared and the distribution timing are not limited to the above example.
サーバー30は、必要な遅延の程度に応じて、複数の配信音声情報の中から、適切な配信タイミングの配信音声情報を選択してユーザー端末10に配信する。この選択は、ユーザー端末10によって実行されてもよい。この場合、サーバー30は、保有している配信音声情報の配信タイミング(遅延時間情報)を、予めユーザー端末10に通知しておく。 The server 30 selects, from among multiple pieces of delivery audio information, delivery audio information with an appropriate delivery timing according to the degree of delay required, and delivers it to the user terminal 10. This selection may be performed by the user terminal 10. In this case, the server 30 notifies the user terminal 10 in advance of the delivery timing (delay time information) of the delivery audio information it holds.
ユーザー端末10は、必要な遅延時間(遅延設定)と、配信音声情報の配信タイミングを考慮して、受信した配信音声情報を必要な時間バッファリングしてから出力する。 The user terminal 10 buffers the received distributed audio information for the required time, taking into account the required delay time (delay setting) and the distribution timing of the distributed audio information, and then outputs it.
たとえば、配信音声を45秒遅延させたい場合、ユーザー端末10は、サーバー30から、30秒遅延した配信音声情報を取得し、15秒バッファリングした上で出力することにより、45秒遅延させて配信音声を出力することができる。 For example, if it is desired to delay the distributed audio by 45 seconds, the user terminal 10 can output the distributed audio with a 45-second delay by obtaining distributed audio information delayed by 30 seconds from the server 30, buffering it for 15 seconds, and then outputting it.
<処理例2>
処理例2においては、複数のサーバー30において、配信タイミングが異なる複数の配信音声情報を記憶する。たとえば、複数のサーバー30は、それぞれ通信環境やネットワーク遅延が異なるように互いに隔離されて、異なる地域に配置される。複数のサーバー30は、それぞれ、遅延なしの配信音声情報、配信タイミングを2秒遅延させた配信音声情報、30秒遅延させた配信音声情報、1分遅延させた配信音声情報等の複数の配信音声情報を用意する。なお、用意される配信音声情報の数や配信タイミングは上記の例に限定されない。
<Processing Example 2>
In processing example 2, a plurality of servers 30 store a plurality of pieces of delivery audio information with different delivery timings. For example, the plurality of servers 30 are isolated from each other and placed in different regions so that the communication environments and network delays are different. Each of the plurality of servers 30 prepares a plurality of pieces of delivery audio information, such as delivery audio information without delay, delivery audio information with a delivery timing delayed by 2 seconds, delivery audio information with a 30 second delay, and delivery audio information with a 1 minute delay. Note that the number of delivery audio information and the delivery timing prepared are not limited to the above example.
ユーザー端末10は、上記の異なる地域に配置された複数のサーバー30に対して、テスト信号を送信し、それぞれのサーバー30からの応答を確認することによって、各サーバー30のネットワーク遅延の状況を確認する。ユーザー端末10は、必要な遅延時間(遅延設定)と、配信音声情報の配信タイミング(遅延時間情報)と、ネットワーク遅延の状況を考慮して、受信した配信音声情報を必要な時間バッファリングしてから出力する。 The user terminal 10 checks the network delay status of each server 30 by sending a test signal to the multiple servers 30 located in the different regions described above and checking the response from each server 30. The user terminal 10 buffers the received distributed audio information for the required time and then outputs it, taking into account the required delay time (delay setting), the distribution timing of the distributed audio information (delay time information), and the network delay status.
たとえば、配信音声を45秒遅延させたい場合、ユーザー端末10は、各サーバー30のネットワーク遅延による配信遅延状況を確認し、ネットワーク遅延が最も少ないサーバー30(たとえばネットワーク遅延1秒とする)を選択する。この場合、ユーザー端末10は、当該サーバー30から、30秒遅延した配信音声情報を取得し、1秒のネットワーク遅延を考慮して、14秒バッファリングした上で出力することにより、45秒遅延させて配信音声を出力することができる。 For example, if it is desired to delay the distributed audio by 45 seconds, the user terminal 10 checks the distribution delay status due to network delay of each server 30 and selects the server 30 with the least network delay (for example, a network delay of 1 second). In this case, the user terminal 10 obtains distributed audio information delayed by 30 seconds from the server 30, and taking into account the 1 second network delay, buffers it for 14 seconds before outputting it, thereby making it possible to output the distributed audio with a 45 second delay.
以上のように、本実施形態の配信音声遅延調整システムによれば、テレビ40において放送されるイベントの映像に合わせてリアルタイム配信するための配信音声に関して、ユーザー端末10によってテレビ40の映像に含まれるタイムスタンプ情報を取得して、得られたタイムスタンプに基づいて遅延の程度を調整する。これにより、テレビ放送で生中継されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切かつ容易に調整することができる。 As described above, according to the distributed audio delay adjustment system of this embodiment, for distributed audio to be distributed in real time in accordance with the video of an event broadcast on the television 40, the user terminal 10 acquires timestamp information contained in the video of the television 40, and adjusts the degree of delay based on the acquired timestamp. This makes it possible to appropriately and easily adjust the timing at which audio is output to the user when audio such as a commentary or commentary is distributed in real time in accordance with an event broadcast live on television.
また、本実施形態の配信音声遅延調整システムによれば、テレビ40において放送されるイベントの映像に合わせてリアルタイム配信するための配信音声に関して、ユーザー端末10によってテレビ40の映像内音声に含まれるタイムスタンプ情報を取得して、得られたタイムスタンプに基づいて遅延の程度を調整する。これにより、テレビ放送で生中継されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切かつ容易に調整することができる。 Furthermore, according to the distributed audio delay adjustment system of this embodiment, for distributed audio to be distributed in real time in accordance with the video of an event broadcast on the television 40, the user terminal 10 acquires timestamp information contained in the audio in the video of the television 40, and adjusts the degree of delay based on the acquired timestamp. This makes it possible to appropriately and easily adjust the timing at which audio is output to the user when audio such as a commentary or commentary is distributed in real time in accordance with an event broadcast live on television.
また、第1および第2実施形態の配信音声遅延調整装置システムによれば、遅延の程度を調整するための遅延設定を受け付け可能であり、受け付けられた遅延設定を考慮して、遅延の程度を調整する。これにより、より柔軟かつ適切に配信される音声のタイミングを調整することができる。 In addition, the audio delivery delay adjustment device system of the first and second embodiments can accept a delay setting for adjusting the degree of delay, and adjusts the degree of delay taking into account the accepted delay setting. This allows the timing of the audio to be delivered to be adjusted more flexibly and appropriately.
また、第1および第2実施形態の配信音声遅延調整装置システムによれば、ユーザー端末10においてユーザーから受け付けられた指示に基づいて、遅延設定を受け付ける。これにより、実際にリアルタイム配信された音声を聴いているユーザーの感覚に合わせて配信される音声のタイミングを適切に調整することができる。 In addition, according to the delivery audio delay adjustment device system of the first and second embodiments, the delay setting is accepted based on an instruction accepted from the user at the user terminal 10. This makes it possible to appropriately adjust the timing of the delivered audio to match the sensations of the user who is actually listening to the audio delivered in real time.
また、第1および第2実施形態の配信音声遅延調整装置システムにおいて、サーバー30は、予め用意された配信タイミングの異なる複数の配信音声情報を配信可能であり、遅延の程度に応じて、複数の配信音声情報の中から使用する配信音声情報を選択することによって、配信音声情報がユーザー端末10において出力されるタイミングを調整する。これにより、サーバー30において、異なる配信タイミングを実現するために複雑な処理を構築する必要がなくなる。サーバー30は、予め用意された配信タイミングの異なる配信音声情報を選択するだけで配信タイミングを変更することができ、処理を簡略化して処理リソースを節約することができる。 In addition, in the delivery audio delay adjustment device system of the first and second embodiments, the server 30 can deliver multiple pieces of delivery audio information with different delivery timings prepared in advance, and adjusts the timing at which the delivery audio information is output at the user terminal 10 by selecting the delivery audio information to be used from the multiple pieces of delivery audio information according to the degree of delay. This eliminates the need for the server 30 to implement complex processing to achieve different delivery timings. The server 30 can change the delivery timing simply by selecting delivery audio information with different delivery timings prepared in advance, simplifying processing and saving processing resources.
また、第1および第2実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末10は、配信音声情報が遅延の程度に沿って出力されるように、配信音声情報の出力タイミングを調整する。これにより、ユーザー端末10においても配信音声情報の出力タイミングを調整できる。したがって、ユーザー端末10ごとに異なるネットワークの遅延の状況やユーザー端末10の処理スペック等に応じて、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。 In addition, in the distributed audio delay adjustment device system of the first and second embodiments, the user terminal 10 adjusts the output timing of the distributed audio information so that the distributed audio information is output in accordance with the degree of delay. This allows the output timing of the distributed audio information to be adjusted in the user terminal 10 as well. Therefore, the timing at which real-time distributed audio is output to the user can be more appropriately adjusted according to the network delay conditions that differ for each user terminal 10 and the processing specifications of the user terminal 10, etc.
また、第1および第2実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末10は、サーバー30から取得する配信音声情報を複数の配信音声情報の中から選択することによって、配信音声情報の出力タイミングを調整する。これにより、ユーザーは、取得する配信音声情報を選択して配信音声情報の出力タイミングを調整できる。したがって、ユーザー端末10ごとに異なるネットワークの遅延の状況やユーザー端末10の処理スペック等に応じて、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。 In addition, in the distributed audio delay adjustment device system of the first and second embodiments, the user terminal 10 adjusts the output timing of the distributed audio information by selecting the distributed audio information to be acquired from the server 30 from among multiple pieces of distributed audio information. This allows the user to select the distributed audio information to be acquired and adjust the output timing of the distributed audio information. Therefore, the timing at which real-time distributed audio is output to the user can be more appropriately adjusted according to the network delay conditions that differ for each user terminal 10 and the processing specifications of the user terminal 10, etc.
また、第1および第2実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末10は、受信した配信音声情報を所定の時間バッファリングすることによって配信音声情報の出力タイミングを調整する。これにより、ユーザー端末10は、必要な遅延設定および、取得する配信音声情報の配信タイミング、さらにユーザー端末10ごとに異なるネットワークの遅延の状況やユーザー端末10の処理スペック等に応じて、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。 In addition, in the delivery audio delay adjustment device system of the first and second embodiments, the user terminal 10 adjusts the output timing of the delivery audio information by buffering the received delivery audio information for a predetermined period of time. This allows the user terminal 10 to more appropriately adjust the timing at which real-time delivery audio is output to the user in accordance with the required delay setting, the delivery timing of the acquired delivery audio information, the network delay conditions that differ for each user terminal 10, the processing specifications of the user terminal 10, etc.
また、第1および第2実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末10は、配信される配信音声情報の配信遅延状況を確認した上で、配信遅延状況を考慮して配信音声情報の出力タイミングを調整する。これにより、ユーザー端末10は、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。 In addition, in the delivery audio delay adjustment device system of the first and second embodiments, the user terminal 10 checks the delivery delay status of the delivery audio information to be delivered, and then adjusts the output timing of the delivery audio information taking the delivery delay status into consideration. This allows the user terminal 10 to more appropriately adjust the timing at which the audio delivered in real time is output to the user.
<変形例>
上記の各実施形態において、配信音声を取得および出力する際の周囲の環境に応じて、配信音声に加えて、音声を解析してテキスト化した情報も配信する変形例について説明する。
<Modification>
In each of the above embodiments, a modified example will be described in which, in addition to the distributed voice, information obtained by analyzing the voice and converting it into text is also distributed depending on the surrounding environment when the distributed voice is acquired and output.
<システムの全体構成>
変形例に係る配信音声遅延調整システムの構成は、第1実施形態および第2実施形態と同様であるため、さらなる説明を省略する。
<Overall system configuration>
The configuration of the delivery audio delay adjustment system according to the modified example is similar to that of the first and second embodiments, and therefore further description will be omitted.
<変形例に係る配信音声遅延調整システムにおける処理>
変形例に係る配信音声遅延調整システムにおけるリアルタイム音声配信処理および配信音声遅延処理の基本的な流れは、第1実施形態および第2実施形態と同様であるため、さらなる説明を省略する。以下、周囲の状況に応じて配信音声をテキスト化した情報を配信する処理の例について詳細に説明する。
<Processing in the distribution audio delay adjustment system according to the modified example>
The basic flow of the real-time audio distribution process and the distribution audio delay process in the distribution audio delay adjustment system according to the modified example is similar to that of the first and second embodiments, so further description will be omitted. Hereinafter, an example of a process for distributing information in which the distribution audio is converted into text according to the surrounding situation will be described in detail.
図9は、変形例に係る配信音声遅延調整システムにおいて実行される処理の流れを示すシーケンスチャートである。 Figure 9 is a sequence chart showing the flow of processing executed in a distribution audio delay adjustment system according to a modified example.
図9に示すように、配信用端末20は、音声入出力部25を介して、配信者によって発せられる配信音声を取得するとともに、周囲の騒音レベルを取得する(ステップS221)。 As shown in FIG. 9, the distribution terminal 20 acquires the distribution audio emitted by the distributor via the audio input/output unit 25, as well as the surrounding noise level (step S221).
続いて、配信用端末20は、ステップS221の処理において取得した配信音声に基づいて、リアルタイム配信に適した形式の配信音声情報を生成し(ステップS222)、騒音レベルを示す情報とともにサーバー30に送信する。 Next, the distribution terminal 20 generates distribution audio information in a format suitable for real-time distribution based on the distribution audio acquired in the processing of step S221 (step S222) and transmits it to the server 30 together with information indicating the noise level.
ユーザー端末10は、操作表示部14の操作等を介してユーザーから音声配信指示を受け付けるとともに、周囲の騒音レベルを取得し(ステップS121)、サーバー30に音声配信要求および騒音レベルを示す情報を送信する。 The user terminal 10 receives an audio distribution instruction from the user via operation of the operation display unit 14, etc., and acquires the surrounding noise level (step S121), and transmits a request for audio distribution and information indicating the noise level to the server 30.
サーバー30は、配信用端末20およびユーザー端末10から送信された騒音レベルを示す情報に基づいて、配信用端末20およびユーザー端末10の周囲の騒音レベルが所定の閾値よりも大きいか否かを判断する(ステップS321)。 Based on the information indicating the noise levels transmitted from the distribution terminal 20 and the user terminal 10, the server 30 determines whether the noise levels around the distribution terminal 20 and the user terminal 10 are greater than a predetermined threshold (step S321).
騒音レベルが所定の閾値よりも大きくない場合(ステップS321:NO)、サーバー30は、配信用端末20から送信された配信音声情報をユーザー端末10に送信する。 If the noise level is not greater than the predetermined threshold (step S321: NO), the server 30 transmits the distribution audio information sent from the distribution terminal 20 to the user terminal 10.
騒音レベルが所定の閾値よりも大きい場合(ステップS321:YES)、サーバー30は、配信音声情報を公知の音声認識手法を用いて解析して配信音声に対応するテキスト情報を生成する(ステップS322)。テキスト情報には、配信音声の再生タイミングに対応付けてテキストを表示できるように、時間に関する情報も含まれる。 If the noise level is greater than the predetermined threshold (step S321: YES), the server 30 analyzes the distributed voice information using a publicly known voice recognition method to generate text information corresponding to the distributed voice (step S322). The text information also includes information regarding time so that the text can be displayed in association with the playback timing of the distributed voice.
続いて、サーバー30は、配信用端末20から送信された配信音声情報に、ステップS321の処理において生成されたテキスト情報を付加して(ステップS323)、ユーザー端末10に送信する。 Then, the server 30 adds the text information generated in the processing of step S321 to the distribution audio information transmitted from the distribution terminal 20 (step S323), and transmits the information to the user terminal 10.
ユーザー端末10は、サーバー30から送信された配信音声情報に基づいて配信音声を出力する(ステップS112)。このとき、ユーザー端末10は、サーバー30からテキスト情報を受信している場合には、配信音声にあわせてテキスト情報を操作表示部24に表示する。 The user terminal 10 outputs the distributed voice based on the distributed voice information transmitted from the server 30 (step S112). At this time, if the user terminal 10 has received text information from the server 30, it displays the text information on the operation display unit 24 in accordance with the distributed voice.
なお、上記の実施形態においては騒音レベルに応じてテキスト情報の生成および配信の実施要否を判断する例について説明したが、これに限定されない。たとえば、ユーザーの聴覚等の都合に応じて、テキスト情報を生成して配信してもよい。あるいは、配信者およびユーザーの間で使用する言語が異なる場合に、生成したテキスト情報について公知の自動翻訳技術を用いて自動翻訳を実施し、翻訳されたテキスト情報を字幕として配信してもよい。 In the above embodiment, an example has been described in which it is determined whether or not to generate and distribute text information depending on the noise level, but the present invention is not limited to this. For example, text information may be generated and distributed depending on the user's hearing or other convenience. Alternatively, when the distributor and the user use different languages, the generated text information may be automatically translated using a known automatic translation technology, and the translated text information may be distributed as subtitles.
以上のように、本実施形態の配信音声遅延調整システムにおいて、配信音声情報には、音声に基づいて取得されたテキスト情報が含まれる。これにより、配信音声の内容を音声によって明確に伝達しにくい状況においても、配信される内容を確実にユーザーに届けることができる。 As described above, in the distributed audio delay adjustment system of this embodiment, the distributed audio information includes text information acquired based on the audio. This allows the distributed content to be reliably delivered to the user even in situations where it is difficult to clearly convey the content of the distributed audio through audio.
また、本実施形態の配信音声遅延調整システムによれば、配信用端末の周囲の騒音レベルに関する情報を取得し、騒音レベルが所定の閾値以上である場合、配信音声情報とあわせてテキスト情報を配信する。これにより、配信される音声に騒音が混ざる場合においても、ユーザーに対して配信内容を確実に伝えることができる。 In addition, according to the delivery audio delay adjustment system of this embodiment, information regarding the noise level around the delivery terminal is acquired, and if the noise level is equal to or greater than a predetermined threshold, text information is delivered together with the delivery audio information. This allows the delivery content to be reliably conveyed to the user even if noise is mixed into the delivered audio.
また、本実施形態の配信音声遅延調整システムによれば、ユーザー端末の周囲の騒音レベルに関する情報を取得し、騒音レベルが所定の閾値以上である場合、配信音声情報とあわせてテキスト情報を配信する。これにより、ユーザーの周囲の騒音が大きく配信される音声をユーザーが明瞭に聞き取れない場合においても、ユーザーに対して配信内容を確実に伝えることができる。 In addition, according to the delivery audio delay adjustment system of this embodiment, information regarding the noise level around the user terminal is acquired, and if the noise level is equal to or greater than a predetermined threshold, text information is delivered together with the delivery audio information. This allows the delivery content to be reliably conveyed to the user even when the user cannot clearly hear the delivered audio due to loud noise around the user.
なお、本発明は、上述した各実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。 The present invention is not limited to the above-described embodiments, but may be modified in various ways within the scope of the claims.
たとえば、上記の各実施形態では、サーバー30が配信音声遅延調整装置を構成する場合を例として説明したが、これに限定されない。たとえば、ユーザー端末10や、サーバー30以外のサーバーやコントローラー等の外部機器が、配信音声遅延調整装置の機能の一部または全部を実行してもよい。 For example, in each of the above embodiments, the server 30 constitutes a distribution audio delay adjustment device, but this is not limited to the above. For example, the user terminal 10 or an external device such as a server or controller other than the server 30 may execute some or all of the functions of the distribution audio delay adjustment device.
また、上記の各実施形態では、ユーザー端末10、配信用端末20、およびサーバー30が1つの独立した装置として構成される例について主に説明したが、装置の構成はこれに限定されない。ユーザー端末10、配信用端末20、およびサーバー30は、複数の装置から構成されてもよく、あるいは他の機能を有する装置に含まれて構成されてもよい。たとえば、サーバー30は、多数のサーバーから構成されるクラウドサーバー上に分散して構成されてもよい。あるいは、サーバー30の機能を有するアプリケーションがユーザー端末10にインストールされ、ユーザー端末10においてサーバー30の処理が実行されてもよい。 In addition, in each of the above embodiments, the user terminal 10, the distribution terminal 20, and the server 30 are mainly configured as a single independent device, but the configuration of the devices is not limited to this. The user terminal 10, the distribution terminal 20, and the server 30 may be configured as multiple devices, or may be configured as being included in a device having other functions. For example, the server 30 may be configured in a distributed manner on a cloud server consisting of a large number of servers. Alternatively, an application having the functions of the server 30 may be installed on the user terminal 10, and the processing of the server 30 may be executed on the user terminal 10.
また、上記の各実施形態では、ユーザー端末10として、ユーザーによって使用されるスマートフォン、タブレットPC等を例に挙げて説明したが、ユーザー端末10の実施態様はこれに限定されない。ユーザー端末10は、たとえばユーザーの頭部に装着される眼鏡型の情報端末や腕部に装着されるリストバンド状の情報端末等のウェアラブル端末であってもよく、あるいはユーザーの体内に埋め込まれる埋込型の情報端末等であってもよい。 In addition, in each of the above embodiments, a smartphone, tablet PC, etc. used by a user are given as examples of the user terminal 10, but the implementation of the user terminal 10 is not limited to this. The user terminal 10 may be, for example, a wearable terminal such as a glasses-type information terminal worn on the user's head or a wristband-type information terminal worn on the arm, or may be an embedded type information terminal embedded in the user's body.
また、上記の各実施形態におけるシーケンスチャートおよびフローチャートの処理単位は、処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方や処理の順序によって、本願発明が制限されることはない。各処理は、さらに多くの処理ステップに分割することもできる。また、1つの処理ステップが、さらに多くの処理を実行してもよく、各処理ステップの順序は本実施形態のフローチャートと異なってもよい。 In addition, the processing units in the sequence charts and flowcharts in each of the above embodiments are divided according to the main processing content in order to make the processing easier to understand. The present invention is not limited by the way in which the processing steps are classified or the order of the processing. Each process can also be divided into more processing steps. Furthermore, one processing step may execute more processes, and the order of each processing step may differ from that of the flowcharts in this embodiment.
また、上記の各実施形態は、それぞれ別々の実施形態として説明したが、各実施形態の処理は、適宜組み合わせられて実行されうる。 Although each of the above embodiments has been described as a separate embodiment, the processing of each embodiment can be executed in appropriate combination.
上述した実施形態に係るシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、フレキシブルディスクおよびCD-ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、システムの一機能としてその装置のソフトウエアに組み込まれてもよい。 The means and methods for performing various processes in the system according to the above-described embodiment can be realized by either a dedicated hardware circuit or a programmed computer. The above-mentioned programs may be provided, for example, by a computer-readable recording medium such as a flexible disk or a CD-ROM, or may be provided online via a network such as the Internet. In this case, the programs recorded on the computer-readable recording medium are usually transferred to and stored in a storage unit such as a hard disk. The above-mentioned programs may also be provided as standalone application software, or may be incorporated into the software of the device as one function of the system.
10 ユーザー端末、
11 制御部、
12 記憶部、
13 通信部、
14 操作表示部、
15 音声入出力部、
20 配信用端末、
21 制御部、
22 記憶部、
23 通信部、
24 操作表示部、
25 音声入出力部、
30 サーバー、
31 制御部、
311 取得部、
312 配信部、
313 調整部、
314 特定部、
315 設定部、
32 記憶部、
33 通信部、
40 テレビ、
50 テレビ中継用設備、
60 テレビ局システム。
10. User terminal,
11 control unit,
12 memory unit,
13 Communications Department,
14 Operation display unit,
15 Audio input/output unit,
20 distribution terminal,
21 control unit,
22 memory unit,
23 Communications Department,
24 Operation display unit,
25 Audio input/output unit,
30 servers,
31 control unit,
311 Acquisition unit,
312 Distribution Department,
313 Adjustment unit,
314 Specific part,
315 setting unit,
32 memory unit,
33 Communications Department,
40 Television,
50 Television broadcasting equipment,
60 Television station system.
Claims (21)
前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、
前記イベントに関する音声の発生位置と、前記配信音声情報を出力する前記ユーザー端末の位置との間の距離を特定する特定部と、を有し、
前記調整部は、前記特定部によって特定された前記距離に応じて前記遅延の程度を調整し、
前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信する配信音声遅延調整装置。 An acquisition unit that acquires, from a distribution terminal, distribution audio information related to distribution audio for real-time distribution in accordance with an event being held;
a distribution unit capable of distributing the distribution audio information acquired by the acquisition unit to a user terminal of a user who listens to the distribution audio in real time;
an adjustment unit that adjusts a degree of delay in timing at which the delivery audio information is output at the user terminal;
a determination unit that determines a distance between a generation position of a sound related to the event and a position of the user terminal that outputs the distribution sound information,
The adjustment unit adjusts the degree of the delay in accordance with the distance identified by the identification unit;
The distribution unit is a distribution audio delay adjustment device that distributes the distribution audio information according to the degree of delay adjusted by the adjustment unit.
前記調整部は、前記設定部において受け付けられた前記遅延設定を考慮して、前記遅延の程度を調整する請求項1に記載の配信音声遅延調整装置。 A setting unit that receives a delay setting for adjusting the degree of the delay,
The delivery audio delay adjustment device according to claim 1 , wherein the adjustment unit adjusts the degree of the delay in consideration of the delay setting received by the setting unit.
前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、a distribution unit capable of distributing the distribution audio information acquired by the acquisition unit to a user terminal of a user who listens to the distribution audio in real time;
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、an adjustment unit that adjusts a degree of delay in timing at which the delivery audio information is output at the user terminal;
前記遅延の程度を調整するための遅延設定を受け付ける設定部と、を有し、A setting unit that accepts a delay setting for adjusting the degree of the delay,
前記設定部は、前記ユーザー端末において前記ユーザーから受け付けられた指示に基づいて、前記遅延設定を受け付け、The setting unit accepts the delay setting based on an instruction accepted from the user at the user terminal;
前記調整部は、前記設定部において受け付けられた前記遅延設定を考慮して、前記遅延の程度を調整し、The adjustment unit adjusts the degree of the delay in consideration of the delay setting received by the setting unit;
前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信する配信音声遅延調整装置。The distribution unit is a distribution audio delay adjustment device that distributes the distribution audio information according to the degree of delay adjusted by the adjustment unit.
前記映像には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が表示され、
前記調整部は、前記映像および前記配信音声を視聴するユーザーが使用する前記ユーザー端末において、前記映像を撮影して解析し、当該映像に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、前記遅延の程度を調整する請求項1~4のいずれかに記載の配信音声遅延調整装置。 The audio to be distributed is to be distributed in real time in accordance with the video of the event to be broadcast on television,
The video is displayed with timestamp information indicating a timestamp related to the video;
The adjustment unit is a distribution audio delay adjustment device as described in any one of claims 1 to 4, which adjusts the degree of delay based on a timestamp obtained by photographing and analyzing the video on the user terminal used by the user who watches the video and the distribution audio and acquiring timestamp information contained in the video.
前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、a distribution unit capable of distributing the distribution audio information acquired by the acquisition unit to a user terminal of a user who listens to the distribution audio in real time;
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、を有し、an adjustment unit that adjusts a degree of delay in timing at which the delivery audio information is output at the user terminal;
前記配信音声は、テレビ放送されるイベントの映像に合わせてリアルタイム配信するためのものであり、The audio to be distributed is to be distributed in real time in accordance with the video of the event to be broadcast on television,
前記映像には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が表示され、The video is displayed with timestamp information indicating a timestamp related to the video;
前記調整部は、前記映像および前記配信音声を視聴するユーザーが使用する前記ユーザー端末において、前記映像を撮影して解析し、当該映像に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、前記遅延の程度を調整し、The adjustment unit photographs and analyzes the video in the user terminal used by the user who watches the video and the distributed audio, and adjusts the degree of the delay based on the timestamp obtained by acquiring timestamp information included in the video;
前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信する配信音声遅延調整装置。The distribution unit is a distribution audio delay adjustment device that distributes the distribution audio information according to the degree of delay adjusted by the adjustment unit.
前記映像に含まれる映像内音声には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が含まれ、
前記調整部は、前記映像および前記配信音声を視聴するユーザーが使用する前記ユーザー端末において、前記映像内音声を取得して解析し、当該映像内音声に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、前記遅延の程度を調整する請求項1~6のいずれかに記載の配信音声遅延調整装置。 The audio to be distributed is to be distributed in real time in accordance with the video of the event to be broadcast on television,
The audio in the video includes timestamp information indicating a timestamp related to the video;
The adjustment unit acquires and analyzes the audio in the video on the user terminal used by the user watching the video and the distributed audio, and adjusts the degree of delay based on the timestamp obtained by acquiring timestamp information contained in the audio in the video .
前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、a distribution unit capable of distributing the distribution audio information acquired by the acquisition unit to a user terminal of a user who listens to the distribution audio in real time;
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、を有し、an adjustment unit that adjusts a degree of delay in timing at which the delivery audio information is output at the user terminal;
前記配信音声は、テレビ放送されるイベントの映像に合わせてリアルタイム配信するためのものであり、The audio to be distributed is to be distributed in real time in accordance with the video of the event to be broadcast on television,
前記映像に含まれる映像内音声には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が含まれ、The audio in the video includes timestamp information indicating a timestamp related to the video;
前記調整部は、前記映像および前記配信音声を視聴するユーザーが使用する前記ユーザー端末において、前記映像内音声を取得して解析し、当該映像内音声に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、前記遅延の程度を調整し、The adjustment unit acquires and analyzes the audio in the video in the user terminal used by the user who watches the video and the distributed audio, and adjusts the degree of the delay based on a timestamp obtained by acquiring timestamp information included in the audio in the video;
前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信する配信音声遅延調整装置。The distribution unit is a distribution audio delay adjustment device that distributes the distribution audio information according to the degree of delay adjusted by the adjustment unit.
予め用意された配信タイミングの異なる複数の配信音声情報を配信可能であり、
前記遅延の程度に応じて、前記複数の配信音声情報の中から使用する配信音声情報を選択することによって、前記配信音声情報が前記ユーザー端末において出力されるタイミングを調整する請求項1~8のいずれかに記載の配信音声遅延調整装置。 The distribution unit is
A plurality of pieces of delivery audio information with different delivery timings prepared in advance can be delivered,
A delivery audio delay adjustment device as described in any one of claims 1 to 8 , which adjusts the timing at which the delivery audio information is output at the user terminal by selecting delivery audio information to be used from the multiple delivery audio information depending on the degree of the delay.
前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、a distribution unit capable of distributing the distribution audio information acquired by the acquisition unit to a user terminal of a user who listens to the distribution audio in real time;
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、を有し、an adjustment unit that adjusts a degree of delay in timing at which the delivery audio information is output at the user terminal;
前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信するものであって、前記配信部は、予め用意された配信タイミングの異なる複数の配信音声情報を配信可能であり、前記遅延の程度に応じて、前記複数の配信音声情報の中から使用する配信音声情報を選択することによって、前記配信音声情報が前記ユーザー端末において出力されるタイミングを調整する配信音声遅延調整装置。The distribution unit distributes the distribution audio information according to the degree of delay adjusted in the adjustment unit, and the distribution unit is capable of distributing a plurality of distribution audio information with different distribution timings prepared in advance, and a distribution audio delay adjustment device adjusts the timing at which the distribution audio information is output at the user terminal by selecting the distribution audio information to be used from the plurality of distribution audio information according to the degree of delay.
前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、a distribution unit capable of distributing the distribution audio information acquired by the acquisition unit to a user terminal of a user who listens to the distribution audio in real time;
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、を有し、an adjustment unit that adjusts a degree of delay in timing at which the delivery audio information is output at the user terminal;
前記取得部は、前記配信音声情報に基づいて前記配信音声をテキスト化した情報であるテキスト情報を取得し、The acquisition unit acquires text information, which is information obtained by converting the distributed voice into text, based on the distributed voice information;
前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信する配信音声遅延調整装置。The distribution unit is a distribution audio delay adjustment device that distributes the distribution audio information according to the degree of delay adjusted by the adjustment unit.
前記配信部は、前記取得部によって取得された前記配信用端末の周囲の騒音レベルが所定の閾値以上である場合、前記配信音声情報とあわせて、前記配信音声情報に基づいて取得された前記テキスト情報を配信する請求項11または12に記載の配信音声遅延調整装置。 The acquisition unit further acquires, from the distribution terminal, information regarding a noise level around the distribution terminal,
The distribution audio delay adjustment device of claim 11 or 12, wherein the distribution unit distributes the text information acquired based on the distribution audio information together with the distribution audio information when the noise level around the distribution terminal acquired by the acquisition unit is equal to or higher than a predetermined threshold.
前記配信部は、前記取得部によって取得された前記ユーザー端末の周囲の騒音レベルが所定の閾値以上である場合、前記配信音声情報とあわせて、前記配信音声情報に基づいて取得された前記テキスト情報を配信する請求項11~13のいずれかに記載の配信音声遅延調整装置。 The acquisition unit further acquires information regarding a noise level around the user terminal;
A distribution audio delay adjustment device as described in any one of claims 11 to 13, wherein the distribution unit distributes the text information acquired based on the distribution audio information together with the distribution audio information when the noise level around the user terminal acquired by the acquisition unit is equal to or higher than a predetermined threshold.
前記配信部は、前記配信音声情報とあわせて、前記他の言語に翻訳された前記情報を配信する請求項11~14のいずれかに記載の配信音声遅延調整装置。 The acquisition unit further acquires information indicating the distribution voice translated into another language based on the distribution voice information or the text information,
15. The distribution audio delay adjustment device according to claim 11, wherein the distribution unit distributes the information translated into the other language together with the distribution audio information.
配信される前記配信音声情報を受信するユーザー端末と、を有し、
前記ユーザー端末は、前記配信音声情報が前記遅延の程度に沿って出力されるように、前記配信音声情報の出力タイミングを調整する出力部を有する配信音声遅延調整システム。 A delivery audio delay adjustment device according to any one of claims 1 to 15 ,
A user terminal for receiving the distributed audio information,
The user terminal includes an output unit that adjusts an output timing of the delivery audio information so that the delivery audio information is output according to the degree of delay.
前記イベントに関する音声の発生位置と、前記配信音声情報を出力するユーザー端末の位置との間の距離を特定するステップ(a1)と、
前記ステップ(a)において取得された前記配信音声情報を、前記配信音声を聴取するユーザーの前記ユーザー端末にリアルタイムで配信するステップ(b)と、
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整するステップ(c)と、を有し、
前記ステップ(c)は、前記ステップ(a1)によって特定された前記距離に応じて前記遅延の程度を調整し、
前記ステップ(b)は、前記ステップ(c)において調整された前記遅延の程度に応じて前記配信音声情報を配信する処理を、コンピューターに実行させるための配信音声遅延調整プログラム。 A step (a) of acquiring, from a distribution terminal, distribution audio information relating to distribution audio for real-time distribution in accordance with an event to be held;
A step (a1) of determining a distance between a location where a sound related to the event is generated and a location of a user terminal that outputs the distributed sound information;
A step (b) of distributing the distribution audio information acquired in the step (a) to the user terminal of the user who listens to the distribution audio in real time;
and (c) adjusting a degree of delay in timing at which the distributed audio information is output at the user terminal;
The step (c) adjusts the degree of the delay in response to the distance determined by the step (a1);
The step (b) is a distribution audio delay adjustment program for causing a computer to execute a process of distributing the distribution audio information according to the degree of delay adjusted in the step (c).
前記ステップ(a)において取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信するステップ(b)と、A step (b) of distributing the distribution audio information acquired in the step (a) in real time to a user terminal of a user who listens to the distribution audio;
前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整するステップ(c)と、(c) adjusting a degree of delay in timing at which the distributed audio information is output at the user terminal;
前記ユーザー端末において前記ユーザーから受け付けられた指示に基づいて、前記遅延の程度を調整するための遅延設定を受け付けるステップ(c1)と、を有し、and (c1) accepting a delay setting for adjusting the degree of the delay based on an instruction accepted from the user at the user terminal;
前記ステップ(c)は、前記ステップ(c1)によって受け付けられた前記遅延設定を考慮して、前記遅延の程度を調整し、The step (c) adjusts the degree of the delay taking into account the delay setting received by the step (c1);
前記ステップ(b)は、前記ステップ(c)において調整された前記遅延の程度に応じて前記配信音声情報を配信する処理を、コンピューターに実行させるための配信音声遅延調整プログラム。The step (b) is a distribution audio delay adjustment program for causing a computer to execute a process of distributing the distribution audio information according to the degree of delay adjusted in the step (c).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020081259A JP7537908B2 (en) | 2020-05-01 | 2020-05-01 | Audio distribution delay adjustment device, audio distribution delay adjustment system, and audio distribution delay adjustment program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020081259A JP7537908B2 (en) | 2020-05-01 | 2020-05-01 | Audio distribution delay adjustment device, audio distribution delay adjustment system, and audio distribution delay adjustment program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021176217A JP2021176217A (en) | 2021-11-04 |
| JP7537908B2 true JP7537908B2 (en) | 2024-08-21 |
Family
ID=78300527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020081259A Active JP7537908B2 (en) | 2020-05-01 | 2020-05-01 | Audio distribution delay adjustment device, audio distribution delay adjustment system, and audio distribution delay adjustment program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7537908B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000507403A (en) | 1996-01-16 | 2000-06-13 | ナスバウム,ペリー | High quality audio system |
| JP2011223639A (en) | 2005-04-28 | 2011-11-04 | Panasonic Corp | Relay device |
| JP2013115782A (en) | 2011-11-30 | 2013-06-10 | Toshiba Corp | Electronic apparatus and audio output method |
| JP2013543712A (en) | 2010-10-07 | 2013-12-05 | コンサートソニックス・リミテッド・ライアビリティ・カンパニー | Method and system for enhancing sound |
| JP2015149705A (en) | 2013-10-21 | 2015-08-20 | ソニー株式会社 | Information processing apparatus and method, and program |
| JP2016171418A (en) | 2015-03-12 | 2016-09-23 | パイオニア株式会社 | Delay control device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0653144B1 (en) * | 1992-07-30 | 1998-12-02 | Clair Bros. Audio Enterprises, Inc. | Concert audio system |
-
2020
- 2020-05-01 JP JP2020081259A patent/JP7537908B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000507403A (en) | 1996-01-16 | 2000-06-13 | ナスバウム,ペリー | High quality audio system |
| JP2011223639A (en) | 2005-04-28 | 2011-11-04 | Panasonic Corp | Relay device |
| JP2013543712A (en) | 2010-10-07 | 2013-12-05 | コンサートソニックス・リミテッド・ライアビリティ・カンパニー | Method and system for enhancing sound |
| JP2013115782A (en) | 2011-11-30 | 2013-06-10 | Toshiba Corp | Electronic apparatus and audio output method |
| JP2015149705A (en) | 2013-10-21 | 2015-08-20 | ソニー株式会社 | Information processing apparatus and method, and program |
| JP2016171418A (en) | 2015-03-12 | 2016-09-23 | パイオニア株式会社 | Delay control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021176217A (en) | 2021-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12206928B2 (en) | System and method for real-time synchronization of media content via multiple devices and speaker systems | |
| KR102179321B1 (en) | Method and apparatus for synchronizing playbacks at two electronic devices | |
| JP6289651B2 (en) | Method and apparatus for synchronizing playback on two electronic devices | |
| US20180352018A1 (en) | Method and Apparatus for Updating Streamed Content | |
| CN111147362B (en) | Multi-user instant messaging method, system, device and electronic equipment | |
| US20220232262A1 (en) | Media system and method of generating media content | |
| US20230188770A1 (en) | Interactive broadcasting method and system | |
| US20260017011A1 (en) | Audio processing method and apparatus based on multi-machine interaction and storage medium | |
| WO2013083133A1 (en) | System for multimedia broadcasting | |
| JP7537908B2 (en) | Audio distribution delay adjustment device, audio distribution delay adjustment system, and audio distribution delay adjustment program | |
| US10209952B2 (en) | Content reproduction device, content reproduction system, and control method for a content reproduction device | |
| US20190173938A1 (en) | A method of authorising an audio download | |
| US20190182557A1 (en) | Method of presenting media | |
| KR20170095477A (en) | The smart multiple sounds control system and method | |
| JP3241225U (en) | No audience live distribution system | |
| EP3513565B1 (en) | Method for producing and playing video and multichannel audio content | |
| JP7622844B2 (en) | Media processing device, media processing method and media processing program | |
| EP4611398A1 (en) | System and method for providing hearing assistance | |
| WO2025229876A1 (en) | Information processing device, information processing method, and program | |
| WO2026030511A1 (en) | Methods and systems for individualized, location-based, time-corrected audio broadcasting and reception | |
| JP2020190615A (en) | Voice distribution system, distribution server, reproduction device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240808 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7537908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |