[go: up one dir, main page]

JP6235876B2 - Imaging apparatus and image transfer method - Google Patents

Imaging apparatus and image transfer method Download PDF

Info

Publication number
JP6235876B2
JP6235876B2 JP2013234829A JP2013234829A JP6235876B2 JP 6235876 B2 JP6235876 B2 JP 6235876B2 JP 2013234829 A JP2013234829 A JP 2013234829A JP 2013234829 A JP2013234829 A JP 2013234829A JP 6235876 B2 JP6235876 B2 JP 6235876B2
Authority
JP
Japan
Prior art keywords
image data
resolution
image
target image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013234829A
Other languages
Japanese (ja)
Other versions
JP2015095799A (en
Inventor
岡本 正義
正義 岡本
英雄 廣野
英雄 廣野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xacti Corp
Original Assignee
Xacti Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xacti Corp filed Critical Xacti Corp
Priority to JP2013234829A priority Critical patent/JP6235876B2/en
Publication of JP2015095799A publication Critical patent/JP2015095799A/en
Application granted granted Critical
Publication of JP6235876B2 publication Critical patent/JP6235876B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置及び画像転送方法に関する。   The present invention relates to an imaging apparatus and an image transfer method.

近年、カメラとスマートフォンなどと称される端末装置をWi−Fi(登録商標)にて無線接続し、端末装置からWi−Fi経由でカメラに撮影指示を出すシステムが提案されている。当該システムでは、カメラで取得されるライブビュー画像(スルー画像)が定期的に端末装置に送信され、ユーザは端末装置の画面に表示されたライブビュー画像を見ながらシャッタチャンスを待って、所望のタイミングで端末装置に撮影指示を入力する。入力された撮影指示はカメラに送られ、カメラにて撮影指示に応答した対象画像が撮影及び取得される。その後、カメラから対象画像の画像データが端末装置に送信され、端末装置上で対象画像が一定時間表示されることで、ユーザはどのような画像が撮影されたのかを確認できる。つまり、カメラ単体においてカメラの表示画面にライブビュー画像及び撮影指示に対応する対象画像が表示されるのと同様、ライブビュー画像及び対象画像が端末装置に表示されるようになっている。   In recent years, a system has been proposed in which a camera and a terminal device called a smartphone are wirelessly connected via Wi-Fi (registered trademark), and a shooting instruction is issued from the terminal device to the camera via Wi-Fi. In this system, a live view image (through image) acquired by the camera is periodically transmitted to the terminal device, and the user waits for a photo opportunity while viewing the live view image displayed on the screen of the terminal device, and then selects a desired view. A shooting instruction is input to the terminal device at the timing. The input photographing instruction is sent to the camera, and a target image responding to the photographing instruction is photographed and acquired by the camera. Thereafter, the image data of the target image is transmitted from the camera to the terminal device, and the target image is displayed on the terminal device for a certain period of time, so that the user can confirm what kind of image has been taken. That is, the live view image and the target image are displayed on the terminal device in the same manner as the live view image and the target image corresponding to the shooting instruction are displayed on the display screen of the camera alone.

端末装置に送信される画像(特にライブビュー画像)については、画像の概ねの内容が確認できれば良く、また、通信での処理時間の観点から、カメラの表示画面に表示されるのと同程度のサイズ(例えばVGAサイズ相当)の画像が送られるのが一般的である。加えてリアルタイム性を重視し、再送信無しの垂れ流し転送方式であるUDP(User Datagram Protocol)が採用されることが多い。たとえ電波環境が悪いことに起因して、1つの画像の一部が欠落し、端末装置側で1つの画像を形成できずに当該画像自体が破棄されることになったとしても、同じ画像を何度も送るのではなく、再送による遅延が積み重なっていくよりは、次の画像を送った方がリアルタイム性の観点から望ましいからである。   For images (especially live view images) transmitted to the terminal device, it is only necessary to be able to confirm the general contents of the images, and from the viewpoint of processing time in communication, it is as much as displayed on the camera display screen. Generally, an image having a size (e.g., equivalent to a VGA size) is sent. In addition, the user datagram protocol (UDP), which is a continuous transfer method without re-transmission, is often employed with emphasis on real-time characteristics. Even if a part of one image is lost due to the poor radio wave environment and one image cannot be formed on the terminal device side, the same image is discarded. This is because it is preferable to send the next image from the viewpoint of real-time performance, rather than sending multiple times, rather than accumulating delays due to retransmission.

但し、撮影指示に応答して取得される特定の対象画像については、どんな画像が撮影されたのかを目視でしっかりと確認したいという要望がある(つまり、データ欠落により、対象画像が端末装置の画面上で見られなくなるという自体は好ましくない)。そこで、対象画像については、固定又はユーザ指定の時間の間に、複数回、同じ画像をUDPにて送る方式も提案されている。これにより、端末装置側の受信において、何回目かの送信における画像が欠落することはあったとしても、全回数分の画像が欠落することは殆ど無いため、端末装置側で対象画像を高い確度で確認できるようになる。また、端末装置側の処理としても、UDPで送られてくる画像を表示するだけの処理で済むため、実現が容易である。   However, for a specific target image acquired in response to a shooting instruction, there is a desire to confirm visually what kind of image has been shot (that is, the target image is displayed on the screen of the terminal device due to missing data). It is not preferable that it is not seen above). In view of this, a method has been proposed in which the same image is sent by UDP multiple times during a fixed or user-specified time. As a result, even if an image is lost in the transmission several times during reception on the terminal device side, the image for the total number of times is rarely lost. You can check with. Also, the processing on the terminal device side is easy to implement because it only needs to display an image sent by UDP.

尚、カメラで取得した画像データを外部装置に無線にて送信する際、無線通信の受信感度などに応じて、通信速度を変更する技術も提案されている(例えば下記特許文献1参照)。   In addition, when transmitting image data acquired by a camera to an external device wirelessly, a technique for changing the communication speed according to the reception sensitivity of wireless communication has also been proposed (see, for example, Patent Document 1 below).

特開2007−282097号公報JP 2007-282097 A

端末装置が、比較的大きなサイズの表示画面(即ち、高精細な画像を表示可能な表示画面)を持っていることもある。このような場合、端末装置の表示画面上で、カメラの撮影画像を高解像度で確認したいという要望もある。ライブビュー画像などでは、画像更新を比較的速く行う必要があるため、通信時間の観点から、送信画像の画像サイズ(換言すれば解像度)をあまり大きくすることは得策とは言えない。但し、撮影指示に対応する特定の対象画像については、多少時間がかかっても良いから上記要望に応えるべく高精細な画像データを送る、ということも考えられる。しかし、同じ画像を複数回UDPで送ることを前提にして、高解像度の画像(サイズの大きな画像データ)を複数回送ると送信時間が相当に長くなり、実用性が低くなる。電波環境が良い場合には、1回の送信で受信が成功するかもしれないのに、複数回送信を前提にすると非効率である(無駄に時間がかかる)。   The terminal device may have a relatively large display screen (that is, a display screen capable of displaying a high-definition image). In such a case, there is a demand for confirming a captured image of the camera with high resolution on the display screen of the terminal device. In a live view image or the like, it is necessary to update the image relatively quickly. Therefore, it is not a good idea to increase the image size (in other words, the resolution) of the transmission image from the viewpoint of communication time. However, since it may take some time for a specific target image corresponding to the shooting instruction, it is conceivable that high-definition image data is sent in response to the above request. However, on the assumption that the same image is sent a plurality of times by UDP, if a high-resolution image (large-size image data) is sent a plurality of times, the transmission time becomes considerably long and the practicality becomes low. When the radio wave environment is good, the reception may be successful in one transmission, but it is inefficient (it takes time) if it is assumed that the transmission is performed a plurality of times.

そこで本発明は、望ましい解像度の画像データを効率的に外部装置に送信可能な撮像装置及び画像転送方法を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus and an image transfer method capable of efficiently transmitting image data having a desired resolution to an external apparatus.

本発明に係る撮像装置は、被写体の画像信号を出力する撮像部と、前記撮像部の出力信号に基づく画像データを生成する画像処理部と、撮影指示に応答した特定の対象画像についての対象画像データ、及び、該対象画像データ以外の非対象画像についての第1解像度の非対象画像データを、無線接続された外部装置に送信する通信処理部と、を備え、前記画像処理部は、前記第1解像度よりも高い第2解像度の対象画像データを生成可能であり、前記通信処理部は、前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく送信が完了する第1プロトコルを用い、前記第2解像度の対象画像データを送信する際には、前記外部装置での受信成功を確保する第2プロトコルを用いることを特徴とする。
上記撮像装置の機能に対応する画像転送方法を形成しても良く、該画像転送方法をコンピュータに実現させるプログラムを形成しても良い。
An imaging apparatus according to the present invention includes an imaging unit that outputs an image signal of a subject, an image processing unit that generates image data based on the output signal of the imaging unit, and a target image for a specific target image in response to a shooting instruction A communication processing unit that transmits data and non-target image data of a first resolution for a non-target image other than the target image data to a wirelessly connected external device, and the image processing unit includes: The target image data having the second resolution higher than the first resolution can be generated, and the communication processing unit completes the transmission regardless of the success or failure of the reception by the external device when transmitting the non-target image data. When the target image data having the second resolution is transmitted using the first protocol, the second protocol for ensuring the successful reception by the external device is used.
An image transfer method corresponding to the function of the imaging apparatus may be formed, or a program for causing a computer to realize the image transfer method may be formed.

ライブビュー画像など、リアルタイム性が重視される画像については、当該画像を非対象画像と取り扱って第1プロトコルを用いる。一方、撮影指示に応答して取得される特定の画像については、当該画像を対象画像と取り扱って第2プロトコルを用いる。これにより、撮影指示に応答した特定の対象画像、即ち、比較的詳細な目視確認が要望される画像を、高解像度の画像データ(第2解像度の対象画像データ)として確実に外部装置に送ることができ、上記要望を満たすことができる。この際、第2解像度の対象画像データをUDPにて複数回送ることを前提とする方式と比べて、効率的な送信が可能である。即ち、複数回送信を前提とする方式では、電波環境の良し悪しに関係なく、送信時間が相当に長くなるのに対し、本発明に係る撮像装置では、電波環境が良い場合には再送無しの短時間で送信が完了し、電波環境が悪い場合でも受信不良となったデータを部分的に再送すればよいため上記方式よりも無駄が少ない。   For images where real-time properties are important, such as live view images, the first protocol is used by treating the images as non-target images. On the other hand, for a specific image acquired in response to a shooting instruction, the second protocol is used by treating the image as a target image. Thus, a specific target image in response to the photographing instruction, that is, an image for which relatively detailed visual confirmation is desired is reliably sent to the external device as high-resolution image data (second-resolution target image data). Can meet the above requirements. At this time, efficient transmission is possible as compared with the method based on the premise that the target image data of the second resolution is transmitted a plurality of times by UDP. That is, in the method based on multiple transmissions, the transmission time becomes considerably long regardless of whether the radio wave environment is good or bad. In the imaging apparatus according to the present invention, there is no retransmission when the radio wave environment is good. The transmission is completed in a short time, and even if the radio wave environment is bad, it is only necessary to partially retransmit data that has been poorly received.

本発明によれば、望ましい解像度の画像データを効率的に外部装置に送信可能な撮像装置及び画像転送方法を提供することが可能である。   According to the present invention, it is possible to provide an imaging apparatus and an image transfer method capable of efficiently transmitting image data having a desired resolution to an external apparatus.

本発明の実施形態に係る画像データ転送システムの全体構成図、デジタルカメラ及び端末装置の概略ブロック図である。1 is an overall configuration diagram of an image data transfer system according to an embodiment of the present invention, and a schematic block diagram of a digital camera and a terminal device. UDPパケットの構造を示す図である。It is a figure which shows the structure of a UDP packet. TCPパケットの構造を示す図である。It is a figure which shows the structure of a TCP packet. カメラ及び端末装置間の無線接続の確立手順を説明するための図である。It is a figure for demonstrating the establishment procedure of the wireless connection between a camera and a terminal device. ライブビュー画像転送処理を説明するための図である。It is a figure for demonstrating a live view image transfer process. 本発明の第1実施例に係り、単写指示の入力タイミング近辺における信号のやり取りを示す図である。FIG. 7 is a diagram illustrating signal exchange in the vicinity of an input timing of a single shooting instruction according to the first embodiment of the present invention. 本発明の第1実施例に係り、連写指示の入力タイミング近辺における信号のやり取りを示す図である。FIG. 6 is a diagram illustrating signal exchange in the vicinity of an input timing of a continuous shooting instruction according to the first embodiment of the present invention. 本発明の第2実施例に係り、連写指示の入力タイミング近辺における信号のやり取りを示す図である。It is a figure which concerns on 2nd Example of this invention and shows the exchange of the signal in the vicinity of the input timing of a continuous shooting instruction | indication. 本発明の第2実施例に係るカメラの動作フローチャートである。It is an operation | movement flowchart of the camera which concerns on 2nd Example of this invention. 本発明の第2実施例に係る単写タスクのフローチャートである。It is a flowchart of the single shooting task according to the second embodiment of the present invention. 本発明の第2実施例に係る連写タスクのフローチャートである。It is a flowchart of the continuous shooting task which concerns on 2nd Example of this invention. 本発明の第3実施例に係るACK情報付きUDPパケットの構造を示す図である。It is a figure which shows the structure of the UDP packet with ACK information which concerns on 3rd Example of this invention.

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。   Hereinafter, an example of an embodiment of the present invention will be specifically described with reference to the drawings. In each of the drawings to be referred to, the same part is denoted by the same reference numeral, and redundant description regarding the same part is omitted in principle. In this specification, for the sake of simplification, information, signals, physical quantities, and state quantities corresponding to the symbols or signs are described by writing symbols or signs that refer to information, signals, physical quantities, state quantities, or members. Or names of members, etc. may be omitted or abbreviated.

図1(a)は、本発明の実施形態に係る画像データ転送システムの全体構成図である。画像データ転送システムは、電子機器1及び2にて構成される。第1の電子機器1は、撮影機能を備えた任意の電子機器であり、第2の電子機器2は、表示画面2Sを備えた任意の電子機器である。但し、電子機器1及び2は互いに無線接続が可能であるとする。以下では、電子機器1がデジタルカメラ(撮像装置)であって、電子機器2が、携帯型の端末装置(例えば所謂スマートフォン)であるとする。   FIG. 1A is an overall configuration diagram of an image data transfer system according to an embodiment of the present invention. The image data transfer system is composed of electronic devices 1 and 2. The first electronic device 1 is an arbitrary electronic device having a photographing function, and the second electronic device 2 is an arbitrary electronic device having a display screen 2S. However, it is assumed that the electronic devices 1 and 2 can be wirelessly connected to each other. In the following, it is assumed that the electronic device 1 is a digital camera (imaging device) and the electronic device 2 is a portable terminal device (for example, a so-called smartphone).

図1(b)は、デジタルカメラ1の内部ブロック図であり、デジタルカメラ1は、符号10〜22によって参照される各部位を備える。   FIG. 1B is an internal block diagram of the digital camera 1, and the digital camera 1 includes portions that are referred to by reference numerals 10 to 22.

撮像素子11は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る固体撮像素子であり、光学系10を介して入射した被写体の光学像に応じた画像信号を生成及び出力する。撮像素子11の出力信号に基づく画像を撮影画像と呼ぶ。   The imaging device 11 is a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and generates an image signal corresponding to an optical image of an object incident through the optical system 10. Output. An image based on the output signal of the image sensor 11 is referred to as a captured image.

信号処理部12は、集積回路等から成り、撮像素子11の出力信号に対して所定の信号処理(換言すれば画像処理;AD変換、ノイズ低減処理、デモザイキング処理等)を施すことで撮影画像の画像データを生成する。CPU(Central Processing Unit)13は、操作部19に入力された各種指示及び操作に従いつつ、カメラ1内の各部位の動作を統括的に制御する。ROM(Read Only Memory)14は、半導体メモリ等から成り、CPU13で実行されるべき各種のプログラム及び様々なデータを不揮発的に記録する。RAM(Random Access Memory)15は、半導体メモリ等から成り、カメラ1にて取り扱われる任意のデータを一時的に記録する。記録媒体16は、半導体メモリや磁気ディスク等にて形成された不揮発性の記録媒体であり、CPU13の制御の下、画像データを含む任意のデータを記録する。撮影画像又は任意の映像が、CPU13の制御の下、ビデオエンコーダ17を介して表示画面18に供給されて該表示画面18上で表示される。表示画面18は、例えば液晶ディスプレイパネルである。操作部(操作入力部)19は、表示画面18に付随するタッチパネル及び/又は機械式操作部材から成り、ユーザからの各種の操作及び指示の入力を受け付ける。操作部19への入力内容はシステムコントローラ20を通じてCPU13に伝達される。   The signal processing unit 12 includes an integrated circuit and the like, and performs a predetermined signal processing (in other words, image processing; AD conversion, noise reduction processing, demosaicing processing, etc.) on the output signal of the image pickup device 11 and takes a captured image. Image data is generated. A CPU (Central Processing Unit) 13 comprehensively controls the operation of each part in the camera 1 while following various instructions and operations input to the operation unit 19. A ROM (Read Only Memory) 14 is composed of a semiconductor memory or the like, and records various programs and various data to be executed by the CPU 13 in a nonvolatile manner. A RAM (Random Access Memory) 15 includes a semiconductor memory or the like, and temporarily records arbitrary data handled by the camera 1. The recording medium 16 is a non-volatile recording medium formed of a semiconductor memory, a magnetic disk, or the like, and records arbitrary data including image data under the control of the CPU 13. A captured image or an arbitrary video is supplied to the display screen 18 via the video encoder 17 and displayed on the display screen 18 under the control of the CPU 13. The display screen 18 is a liquid crystal display panel, for example. The operation unit (operation input unit) 19 includes a touch panel and / or a mechanical operation member attached to the display screen 18 and receives various operations and instructions input from the user. Input contents to the operation unit 19 are transmitted to the CPU 13 through the system controller 20.

通信モジュール21は、所定の通信規格に従って、端末装置2を含む任意の電子機器と無線接続し、無線接続された電子機器との間で任意のデータを、アンテナ22を用い無線にて送信及び受信できる。上記通信規格は任意であるが、本実施形態では、カメラ1及び端末装置2間の無線通信がWi−Fi(登録商標)の規格に従うものとする。   The communication module 21 wirelessly connects to any electronic device including the terminal device 2 in accordance with a predetermined communication standard, and transmits and receives arbitrary data to and from the wirelessly connected electronic device wirelessly using the antenna 22. it can. The communication standard is arbitrary, but in the present embodiment, wireless communication between the camera 1 and the terminal device 2 conforms to the Wi-Fi (registered trademark) standard.

図1(c)に、端末装置2の部分的なブロック図を示す。端末装置2は、液晶ディスプレイパネル等から成る表示画面2S(以下では、カメラ1の表示画面18との区別を明確にするべく、端末画面2Sとも呼ぶ)に加えて、符号31〜36によって参照される各部位を備える。端末CPU31は、端末操作部32に入力された各種指示及び操作に従いつつ、端末装置2の動作を統括的に制御する。端末操作部(端末側操作入力部)32は、端末画面2Sに付随するタッチパネル及び/又は機械式操作部材から成り、ユーザからの各種の操作及び指示の入力を受け付ける。通信モジュール33は、所定の通信規格に従って、カメラ1を含む任意の電子機器と無線接続し、無線接続された電子機器との間で任意のデータを、アンテナ34を用い無線にて送信及び受信できる。端末ROM35は、半導体メモリ等から成り、端末CPU31で実行されるべき各種のプログラム及び様々なデータを不揮発的に記録する。端末RAM36は、半導体メモリ等から成り、端末装置2にて取り扱われる任意のデータを一時的に記録する。   FIG. 1C shows a partial block diagram of the terminal device 2. The terminal device 2 is referred to by reference numerals 31 to 36 in addition to a display screen 2S composed of a liquid crystal display panel or the like (hereinafter, also referred to as a terminal screen 2S to clarify the distinction from the display screen 18 of the camera 1). Each part. The terminal CPU 31 comprehensively controls the operation of the terminal device 2 while following various instructions and operations input to the terminal operation unit 32. The terminal operation unit (terminal-side operation input unit) 32 includes a touch panel and / or a mechanical operation member attached to the terminal screen 2S, and receives various operations and instruction inputs from the user. The communication module 33 can wirelessly connect to any electronic device including the camera 1 according to a predetermined communication standard, and can transmit and receive arbitrary data wirelessly using the antenna 34 with the wirelessly connected electronic device. . The terminal ROM 35 is composed of a semiconductor memory or the like, and records various programs and various data to be executed by the terminal CPU 31 in a nonvolatile manner. The terminal RAM 36 is composed of a semiconductor memory or the like, and temporarily records arbitrary data handled by the terminal device 2.

カメラ1及び端末装置2間において、通信プロトコルの一種であるUDP(User Datagram Protocol)又はTCP(Transmission Control Protocol)を用いて通信が可能である。UDPでは、UDPパケットの送受信により所望のデータが送受信される。TCPでは、TCPパケットの送受信により所望のデータが送受信される。UDPの内容及びUDPパケットの構造は、IETF(Internet Engineering Task Force)が策定した仕様を記したRFC(Request for Comments)の内、RFC768で規定されている。TCPの内容及びTCPパケットの構造は、RFCの内、RFC793で規定されている。以下では、特に述べていなくとも、カメラ1による信号(データ)の送信は端末装置2への送信であると解され、端末装置2による信号(データ)の送信はカメラ1への送信であると解される。   Communication between the camera 1 and the terminal device 2 is possible using UDP (User Datagram Protocol) or TCP (Transmission Control Protocol) which is a kind of communication protocol. In UDP, desired data is transmitted / received by transmitting / receiving a UDP packet. In TCP, desired data is transmitted and received by transmitting and receiving TCP packets. The contents of the UDP and the structure of the UDP packet are defined in RFC 768 in RFC (Request for Comments) describing specifications established by the Internet Engineering Task Force (IETF). The contents of TCP and the structure of the TCP packet are defined by RFC793 in RFC. In the following, it is understood that transmission of a signal (data) by the camera 1 is transmission to the terminal device 2, and transmission of a signal (data) by the terminal device 2 is transmission to the camera 1, even if not specifically stated. It is understood.

図2にUDPパケットの構造を示す。UDPパケットは、UDPヘッダとUDPデータ部から成る。UDPヘッダに格納される情報には、UDPパケットの送信元のポート番号を示す送信元ポート番号(Source Port)、UDPパケットを受信すべきポート番号(UDPパケットを受信する機器のポート番号)を示す宛先ポート番号(Destination Port)、UDPパケット全体のデータ長、及び、誤り検出用のチェックサムが含まれる。UDPデータ部には、所定の最大データ長(UDP768において65507バイト)までの任意のデータが格納される。   FIG. 2 shows the structure of the UDP packet. A UDP packet consists of a UDP header and a UDP data part. The information stored in the UDP header indicates the source port number (Source Port) indicating the port number of the UDP packet transmission source, and the port number (port number of the device receiving the UDP packet) that should receive the UDP packet. The destination port number (Destination Port), the data length of the entire UDP packet, and a checksum for error detection are included. In the UDP data portion, arbitrary data up to a predetermined maximum data length (65507 bytes in UDP768) is stored.

図3にTCPパケットの構造を示す。TCPパケットは、TCPヘッダとTCPデータ部から成る。TCPヘッダに格納される情報には、TCPパケットの送信元のポート番号を示す送信元ポート番号(Source Port)、TCPパケットを受信すべきポート番号(TCPパケットを受信する機器のポート番号)を示す宛先ポート番号(Destination Port)、シーケンス番号(Sequence Number)、確認応答番号(Acknowledgement Number)、ACK情報、誤り検出用のチェックサムが含まれる。TCPデータ部には、所定の最大データ長(UDP793において1460バイト)までの任意のデータが格納される。   FIG. 3 shows the structure of the TCP packet. A TCP packet consists of a TCP header and a TCP data part. The information stored in the TCP header indicates a source port number (Source Port) indicating the port number of the TCP packet source, and a port number (port number of the device receiving the TCP packet) that should receive the TCP packet. A destination port number (Destination Port), a sequence number (Sequence Number), an acknowledgment number (Acknowledgement Number), ACK information, and a checksum for error detection are included. In the TCP data portion, arbitrary data up to a predetermined maximum data length (1460 bytes in UDP793) is stored.

カメラ1が端末装置2に対して任意の注目画像データを送信する場合を考えて、カメラ1によるUDPを用いたデータ送信処理(以下、UDP送信処理と呼ぶ)と、カメラ1によるTCPを用いたデータ送信処理(以下、TCP送信処理と呼ぶ)を説明する。UDP送信処理、TCP送信処理による送信を、夫々、UDP送信、TCP送信とも言う。UDP送信処理及びTCP送信処理の何れにおいても、CPU13は、注目画像データを必要数のデータに分割する。但し、注目画像データのデータサイズによっては、当該分割は不要である。今、分割によって第1〜第nパケットデータが得られた場合を考える(nは2以上の整数)。第1〜第nパケットデータの夫々は、注目画像データの一部である。   Considering the case where the camera 1 transmits arbitrary attention image data to the terminal device 2, data transmission processing using UDP by the camera 1 (hereinafter referred to as UDP transmission processing) and TCP using the camera 1 are used. Data transmission processing (hereinafter referred to as TCP transmission processing) will be described. Transmission by UDP transmission processing and TCP transmission processing is also referred to as UDP transmission and TCP transmission, respectively. In both the UDP transmission process and the TCP transmission process, the CPU 13 divides the target image data into a necessary number of data. However, this division is not necessary depending on the data size of the target image data. Consider a case where the first to nth packet data are obtained by division (n is an integer of 2 or more). Each of the first to nth packet data is a part of the target image data.

UDP送信処理において、CPU13は、第iパケットデータを格納した第iUDPパケットを生成し、第1〜第nUDPパケットを、通信モジュール21及びアンテナ22を用いて、順次、端末装置2に送信する。端末装置2は、受信した第1〜第nUDPパケットから注目画像データを復元できる。iは整数である。UDPにおいては、確認応答、再送、タイムアウトといった概念が無い。従って、端末装置2にて第1〜第nパケットデータを含む第1〜第nUDPパケットの受信が成功したか否かに関係なく、第1〜第nUDPパケットの順次送信を終えた時点でUDP送信処理が完了する。但し、UDP送信処理において、送信回数を複数回に設定することもでき、この場合、第1〜第nUDPパケットの順次送信が複数回繰り返される。   In the UDP transmission process, the CPU 13 generates an i-th UDP packet storing the i-th packet data, and sequentially transmits the first to n-th UDP packets to the terminal device 2 using the communication module 21 and the antenna 22. The terminal device 2 can restore the target image data from the received first to n-th UDP packets. i is an integer. In UDP, there is no concept of confirmation response, retransmission, and timeout. Therefore, regardless of whether or not the terminal device 2 has successfully received the first to n-th UDP packets including the first to n-th packet data, the UDP transmission is performed when the first to n-th UDP packets are sequentially transmitted. Processing is complete. However, in the UDP transmission process, the number of transmissions can be set to a plurality of times. In this case, the sequential transmission of the first to nth UDP packets is repeated a plurality of times.

TCP送信処理において、CPU13は、第iパケットデータを格納した第iTCPパケットを生成し、第1〜第nTCPパケットを、通信モジュール21及びアンテナ22を用いて、順次、端末装置2に送信する。この際、CPU13は、第iTCPパケットのシーケンス番号に、夫々、番号“i”を格納する。   In the TCP transmission process, the CPU 13 generates an i-th TCP packet storing i-th packet data, and sequentially transmits the first to n-th TCP packets to the terminal device 2 using the communication module 21 and the antenna 22. At this time, the CPU 13 stores the number “i” in the sequence number of the i-th TCP packet, respectively.

端末装置2にて、第1〜第iTCPパケットまでの受信を成功した場合、端末装置2は、(i+1)の確認応答番号と“1”のACK情報を格納した応答TCPパケットをカメラ1に返信する。応答TCPパケットにおける確認応答番号は、どこまでのTCPパケットを受信できたのかを示すものであり、受信が完了した最後のTCPパケットのシーケンス番号に1を加えた値を持つ。“1”のACK情報は、確認応答番号が有効であることを指し示す。ACK情報が“0”であるとき、確認応答番号は無効である。この応答TCPパケットを受信したカメラ1(CPU13)は、応答TCPパケット内の(i+1)の確認応答番号及びACK情報に基づき、端末装置2にて第1〜第iTCPパケットまでの受信が成功したことを認識する。   When the terminal device 2 has successfully received the first to i-th TCP packets, the terminal device 2 returns a response TCP packet storing the confirmation response number (i + 1) and the ACK information “1” to the camera 1. To do. The acknowledgment number in the response TCP packet indicates how far the TCP packet has been received, and has a value obtained by adding 1 to the sequence number of the last TCP packet that has been received. The ACK information “1” indicates that the confirmation response number is valid. When the ACK information is “0”, the confirmation response number is invalid. The camera 1 (CPU 13) that has received the response TCP packet has successfully received the first to i-th TCP packets in the terminal device 2 based on the (i + 1) confirmation response number and ACK information in the response TCP packet. Recognize

仮に、第(i+1)TCPパケットの送信後、所定時間が経過しても、(i+2)の確認応答番号を含んだ応答TCPパケットが受信されない場合、CPU13は、第(i+1)TCPパケット以降のTCPパケットが端末装置2にて受信できていないと判断して、第(i+1)〜第nTCPパケットを端末装置2に再送する(再び送信する)。このように、TCP送信処理では、(n+1)の確認応答番号を含んだ応答TCPパケットが受信されるまで必要なTCPパケットが再送されるので、無線接続遮断などの特殊要因が発生しない限り、端末装置2による第1〜第nパケットデータの受信成功が確保される。端末装置2は、受信した第1〜第nTCPパケットから注目画像データを復元できる。   If the response TCP packet including the confirmation response number (i + 2) is not received even after a predetermined time has elapsed after the transmission of the (i + 1) th TCP packet, the CPU 13 determines the TCP after the (i + 1) th TCP packet. It is determined that the terminal device 2 has not received the packet, and the (i + 1) th to nth TCP packets are retransmitted (transmitted again) to the terminal device 2. As described above, in the TCP transmission process, the necessary TCP packet is retransmitted until the response TCP packet including the (n + 1) acknowledgment number is received. Therefore, unless a special factor such as a wireless connection interruption occurs, the terminal Successful reception of the first to nth packet data by the device 2 is ensured. The terminal device 2 can restore the target image data from the received first to nth TCP packets.

第1〜第nUDPパケット又は第1〜第nTCPパケットを受信した端末装置2は、注目画像データが表す画像を端末画面2Sに表示できる他、注目画像データを端末装置2内の記録媒体(図1(c)の端末RAM36又はそれ以外の図示されない記録媒体)に記録したり、インターネット網を介しサーバ機器(不図示)にアップロードしたりすることができる。   The terminal device 2 that has received the first to n-th UDP packets or the first to n-th TCP packets can display the image represented by the attention image data on the terminal screen 2S, and can also display the attention image data in the recording medium in the terminal device 2 (FIG. 1). (C) the terminal RAM 36 or other recording medium (not shown), or can be uploaded to a server device (not shown) via the Internet.

図4を参照し、カメラ1及び端末装置2間の無線接続の確立手順などを説明する。以下では、端末装置2において、特定のカメラアプリケーションプログラム(以下、カメラアプリCAと呼ぶ)が起動しているものとする。カメラアプリCAは、必要に応じて他のプログラム(例えば通信アプリケーションプログラム)と協働しつつ通信モジュール33及びアンテナ34を用いて、任意の信号及びデータの送受信を行う。カメラアプリCAを含む、端末装置2(具体的には端末CPU31)上で動作する各種プログラムを、端末ROM35又は端末RAM36に格納しておくことができる。   A procedure for establishing a wireless connection between the camera 1 and the terminal device 2 will be described with reference to FIG. In the following, it is assumed that a specific camera application program (hereinafter referred to as camera application CA) is activated in the terminal device 2. The camera application CA transmits and receives arbitrary signals and data using the communication module 33 and the antenna 34 in cooperation with other programs (for example, communication application programs) as necessary. Various programs that operate on the terminal device 2 (specifically, the terminal CPU 31) including the camera application CA can be stored in the terminal ROM 35 or the terminal RAM 36.

カメラアプリCAにより、端末装置2は、まず、端末装置2との無線接続を求める接続要求信号310をカメラ1に送信する。接続要求信号310を受信したカメラ1は、端末装置2との無線接続を許可する応答信号315を端末装置2に送信する。   With the camera application CA, the terminal device 2 first transmits a connection request signal 310 for requesting a wireless connection with the terminal device 2 to the camera 1. The camera 1 that has received the connection request signal 310 transmits a response signal 315 that permits wireless connection with the terminal device 2 to the terminal device 2.

接続要求信号310及び応答信号315は、HTTP(Hypertext Transfer Protocol)を用いTCPの形式で送受信される。接続要求信号310における送信元ポート番号及び宛先ポート番号は夫々“XX”及び“80”である。ポート番号“XX”は、カメラアプリCAが定めた、端末装置2におけるTCP用のポート番号であり、任意の番号を持つ。ポート番号“80”は、カメラ1におけるTCP用の固定ポート番号である。応答信号315ではカメラ1が送信側になるので、応答信号315における送信元ポート番号及び宛先ポート番号は夫々“80”及び“XX”である。また、接続要求信号310にはデータ“YY”が付加されている。“YY”は、カメラアプリCAが定めた、端末装置2におけるUDP用のポート番号であり、任意の番号を持つ。応答信号315が端末装置2にて受信されることでカメラ1及び端末装置2間の無線接続が完了する(換言すれば無線接続が確立される)。   The connection request signal 310 and the response signal 315 are transmitted and received in the TCP format using HTTP (Hypertext Transfer Protocol). The source port number and the destination port number in the connection request signal 310 are “XX” and “80”, respectively. The port number “XX” is a TCP port number in the terminal device 2 determined by the camera application CA, and has an arbitrary number. The port number “80” is a fixed port number for TCP in the camera 1. Since the camera 1 becomes the transmission side in the response signal 315, the transmission source port number and the destination port number in the response signal 315 are “80” and “XX”, respectively. Further, data “YY” is added to the connection request signal 310. “YY” is a port number for UDP in the terminal device 2 determined by the camera application CA, and has an arbitrary number. When the response signal 315 is received by the terminal device 2, the wireless connection between the camera 1 and the terminal device 2 is completed (in other words, the wireless connection is established).

CPU13は、接続要求信号310の受信後の任意のタイミングで任意のポート番号“ZZ”を生成し、応答信号315の送信後の任意のタイミングでUDPによる画像データ信号320を端末装置2に送信できる。ポート番号“ZZ”は、カメラ1におけるUDP用のポート番号である。従って、画像データ信号320を形成するUDPパケットの送信元ポート番号及び宛先ポート番号は夫々“ZZ”及び“YY”である。画像データ信号320を形成するUDPパケットには、カメラ1にて生成された画像データが付加されている。応答信号315の受信後、宛先ポート番号が“YY”となっているUDPパケットが端末装置2にて受信されたとき、カメラアプリCAは、受信したUDPパケット内の画像データがカメラ1からの画像データ(例えば上記注目画像データ)であると判断する。   The CPU 13 can generate an arbitrary port number “ZZ” at an arbitrary timing after the connection request signal 310 is received, and can transmit the UDP image data signal 320 to the terminal device 2 at an arbitrary timing after the response signal 315 is transmitted. . The port number “ZZ” is a UDP port number in the camera 1. Therefore, the source port number and the destination port number of the UDP packet forming the image data signal 320 are “ZZ” and “YY”, respectively. Image data generated by the camera 1 is added to the UDP packet forming the image data signal 320. After receiving the response signal 315, when the terminal device 2 receives a UDP packet whose destination port number is “YY”, the camera application CA uses the image data from the camera 1 as the image data in the received UDP packet. It is determined that it is data (for example, the above-mentioned attention image data).

尚、UDPにて端末装置2からカメラ1に対し任意の信号を送ることも可能であり、この場合、端末装置2からの信号を形成するUDPパケットの送信元ポート番号及び宛先ポート番号を夫々“YY”及び“ZZ”にすればよい。無線接続の確立後、TCPにて信号及びデータを送受信する際も同様である。以下では、上記の方法を介して、カメラ1及び端末装置2間の無線接続が確立済みであるとする。   It is also possible to send an arbitrary signal from the terminal device 2 to the camera 1 by UDP. In this case, the source port number and the destination port number of the UDP packet forming the signal from the terminal device 2 are “ YY "and" ZZ "may be used. The same applies to transmission and reception of signals and data by TCP after establishing a wireless connection. In the following, it is assumed that the wireless connection between the camera 1 and the terminal device 2 has been established through the above method.

ところで、カメラ1では、所定のフレームレートで、順次、撮像素子11の出力信号から撮影画像の画像データを生成する画像処理(以下、ライブビュー用処理と呼ぶ)を行うことができる。ライブビュー用処理にて得られる撮影画像をライブビュー画像と呼ぶと共に、ライブビュー画像の画像データをライブビュー画像データと呼ぶ。ライブビュー用処理は、信号処理回路12にて、又は、信号処理回路12及びCPU13にて形成される画像処理部により実現される(後述の単写用処理及び連写用処理についても同様)。但し、以下では、各種の画像処理の実行主体がCPU13であるかのような表現も用いる。CPU13は、順次得られるライブビュー画像を動画像として表示画面18に表示することができる他、ライブビュー画像転送処理を行うこともできる。ライブビュー画像転送処理では、順次得られるライブビュー画像データが、通信モジュール21及びアンテナ22を用いて、所定の転送レートで端末装置2に転送(即ち送信)される。ライブビュー画像をスルー画像と読み替えても良い。本実施形態では、ユーザが端末装置2の操作を通じてカメラ1の動作状態を制御し、カメラ1の撮影画像を端末画面2S上で確認することを想定する。   By the way, the camera 1 can sequentially perform image processing (hereinafter referred to as live view processing) that generates image data of a captured image from the output signal of the image sensor 11 at a predetermined frame rate. A captured image obtained by the live view processing is called a live view image, and image data of the live view image is called live view image data. The live view processing is realized by the signal processing circuit 12 or by an image processing unit formed by the signal processing circuit 12 and the CPU 13 (the same applies to single shooting processing and continuous shooting processing described later). However, in the following, an expression as if the execution subject of various image processing is the CPU 13 is also used. The CPU 13 can display the sequentially obtained live view images on the display screen 18 as moving images, and can also perform live view image transfer processing. In the live view image transfer process, live view image data obtained sequentially is transferred (ie, transmitted) to the terminal device 2 at a predetermined transfer rate using the communication module 21 and the antenna 22. The live view image may be read as a through image. In the present embodiment, it is assumed that the user controls the operation state of the camera 1 through the operation of the terminal device 2 and confirms the captured image of the camera 1 on the terminal screen 2S.

図5を参照し、ライブビュー画像転送処理について説明する。カメラ1及び端末装置2間の無線接続が確立すると、自動的に又は端末操作部32に入力された所定操作に従って、端末装置2(カメラアプリCA)は、カメラ1に対し、ライブビュー画像転送処理の開始を要求するライブビュー開始要求信号350を送信する。信号350を受信したカメラ1は、信号350の要求を許可する応答信号355を端末装置2に返信すると共に、ライブビュー画像転送処理を開始する。具体的には、ライブビュー画像転送処理において、CPU13は、所定の転送レート(例えば30フレーム/秒)と同じフレームレートで撮像素子11の出力からライブビュー画像データを生成し、上記転送レートにてライブビュー画像データを次々とUDP送信する。   The live view image transfer process will be described with reference to FIG. When the wireless connection between the camera 1 and the terminal device 2 is established, the terminal device 2 (camera application CA) performs live view image transfer processing on the camera 1 automatically or according to a predetermined operation input to the terminal operation unit 32. A live view start request signal 350 for requesting the start of is transmitted. The camera 1 that has received the signal 350 returns a response signal 355 that permits the request for the signal 350 to the terminal device 2 and starts live view image transfer processing. Specifically, in the live view image transfer process, the CPU 13 generates live view image data from the output of the image sensor 11 at the same frame rate as a predetermined transfer rate (for example, 30 frames / second), and at the transfer rate described above. The live view image data is transmitted by UDP one after another.

ライブビュー画像転送処理で生成及び送信されるライブビュー画像の解像度は、低解像度である。低解像度は、後述の高解像度よりも低い所定の解像度であり、ここでは例として、(640×480)画素に相当するものとする。即ち、各ライブビュー画像は、(640×480)画素の画像サイズを持つ。尚、或る画像の生成、取得、送信、受信等と、当該画像の画像データの生成、取得、送信、受信等とは同義である。従って例えば、ライブビュー画像の生成及び送信とは、ライブビュー画像データの生成及び送信を意味する。端末装置2では、カメラアプリCAにより、順次受信されるライブビュー画像が順次端末画面2Sに更新表示される(即ち、時系列に並ぶライブビュー画像が動画像形式で端末画面2Sに表示される)。端末画面2Sを見ることで、ユーザは、カメラ1の被写体の状態や撮影画角を確認できる。   The resolution of the live view image generated and transmitted in the live view image transfer process is low. The low resolution is a predetermined resolution lower than the high resolution described later, and here, for example, corresponds to (640 × 480) pixels. That is, each live view image has an image size of (640 × 480) pixels. Note that generation, acquisition, transmission, reception, and the like of an image are synonymous with generation, acquisition, transmission, reception, and the like of the image data of the image. Therefore, for example, generation and transmission of a live view image means generation and transmission of live view image data. In the terminal device 2, live view images that are sequentially received are sequentially updated and displayed on the terminal screen 2S by the camera application CA (that is, live view images arranged in time series are displayed on the terminal screen 2S in a moving image format). . By viewing the terminal screen 2S, the user can confirm the state of the subject of the camera 1 and the shooting angle of view.

上述の構成及び動作を基本とする画像データ転送システムの、更なる具体的な構成又は動作を、以下の複数の実施例の中で説明する。矛盾無き限り、以下に述べる複数の実施例の内、任意の2以上の実施例を互いに組み合わせることもできる。   Further specific configurations or operations of the image data transfer system based on the above configurations and operations will be described in a plurality of embodiments below. As long as there is no contradiction, any two or more of the embodiments described below can be combined with each other.

<<第1実施例>>
画像データ転送システムの第1実施例を説明する。ユーザは、1枚の静止画像をカメラ1にて取得及び記録させることを指示する単写指示又はm枚の静止画像をカメラ1にて連続的に取得及び記録させることを指示する連写指示を、端末操作部32に与えることができる。mは、2以上の整数である。
<< First Example >>
A first embodiment of the image data transfer system will be described. The user gives a single shooting instruction that instructs the camera 1 to acquire and record one still image or a continuous shooting instruction that instructs the camera 1 to continuously acquire and record m still images. Can be provided to the terminal operation unit 32. m is an integer of 2 or more.

図6は、単写指示の入力タイミング近辺における信号のやり取りを表している。ライブビュー画像転送処理の開始後、単写指示が端末操作部32に入力されると、カメラアプリCAの機能により、端末装置2から単写コマンドが送信される。単写コマンドの受信に応答して、カメラ1は、撮像素子11を用い1枚の静止画像(以下、単写画像と呼ぶ)を撮影する。この際、単写コマンドの受信に応答して、カメラ1は、ライブビュー画像転送処理を中断し、一方で、撮像素子11の出力信号から1枚の単写画像の画像データを生成する画像処理(以下、単写用処理と呼ぶ)を実行する。以下、単写画像の画像データを単写画像データとも呼ぶ。   FIG. 6 shows signal exchange in the vicinity of the input timing of the single shooting instruction. When a single shooting instruction is input to the terminal operation unit 32 after the start of the live view image transfer process, a single shooting command is transmitted from the terminal device 2 by the function of the camera application CA. In response to receiving the single-shot command, the camera 1 captures a single still image (hereinafter referred to as a single-shot image) using the image sensor 11. At this time, in response to the reception of the single shooting command, the camera 1 interrupts the live view image transfer processing, while image processing for generating image data of one single shooting image from the output signal of the image sensor 11. (Hereinafter referred to as single-shot processing). Hereinafter, the single-shot image data is also referred to as single-shot image data.

単写用処理において、CPU13は、高解像度の単写画像データを生成することができる。高解像度は、上述の低解像度よりも高い所定の解像度であり、例えば、300万画素程度に相当する。従って、高解像度の画像(例えば単写画像)の画像サイズは、低解像度の画像(例えばライブビュー画像)の画像サイズよりも大きい。CPU13は、高解像度の単写画像データを端末装置2にTCP送信し、当該単写画像データが端末装置2にて受信されたことがCPU13にて確認されると、ライブビュー画像転送処理を再開する。端末装置2では、カメラアプリCAにより、受信した高解像度の単写画像が表示画面2Sに一定時間表示され、その後、再開したライブビュー画像転送処理によるライブビュー画像が表示画面2Sに順次更新表示される。   In the single shooting process, the CPU 13 can generate high-resolution single-shot image data. The high resolution is a predetermined resolution higher than the above-mentioned low resolution, and corresponds to, for example, about 3 million pixels. Therefore, the image size of a high-resolution image (for example, a single-shot image) is larger than the image size of a low-resolution image (for example, a live view image). The CPU 13 transmits high-resolution single-shot image data to the terminal device 2 and resumes the live view image transfer process when the CPU 13 confirms that the single-shot image data has been received by the terminal device 2. To do. In the terminal device 2, the received high-resolution single-shot image is displayed on the display screen 2S for a certain time by the camera application CA, and then the live view image by the resumed live view image transfer process is sequentially updated and displayed on the display screen 2S. The

図7は、連写指示の入力タイミング近辺における信号のやり取りを表している。連写指示は、連写開始指示と連写終了指示から成る。ライブビュー画像転送処理の開始後、連写開始指示が端末操作部32に入力されると、カメラアプリCAの機能により、端末装置2から連写開始コマンドが送信される。連写開始コマンドを受信すると、カメラ1は、撮像素子11を用いm枚の静止画像(以下、第1〜第m連写画像と呼ぶ)を連続的に撮影する。この際、連写開始コマンドの受信に応答して、カメラ1は、ライブビュー画像転送処理を中断し、一方で、撮像素子11の出力信号から第1〜第m連写画像の画像データを生成する画像処理(以下、連写用処理と呼ぶ)を実行する。以下、第i連写画像の画像データを第i連写画像データと呼ぶ。第i連写画像の次に第(i+1)連写画像が取得されるものとする。   FIG. 7 shows signal exchange in the vicinity of the input timing of the continuous shooting instruction. The continuous shooting instruction includes a continuous shooting start instruction and a continuous shooting end instruction. When a continuous shooting start instruction is input to the terminal operation unit 32 after the start of the live view image transfer process, a continuous shooting start command is transmitted from the terminal device 2 by the function of the camera application CA. When receiving the continuous shooting start command, the camera 1 continuously takes m still images (hereinafter referred to as first to m-th continuous shooting images) using the image sensor 11. At this time, in response to the reception of the continuous shooting start command, the camera 1 interrupts the live view image transfer process, while generating image data of the first to m-th continuous shooting images from the output signal of the image sensor 11. Image processing (hereinafter referred to as continuous shooting processing). Hereinafter, the image data of the i-th continuous shot image is referred to as i-th continuous shot image data. It is assumed that the (i + 1) -th continuous shooting image is acquired after the i-th continuous shooting image.

連写開始指示の後、連写終了指示が端末操作部32に入力されると、カメラアプリCAの機能により、端末装置2から連写終了コマンドが送信される。例えば、表示画面2S上に表示された連写ボタン(不図示)を押し始める操作が連写開始指示に相当し、該連写ボタンの押下をやめる操作が連写終了指示に相当する。連写用処理において、CPU13は、連写終了コマンドが受信されるまで、所定のフレームレートで撮像素子11から連続的に連写画像を取得し、連写終了コマンドの受信時に得られている最後の連写画像を第m連写画像とする。或いは、連写終了コマンドの受信後に撮影した1枚の連写画像を第m連写画像として取り扱っても良い。このように、mの値は、連写終了コマンドの受信タイミングに依存して変化する(即ち、連写指示の中で動的に定められる)。   When a continuous shooting end instruction is input to the terminal operation unit 32 after the continuous shooting start instruction, a continuous shooting end command is transmitted from the terminal device 2 by the function of the camera application CA. For example, an operation to start pressing a continuous shooting button (not shown) displayed on the display screen 2S corresponds to a continuous shooting start instruction, and an operation to stop pressing the continuous shooting button corresponds to a continuous shooting end instruction. In the continuous shooting process, the CPU 13 continuously acquires continuous shot images from the image sensor 11 at a predetermined frame rate until the continuous shooting end command is received, and the last obtained at the time of receiving the continuous shooting end command. Is the m-th continuous shot image. Alternatively, one continuous shot image taken after receiving the continuous shooting end command may be handled as the m-th continuous shooting image. As described above, the value of m changes depending on the reception timing of the continuous shooting end command (that is, dynamically determined in the continuous shooting instruction).

CPU13は、連写終了コマンドが受信されるまでには、順次得られた各連写画像(即ち、第1〜第(m−1)連写画像の何れか)について低解像度の画像データを生成し、得られた低解像度の連写画像データを端末装置2にUDP送信する。即ち、低解像度の第i連写画像データを生成して端末装置2にUDP送信する単位処理を、連写終了コマンドが受信されるまで繰り返し実行する。端末装置2では、カメラアプリCAにより、該単位処理の繰り返しで順次受信された第i連写画像データ(第i連写画像)が表示画面2Sに順次更新表示される。CPU13は、連写終了コマンドの受信後、高解像度の第m連写画像データを生成して端末装置2にTCP送信する。   The CPU 13 generates low-resolution image data for each sequentially captured image (that is, any one of the first to (m-1) th continuous images) until the continuous shooting end command is received. Then, the obtained low-resolution continuous shot image data is UDP-transmitted to the terminal device 2. That is, the unit process of generating the low-resolution i-th continuous-shot image data and transmitting the UDP to the terminal device 2 is repeatedly executed until the continuous-shooting end command is received. In the terminal device 2, the camera application CA sequentially updates and displays the i-th continuous shot image data (i-th continuous shot image) sequentially received by repeating the unit processing. After receiving the continuous shooting end command, the CPU 13 generates high-resolution m-th continuous shooting image data and transmits it to the terminal device 2 by TCP.

当該高解像度の第m連写画像データが端末装置2にて受信されたことがCPU13にて確認されると、ライブビュー画像転送処理を再開する。端末装置2では、カメラアプリCAにより、受信した高解像度の第m連写画像データが表示画面2Sに一定時間表示され、その後、再開したライブビュー画像転送処理によるライブビュー画像が表示画面2Sに順次更新表示される。尚、連写開始指示の入力前にmの値を予め定めておくようにしても良い。この場合、連写終了指示及び連写終了コマンドは不要であり、連写終了コマンドの受信を待つことなく、連写枚数がmに達した時点で、CPU13は高解像度の第m連写画像データの生成及びTCP送信を行えば良い。   When the CPU 13 confirms that the high-resolution m-th continuous-shot image data has been received by the terminal device 2, the live view image transfer process is resumed. In the terminal device 2, the received high-resolution m-th continuous-shot image data is displayed on the display screen 2S for a certain time by the camera application CA, and then the live view images obtained by the resumed live view image transfer processing are sequentially displayed on the display screen 2S. Updated display. Note that the value of m may be determined in advance before the continuous shooting start instruction is input. In this case, the continuous shooting end instruction and the continuous shooting end command are unnecessary, and when the number of continuous shots reaches m without waiting for the reception of the continuous shooting end command, the CPU 13 performs high-resolution m-th continuous shooting image data. Generation and TCP transmission may be performed.

上述の如く、本実施例では、ライブビュー画像など、リアルタイム性が重視される画像についてはUDPを用いる一方、撮影指示に応答して取得される特定の画像(単写画像、第m連写画像)についてはTCPを用いる。これにより、撮影指示に応答した特定の画像、即ち、比較的詳細な目視確認が要望される特定の画像を、高解像度の画像データとして確実に端末装置2に送ることができ、当該特定の画像については高精細な画像での目視確認が可能なる。この際、高解像度の画像データをUDPにて複数回送ることを前提とする方式と比べて、効率的な送信が可能である。即ち、複数回送信を前提とする方式では、電波環境の良し悪しに関係なく、送信時間が相当に長くなるのに対し、第1実施例のカメラ1では、電波環境が良い場合には再送無しの短時間で送信が完了し、電波環境が悪い場合でも受信不良となったパケットのみ再送すればよいため上記方式よりも無駄が少ない。   As described above, in this embodiment, UDP is used for an image in which real-time property is important, such as a live view image, while a specific image (single-shot image, m-th continuous shot image) acquired in response to a shooting instruction is used. ) Is used for TCP. Accordingly, a specific image in response to the shooting instruction, that is, a specific image for which relatively detailed visual confirmation is desired can be reliably sent to the terminal device 2 as high-resolution image data. Can be visually confirmed with high-definition images. At this time, efficient transmission is possible as compared with a method based on the premise that high-resolution image data is sent a plurality of times by UDP. That is, in the method based on multiple transmissions, the transmission time becomes considerably long regardless of whether the radio wave environment is good or bad. In the camera 1 of the first embodiment, there is no retransmission when the radio wave environment is good. The transmission is completed in a short time, and even if the radio wave environment is bad, only the packet with poor reception needs to be retransmitted.

<<第2実施例>>
画像データ転送システムの第2実施例を説明する。第2実施例及び後述の第3実施例は第1実施例を基礎とする実施例であり、第2及び第3実施例において特に述べない事項に関しては、特に記述無き限り且つ矛盾の無い限り、第1実施例の記載が第2及び第3実施例にも適用される。
<< Second Example >>
A second embodiment of the image data transfer system will be described. The second embodiment and the third embodiment to be described later are embodiments based on the first embodiment, and the matters not specifically described in the second and third embodiments are unless otherwise specified and unless otherwise contradicted. The description of the first embodiment also applies to the second and third embodiments.

第1実施例において、端末装置2に対し、高解像度の画像データが送信される単写画像及び第m連写画像を、便宜上、対象画像と呼び、低解像度の画像データが送信されるライブビュー画像及び第1〜第(m−1)連写画像を、便宜上、非対象画像と呼ぶ。第1実施例では、対象画像について、常に高解像度の画像データを送信しているが、所定の高精細送信要求があった場合に限って、高解像度の画像データの送信を行うようにしても良い。   In the first embodiment, the single-shot image and the m-th continuous shot image to which the high-resolution image data is transmitted to the terminal device 2 are referred to as target images for convenience, and the live view in which the low-resolution image data is transmitted. The image and the first to (m−1) th continuous shot images are referred to as non-target images for convenience. In the first embodiment, the high-resolution image data is always transmitted for the target image. However, the high-resolution image data may be transmitted only when a predetermined high-definition transmission request is made. good.

これを具体的に説明する。カメラアプリCAにより、端末装置2は、任意のタイミングにおいてカメラ1に対し、高解像度の対象画像データの送信を要求する所定の高精細送信要求信号を送信することができる。高精細送信要求信号を受信した場合、カメラ1は、対象画像データを送信するときに、第1実施例と同様、高解像度の対象画像データをTCP送信する。一方、高精細送信要求信号を受信していない場合において対象画像データを送信するとき、カメラ1は、低解像度の対象画像データを所定のK回だけ繰り返しUDP送信する。Kは2以上の任意の整数であるが、以下ではK=5であるとする。   This will be specifically described. With the camera application CA, the terminal device 2 can transmit a predetermined high-definition transmission request signal for requesting transmission of high-resolution target image data to the camera 1 at an arbitrary timing. When receiving the high-definition transmission request signal, the camera 1 transmits the high-resolution target image data by TCP as in the first embodiment when transmitting the target image data. On the other hand, when the target image data is transmitted when the high-definition transmission request signal is not received, the camera 1 repeats UDP transmission of the low-resolution target image data a predetermined K times. K is an arbitrary integer equal to or greater than 2, but in the following, it is assumed that K = 5.

低解像度の対象画像データの繰り返し送信の実行前に高精細送信要求信号を受信している場合、カメラ(CPU13)は、低解像度の対象画像データを1回もUDP送信することなく、高解像度の対象画像データをTCP送信する。低解像度の対象画像データの繰り返し送信の実行中に高精細送信要求信号を受信した場合、カメラ(CPU13)は、当該繰り返し送信を中止した上で、高解像度の対象画像データをTCP送信する。   When the high-definition transmission request signal is received before the repeated transmission of the low-resolution target image data is performed, the camera (CPU 13) does not transmit the low-resolution target image data once without performing UDP transmission. The target image data is transmitted by TCP. When a high-definition transmission request signal is received during execution of repeated transmission of low-resolution target image data, the camera (CPU 13) transmits the high-resolution target image data by TCP after stopping the repeated transmission.

図8は、連写指示の入力タイミング近辺における、第2実施例の信号のやり取りを表している。連写終了コマンドがカメラ1にて受信されるまでの動作は、第1実施例(図7)と同じである。   FIG. 8 shows signal exchange in the second embodiment near the input timing of the continuous shooting instruction. The operation until the continuous shooting end command is received by the camera 1 is the same as that in the first embodiment (FIG. 7).

図8では、連写終了コマンドより前に高精細送信要求信号がカメラ1に送信されていないことを想定する。従って、連写終了コマンドがカメラ1にて受信されると、まず、CPU13は、低解像度の第m連写画像データを、所定の転送レート(例えば5フレーム/秒)で、繰り返し端末装置2にUDP送信する。低解像度の第m連写画像データの繰り返し送信回数がK回未満であるときに、高精細送信要求信号がカメラ1にて受信されると、CPU13は、当該繰り返し送信を中止し、高解像度の第m連写画像データを端末装置2にTCP送信する。TCPでは、データの受信成功が確保されるため、TCPでの送信は1回で足る。   In FIG. 8, it is assumed that the high-definition transmission request signal is not transmitted to the camera 1 before the continuous shooting end command. Therefore, when the continuous shooting end command is received by the camera 1, first, the CPU 13 repeatedly transmits the low resolution m-th continuous shooting image data to the terminal device 2 at a predetermined transfer rate (for example, 5 frames / second). Send UDP. When the high-definition transmission request signal is received by the camera 1 when the number of repeated transmissions of the low-resolution m-th continuous-shot image data is less than K times, the CPU 13 stops the repeated transmission, The m-th continuous shot image data is TCP-transmitted to the terminal device 2. With TCP, data reception success is ensured, so transmission with TCP is sufficient once.

高解像度の第m連写画像データが端末装置2にて受信されたことがCPU13にて確認されると、ライブビュー画像転送処理を再開する。端末装置2では、カメラアプリCAにより、受信した高解像度の第m連写画像データが表示画面2Sに一定時間表示され、その後、再開したライブビュー画像転送処理によるライブビュー画像が表示画面2Sに順次更新表示される。   When the CPU 13 confirms that the high-resolution m-th continuous-shot image data has been received by the terminal device 2, the live view image transfer process is resumed. In the terminal device 2, the received high-resolution m-th continuous-shot image data is displayed on the display screen 2S for a certain time by the camera application CA, and then the live view images obtained by the resumed live view image transfer processing are sequentially displayed on the display screen 2S. Updated display.

図8の状況とは異なるが、カメラ1にて高精細送信要求信号が受信されない場合、低解像度の第m連写画像データがK回繰り返しカメラ1からUDP送信される。従って、端末装置2では、低解像度の第m連写画像データがK回繰り返し受信されることが期待される。しかし、UDPは再送を伴わない通信プロトコルであるため、各回において、第m連写画像データの全パケットデータが端末装置2にて正常受信されるか否かが不明である。但し、同じ画像データを複数回繰り返し送信することで、或る程度のデータ受信不良があったとしても、K回分の受信データから第m連写画像データ全体を正しく得られる可能性が高い。即ち、高精細送信要求信号を送信しない場合、端末装置2は、カメラ1がK回繰り返し送信した低解像度の第m連写画像データの受信結果から低解像度の第m連写画像データを取得し(当該取得は成功するとは限らない)、低解像度の第m連写画像データを表示画面2Sに一定時間表示する。図8は、対象画像が第m連写画像である場合を示しているが、対象画像が単写画像である場合も同様である。   Although not the situation of FIG. 8, when the camera 1 does not receive a high-definition transmission request signal, the low-resolution m-th continuous-shot image data is UDP-transmitted from the camera 1 repeatedly. Therefore, it is expected that the terminal device 2 repeatedly receives the m-th continuous shot image data with low resolution K times. However, since UDP is a communication protocol that does not involve retransmission, it is unclear whether or not all packet data of the m-th continuous-shot image data is normally received by the terminal device 2 each time. However, by repeatedly transmitting the same image data a plurality of times, even if there is a certain degree of data reception failure, there is a high possibility that the entire m-th continuous-shot image data can be obtained correctly from the K received data. That is, when the high-definition transmission request signal is not transmitted, the terminal device 2 acquires the low-resolution m-th continuous-shot image data from the reception result of the low-resolution m-th continuous-shot image data transmitted repeatedly K times by the camera 1. (The acquisition is not always successful), and the low-resolution m-th continuous shot image data is displayed on the display screen 2S for a certain period of time. FIG. 8 shows the case where the target image is the m-th continuous shot image, but the same applies when the target image is a single shot image.

図9に、カメラ1の動作フローチャートを示す。カメラ1及び端末装置2間の無線接続が完了してカメラ1にてライブビュー開始要求信号を受けた後、ステップS1において、ライブビュー画像転送処理が開始される(即ち、低解像度のライブビュー画像データの周期的な生成及び送信が開始される)。ユーザは端末操作部32に所定操作を入力することでカメラ1の撮影条件を指定することができる。カメラアプリCAは、端末操作部32への入力操作に応じ、カメラ1の撮影条件を指定する撮影条件設定指示信号をカメラ1に送信できる。ステップS1に続くステップS2にて、カメラ1が撮影条件設定指示信号を受信している場合、CPU13は、受信した撮影条件設定指示信号に応じ、ステップS3にてカメラ1の撮影条件を設定してからステップS4に進むが、当該受信が無い場合、ステップS2から直接ステップS4に進む。設定される撮影条件は、オートフォーカスの条件やフラッシュの発光条件など、様々な撮影条件を含む。カメラ1の操作部19を通じて撮影条件が設定されても良い。ステップS4及びS5において、CPU13は、単写指示又は連写指示が入力されたかを確認する。単写指示及び連写指示が無い場合にはステップS2に戻る。単写指示が入力された場合(即ち、単写コマンドがカメラ1にて受信された場合)には単写タスクを実行する。連写指示が入力された場合(即ち、連写開始コマンドがカメラ1にて受信された場合)には連写タスクを実行する。単写タスク又は連写タスクの実行中にはライブビュー画像転送処理が中断され、単写タスク又は連写タスクの終了後、ステップS1に戻ってライブビュー画像転送処理が再開される。   FIG. 9 shows an operation flowchart of the camera 1. After the wireless connection between the camera 1 and the terminal device 2 is completed and the camera 1 receives the live view start request signal, the live view image transfer process is started in step S1 (that is, the low-resolution live view image). Periodic generation and transmission of data is started). The user can specify the shooting conditions of the camera 1 by inputting a predetermined operation to the terminal operation unit 32. The camera application CA can transmit to the camera 1 a shooting condition setting instruction signal that specifies the shooting conditions of the camera 1 in response to an input operation to the terminal operation unit 32. When the camera 1 has received the shooting condition setting instruction signal in step S2 following step S1, the CPU 13 sets the shooting condition of the camera 1 in step S3 in accordance with the received shooting condition setting instruction signal. From step S2, the process proceeds directly to step S4. The shooting conditions to be set include various shooting conditions such as autofocus conditions and flash emission conditions. Shooting conditions may be set through the operation unit 19 of the camera 1. In steps S4 and S5, the CPU 13 confirms whether a single shooting instruction or a continuous shooting instruction is input. If there is no single shooting instruction or continuous shooting instruction, the process returns to step S2. When a single shooting instruction is input (that is, when a single shooting command is received by the camera 1), a single shooting task is executed. When a continuous shooting instruction is input (that is, when a continuous shooting start command is received by the camera 1), a continuous shooting task is executed. During the execution of the single shooting task or the continuous shooting task, the live view image transfer process is interrupted, and after the single shooting task or the continuous shooting task ends, the process returns to step S1 to restart the live view image transfer process.

図10を参照し、単写タスクについて説明する。図10は、ステップS11〜S19の処理から成る単写タスクのフローチャートである。単写タスクでは、まず、ステップS11において単写画像の撮影が行われ、撮像素子11から単写画像の画像信号が取得される。信号処理回路12において、単写画像の画像信号がRAW信号形式からYUV信号形式に変換される。続くステップS12において、信号処理回路12によりJPEG(Joint Photographic Experts Group)形式の単写画像データが生成され、更にステップS13にて記録タスクが起動する。記録タスクはCPU13により実行される。ステップS13で起動する記録タスクでは、JPEG形式の単写画像データが記録媒体16に記録される(記録サイズは任意である)。   The single shooting task will be described with reference to FIG. FIG. 10 is a flowchart of a single shooting task including the processes of steps S11 to S19. In the single shooting task, first, in step S11, a single shooting image is taken, and an image signal of the single shooting image is acquired from the image sensor 11. In the signal processing circuit 12, the image signal of the single shot image is converted from the RAW signal format to the YUV signal format. In subsequent step S12, single-shot image data in JPEG (Joint Photographic Experts Group) format is generated by the signal processing circuit 12, and a recording task is activated in step S13. The recording task is executed by the CPU 13. In the recording task activated in step S13, single-shot image data in JPEG format is recorded on the recording medium 16 (recording size is arbitrary).

その後、CPU13は、ステップS14にて変数jに1を代入してから、ステップS15にて高精細送信要求信号を端末装置2から既に受信しているか否かを確認する。高精細送信要求信号を既に受信している場合にはステップ16へ移行するが、その受信が無い場合にはステップS17に移行する。   Then, after substituting 1 for the variable j in step S14, the CPU 13 confirms whether or not a high-definition transmission request signal has already been received from the terminal device 2 in step S15. If a high-definition transmission request signal has already been received, the process proceeds to step 16; otherwise, the process proceeds to step S17.

ステップS16において、CPU13(信号処理回路12)は、高解像度の単写画像データを生成し、通信モジュール21等を用いて高解像度の単写画像データを端末装置2にTCP送信する。送信対象の高解像度の単写画像データは、例えば、YUV信号形式で表現された単写画像に対し所定の解像度変換及びJPEG変換を行うことで得られる(低解像度の単写画像データを送信する場合も同様)。ステップS16ではTCPが用いられるので、高解像度の単写画像データを伝送するための全TCPパケットが端末装置2にて受信できたことが確認されるまで、必要に応じ、TCPパケットの再送が行われる。ステップS16のTCPによる送信が完了すると、単写タスクが終了する。   In step S <b> 16, the CPU 13 (signal processing circuit 12) generates high-resolution single-shot image data, and transmits the high-resolution single-shot image data to the terminal device 2 using the communication module 21 or the like. The high-resolution single-shot image data to be transmitted is obtained, for example, by performing predetermined resolution conversion and JPEG conversion on the single-shot image expressed in the YUV signal format (transmitting low-resolution single-shot image data). The same applies to cases). Since TCP is used in step S16, TCP packets are retransmitted as necessary until it is confirmed that all the TCP packets for transmitting high-resolution single-shot image data have been received by the terminal device 2. Is called. When the transmission by TCP in step S16 is completed, the single-shot task ends.

ステップS17において、CPU13(信号処理回路12)は、低解像度の単写画像データを生成し、通信モジュール21等を用いて低解像度の単写画像データを端末装置2にUDP送信する。その後、CPU13は、ステップS18にて変数jが5であるか否かを確認し、j=5でない場合にはステップS19にて変数jに1を加算してからステップS15に戻る。j=5である場合には、単写タスクが終了する。カメラ1にて高精細送信要求信号が受信されていないときにおける、ステップS17のUDP送信は、所定の間隔(例えば200ミリ秒)をおいて繰り返し実行される。UDPによる繰り返し送信は、高精細送信要求信号の受信によって中断されうる(ステップS15)。   In step S <b> 17, the CPU 13 (signal processing circuit 12) generates low-resolution single-shot image data, and transmits the low-resolution single-shot image data to the terminal device 2 using the communication module 21 or the like. Thereafter, the CPU 13 checks whether or not the variable j is 5 in step S18. If j is not 5, the CPU 13 adds 1 to the variable j in step S19 and then returns to step S15. If j = 5, the single-shot task ends. When no high-definition transmission request signal is received by the camera 1, the UDP transmission in step S17 is repeatedly executed at a predetermined interval (for example, 200 milliseconds). Repeated transmission by UDP can be interrupted by receiving a high-definition transmission request signal (step S15).

図11を参照し、連写タスクについて説明する。図11は、ステップS31〜S37及びS41〜S46の処理から成る連写タスクのフローチャートである。連写タスクでは、まず、ステップS31にて変数iに1が代入された上でステップS32において第i連写画像の撮影が行われ、撮像素子11から第i連写画像の画像信号が取得される。信号処理回路12において、連写画像の画像信号がRAW信号形式からYUV信号形式に変換される。続くステップS33において、信号処理回路12によりJPEG(Joint Photographic Experts Group)形式の連写画像データが生成され、更にステップS34にて記録タスクが起動する。記録タスクはCPU13により実行される。ステップS34で起動する記録タスクでは、JPEG形式の第i連写画像データが記録媒体16に記録される(記録サイズは任意である)。   The continuous shooting task will be described with reference to FIG. FIG. 11 is a flowchart of a continuous shooting task including the processes of steps S31 to S37 and S41 to S46. In the continuous shooting task, first, 1 is assigned to the variable i in step S31, and then the i-th continuous shooting image is shot in step S32, and the image signal of the i-th continuous shooting image is acquired from the image sensor 11. The In the signal processing circuit 12, the image signal of the continuous shot image is converted from the RAW signal format to the YUV signal format. In subsequent step S33, the signal processing circuit 12 generates JPEG (Joint Photographic Experts Group) format continuous shot image data, and in step S34, a recording task is activated. The recording task is executed by the CPU 13. In the recording task activated in step S34, the i-th continuous shot image data in JPEG format is recorded on the recording medium 16 (recording size is arbitrary).

記録タスクの実行と平行して、ステップS35にて、CPU13(信号処理回路12)は、低解像度の第i連写画像データを生成し、通信モジュール21等を用いて低解像度の第i連写画像データを端末装置2にUDP送信する。送信対象の低解像度の第i連写画像データは、例えば、YUV信号形式で表現された第i連写画像データに対し所定の解像度変換及びJPEG変換を行うことで得られる(高解像度の第i連写画像データを送信する場合も同様)。続くステップS36において、CPU13は、カメラ1にて連写終了コマンドが受信されたか否かを確認し、その受信があった場合にはステップS41に進むが、その受信が未だ無い場合にはステップS37にて変数iに1を加算してからステップS32に戻る。ステップS35の繰り返し実行周期は、例えば200ミリ秒である。ステップS36からステップS41に移行するときの変数iの値は連写枚数(即ち、mの値)に一致する。   In parallel with the execution of the recording task, in step S35, the CPU 13 (signal processing circuit 12) generates low-resolution i-th continuous-shot image data and uses the communication module 21 or the like to generate the low-resolution i-th continuous-shot image data. The image data is UDP transmitted to the terminal device 2. The low-resolution i-th continuous-shot image data to be transmitted is obtained by, for example, performing predetermined resolution conversion and JPEG conversion on the i-th continuous-shot image data expressed in the YUV signal format (i.e., high-resolution i-th continuous-shot image data). The same applies when sending continuous shot image data). In subsequent step S36, the CPU 13 confirms whether or not a continuous shooting end command is received by the camera 1, and proceeds to step S41 if received, but if not received yet, step S37. After adding 1 to the variable i, the process returns to step S32. The repetition execution period of step S35 is, for example, 200 milliseconds. The value of the variable i when shifting from step S36 to step S41 matches the number of continuous shots (that is, the value of m).

ステップS41にて変数jに1が代入される。続くステップS42において、CPU13は、カメラ1にて高精細送信要求信号が受信されたか否かを確認し、その受信があった場合にはステップS43に進むが、その受信が未だ無い場合にはステップS44に進む。ステップS43において、CPU13(信号処理回路12)は、高解像度の第m連写画像データを生成し、通信モジュール21等を用いて高解像度の第m連写画像データを端末装置2にTCP送信する。ステップS43ではTCPが用いられるので、高解像度の第m連写画像データを伝送するための全TCPパケットが端末装置2にて受信できたことが確認されるまで、必要に応じ、TCPパケットの再送が行われる。ステップS43のTCPによる送信が完了すると、連写タスクが終了する。   In step S41, 1 is substituted into the variable j. In subsequent step S42, the CPU 13 confirms whether or not the high-definition transmission request signal is received by the camera 1, and proceeds to step S43 if received, but if not yet received, the step proceeds to step S43. Proceed to S44. In step S43, the CPU 13 (signal processing circuit 12) generates high-resolution m-th continuous-shot image data, and transmits the high-resolution m-th continuous-shot image data to the terminal device 2 using the communication module 21 or the like. . Since TCP is used in step S43, retransmission of TCP packets is performed as necessary until it is confirmed that all TCP packets for transmitting the high-resolution m-th continuous-shot image data have been received by the terminal device 2. Is done. When the transmission by TCP in step S43 is completed, the continuous shooting task ends.

ステップS44において、CPU13(信号処理回路12)は、低解像度の第m連写画像データを生成し、通信モジュール21等を用いて低解像度の第m連写画像データを端末装置2にUDP送信する(但し、最後のステップS35の生成データを流用しても良い)。その後、CPU13は、ステップS45にて変数jが5であるか否かを確認し、j=5でない場合にはステップS46にて変数jに1を加算してからステップS42に戻る。j=5である場合には、連写タスクが終了する。カメラ1にて高精細送信要求信号が受信されていないときにおける、ステップS44のUDP送信は、所定の間隔(例えば200ミリ秒)をおいて繰り返し実行される。UDPによる繰り返し送信は、高精細送信要求信号の受信によって中断されうる(ステップS42)。   In step S44, the CPU 13 (signal processing circuit 12) generates low-resolution m-th continuous-shot image data, and transmits the low-resolution m-th continuous-shot image data to the terminal device 2 using the communication module 21 or the like. (However, the data generated in the last step S35 may be used). Thereafter, the CPU 13 checks whether or not the variable j is 5 in step S45. If j is not 5, the CPU 13 adds 1 to the variable j in step S46, and then returns to step S42. If j = 5, the continuous shooting task ends. When no high-definition transmission request signal is received by the camera 1, the UDP transmission in step S44 is repeatedly executed at a predetermined interval (for example, 200 milliseconds). Repeated transmission by UDP can be interrupted by receiving a high-definition transmission request signal (step S42).

第2実施例によれば、端末装置2側の要望の有無に応じて、高解像度データのTCP送信又は低解像度データの複数回UDP送信を行うことができる。端末画面2Sが比較的大きな場合などにおいて高精細送信要求を行えば、第1実施例と同様の作用及び効果が奏される。一方で、端末装置2及びカメラアプリCAがUDP送受信だけに対応している場合でも、低解像度にはなるが、問題なく対象画像を端末画面2Sに表示することができる。端末装置2及びカメラアプリCAがUDPにしか対応していない場合において、対象画像データについては常にTCP送信を行うといった仕様を採用すると、端末装置2側で対象画像を表示できないことになるが、第2実施例の方法を用いることで、そのような問題は無くなる。つまり、様々な端末装置又はカメラアプリに対して高い互換性を持たせることができる。   According to the second embodiment, it is possible to perform TCP transmission of high resolution data or multiple times of UDP transmission of low resolution data depending on whether there is a request on the terminal device 2 side. If a high-definition transmission request is made when the terminal screen 2S is relatively large, the same operations and effects as in the first embodiment are achieved. On the other hand, even when the terminal device 2 and the camera application CA support only UDP transmission / reception, the target image can be displayed on the terminal screen 2S without any problem, although the resolution is reduced. When the terminal device 2 and the camera application CA are only compatible with UDP, if the specification that the target image data is always TCP-transmitted is adopted, the target image cannot be displayed on the terminal device 2 side. By using the method of the second embodiment, such a problem is eliminated. That is, it is possible to provide high compatibility with various terminal devices or camera applications.

尚、第1実施例では、図10の単写タスクにおいて、ステップS13の処理の後、常にステップS16の処理を行えば良く、図11の連写タスクにおいて、連写終了コマンドの受信後、常にステップS43の処理を行えば良い。   In the first embodiment, in the single shooting task of FIG. 10, the processing of step S16 may be always performed after the processing of step S13. In the continuous shooting task of FIG. What is necessary is just to perform the process of step S43.

<<第3実施例>>
画像データ転送システムの第3実施例を説明する。カメラ1について、以下のように考えることができる。カメラ1は、撮像部の出力信号に基づく画像データを生成する画像処理部と、撮影指示に応答した特定の対象画像についての対象画像データ、及び、該対象画像データ以外の非対象画像についての第1解像度の非対象画像データを、無線接続された外部装置に送信する通信処理部と、を備える。そして、前記画像処理部は、前記第1解像度よりも高い第2解像度の対象画像データを生成可能であり、前記通信処理部は、前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく送信が完了する(例えば所定時間TREF内に送信が完了する)第1プロトコルを用い、前記第2解像度の対象画像データを送信する際には、前記外部装置での受信成功を確保する(例えば前記所定時間TREFを超えても受信成功を確保する)第2プロトコルを用いる。
<< Third Example >>
A third embodiment of the image data transfer system will be described. The camera 1 can be considered as follows. The camera 1 includes an image processing unit that generates image data based on an output signal of the imaging unit, target image data for a specific target image in response to a shooting instruction, and first non-target images other than the target image data. A communication processing unit that transmits non-target image data of one resolution to a wirelessly connected external device. The image processing unit can generate target image data having a second resolution higher than the first resolution, and the communication processing unit can transmit the non-target image data with the external device. When the target image data of the second resolution is transmitted using the first protocol using the first protocol (for example, transmission is completed within the predetermined time T REF ) regardless of the success or failure of the reception of A second protocol is used to ensure successful reception (for example, ensure successful reception even if the predetermined time T REF is exceeded).

上述したように、画像処理部は、信号処理回路12にて、又は、信号処理回路12及びCPU13にて形成される。通信処理部は、CPU13、通信モジュール21及びアンテナ22にて実現されるが、送信の制御自体はCPU13が行う。端末装置2は外部装置の例である。外部装置は任意の電子機器(携帯電話機、タブレット、パーソナルコンピュータ、ゲーム機器など)であって良い。カメラ1は任意の電子機器に搭載されていても良い。上述の説明では、第1解像度を低解像度と称し、第2解像度を高解像度と称している。カメラ1の撮像部は、少なくとも撮像素子11を含み、光学系10も含まれうる。撮像素子11の出力信号を増幅する増幅器なども、撮像部の構成要素に含まれうる。   As described above, the image processing unit is formed by the signal processing circuit 12 or by the signal processing circuit 12 and the CPU 13. The communication processing unit is realized by the CPU 13, the communication module 21, and the antenna 22, but the CPU 13 controls transmission itself. The terminal device 2 is an example of an external device. The external device may be any electronic device (mobile phone, tablet, personal computer, game device, etc.). The camera 1 may be mounted on any electronic device. In the above description, the first resolution is referred to as low resolution, and the second resolution is referred to as high resolution. The imaging unit of the camera 1 includes at least an imaging element 11 and can also include an optical system 10. An amplifier that amplifies the output signal of the image sensor 11 can also be included in the components of the imaging unit.

単写指示及び連写指示の夫々は、撮影指示の一種である。連写指示は、所謂ブラケット撮影指示であっても良い。この場合、第1〜第m連写画像は、互いに異なる撮影条件(例えば露出条件)で撮影される。上述の説明では、撮影指示が端末装置2に入力され、入力撮影指示に基づくコマンドがカメラ1に送られているが(即ち、撮影指示が端末装置2を介してカメラ1に入力されているが)、カメラ1の操作部19に直接撮影指示が入力されても良い。或いは、カメラ1及び外部装置以外の任意の機器(例えば、カメラ1のリモコン;不図示)に対して撮影指示が入力され、入力撮影指示に基づくコマンドが該機器からカメラ1に送られても良い(即ち、撮影指示が当該機器を介してカメラ1に入力されても良い)。   Each of the single shooting instruction and the continuous shooting instruction is a kind of shooting instruction. The continuous shooting instruction may be a so-called bracket shooting instruction. In this case, the first to m-th continuous shot images are shot under different shooting conditions (for example, exposure conditions). In the above description, a shooting instruction is input to the terminal device 2 and a command based on the input shooting instruction is sent to the camera 1 (that is, a shooting instruction is input to the camera 1 via the terminal device 2). ) A shooting instruction may be directly input to the operation unit 19 of the camera 1. Alternatively, a shooting instruction may be input to an arbitrary device other than the camera 1 and the external device (for example, a remote control of the camera 1; not shown), and a command based on the input shooting instruction may be sent from the device to the camera 1. (In other words, a shooting instruction may be input to the camera 1 via the device).

単写画像及び第m連写画像は対象画像の例であり、ライブビュー画像及び第1〜第(m−1)連写画像は非対象画像の例である。但し、単写画像及び第m連写画像以外の画像(例えば第1連写画像)を対象画像として取り扱っても良い。   The single-shot image and the m-th continuous shot image are examples of target images, and the live view image and the first to (m-1) -th continuous shot images are examples of non-target images. However, an image other than the single shot image and the m-th continuous shot image (for example, the first continuous shot image) may be handled as the target image.

第1実施例等における第1及び第2プロトコルは、夫々、UDP及びTCPである。第1実施例等のUDPでは、通信処理部から送信すべきデータの再送処理が含まれず、TCPでは、該再送処理が含まれている。   The first and second protocols in the first embodiment are UDP and TCP, respectively. The UDP of the first embodiment does not include a retransmission process of data to be transmitted from the communication processing unit, and the TCP includes the retransmission process.

第1プロトコルでは、一定時間TREF内に送信が完了することを重視する。結果、データ欠落などがあって外部機器にて画像表示更新ができない状態も発生し得る。第1実施例等における第1プロトコルでは、非対象画像データがUDPにて1回だけ送信されているが、一定時間TREF内に送信が完了するのであれば、第1プロトコルは自由である。例えば、一定時間TREF内に送信が完了する限り、第1プロトコルは、UDP以外の通信プロトコルでも良いし、ACK制御(再送)の無いUDPで複数回送信するプロトコルでも良いし、ACK制御(再送)のある通信プロトコルでも良い。ACK制御(再送)のある通信プロトコルを第1プロトコルとして採用する場合、再送の回数に上限を設けて、再送を行ったとしても時間TREF内に必ず送信が完了するようにする。 In the first protocol, importance is attached to the completion of transmission within a predetermined time T REF . As a result, there may occur a state in which the image display cannot be updated by an external device due to data loss or the like. In the first protocol in the first embodiment or the like, the non-target image data is transmitted only once by UDP. However, if the transmission is completed within a certain time T REF , the first protocol is free. For example, as long as transmission is completed within a certain time T REF , the first protocol may be a communication protocol other than UDP, may be a protocol that transmits a plurality of times using UDP without ACK control (retransmission), or ACK control (retransmission). Communication protocol with When a communication protocol with ACK control (retransmission) is adopted as the first protocol, an upper limit is set on the number of retransmissions so that transmission is always completed within time T REF even if retransmission is performed.

第2プロトコルでは、時間TREFを超えても確実なるデータ転送を保証する。端末装置2の電源オフや何らかの通信異常でデータ転送が不可になることもありえるが、ここでは、そのような状況を無視する。但し、そのような状況が起こりうることを考慮し、第2プロトコルでの送信開始から時間TLIMが経過しても送信が完了しない場合(即ち外部装置でデータ受信が完了しない場合)には、送信が中断されても良い(即ち新たな再送を行わないようにしても良い)。時間TLIMは時間TREFより十分に長い。所定時間TREFを超えても外部装置(端末装置2)での受信成功を確保する通信プロトコルである限り、第2プロトコルはTCP以外の任意の通信プロトコルであって良い。例えば、第2プロトコルにおいて、UDPを用いつつもUDPデータ部にアプリケーションレベルでのACK情報を持たせてACK制御及び再送処理を行っても良い。 In the second protocol, reliable data transfer is guaranteed even when the time T REF is exceeded. Although data transfer may be disabled due to power-off of the terminal device 2 or some kind of communication abnormality, such a situation is ignored here. However, considering that such a situation may occur, if transmission is not completed even after time T LIM has elapsed since the start of transmission in the second protocol (that is, data reception is not completed in the external device), Transmission may be interrupted (that is, new retransmission may not be performed). Time T LIM is sufficiently longer than time T REF . The second protocol may be any communication protocol other than TCP as long as it is a communication protocol that ensures successful reception at the external device (terminal device 2) even after the predetermined time T REF is exceeded. For example, in the second protocol, UD control and retransmission processing may be performed by using ACK information at the application level in the UDP data portion while using UDP.

第2プロトコルの例としての、再送処理を実行可能なACK制御付きUDPを説明する。第1又は第2実施例にてTCPを用いて送信していたデータを、ACK制御付きUDPを用いて送信してもよい。即ち例えば、図10のステップS16又は図11のステップS43の送信を、ACK制御付きUDPにて行っても良い。   As an example of the second protocol, UDP with ACK control capable of executing retransmission processing will be described. Data transmitted using TCP in the first or second embodiment may be transmitted using UDP with ACK control. That is, for example, the transmission in step S16 in FIG. 10 or step S43 in FIG. 11 may be performed by UDP with ACK control.

図12に、ACK制御付きUDPで用いられるUDPパケットである、ACK情報付きのUDPパケット400の構造を示す。ACK情報付きのUDPパケット400は、図2のUDPパケットと同じく、UDPヘッダとUDPデータ部から成り、それらのパケット間でUDPヘッダは同じである。但し、UDPパケット400のUDPデータ部420には、シーケンス番号(Sequence Number)、確認応答番号(Acknowledgement Number)及びACK情報が含まれる。カメラ1が送信側であるときには、更に画像データがUDPデータ部420に含まれる。   FIG. 12 shows the structure of a UDP packet 400 with ACK information, which is a UDP packet used in UDP with ACK control. The UDP packet 400 with ACK information is composed of a UDP header and a UDP data part, as in the UDP packet of FIG. 2, and the UDP header is the same between these packets. However, the UDP data portion 420 of the UDP packet 400 includes a sequence number (Sequence Number), an acknowledgment number (Acknowledgement Number), and ACK information. When the camera 1 is on the transmission side, the UDP data unit 420 further includes image data.

ACK制御付きUDPを用いてカメラ1が端末装置2に対して任意の注目画像データ(例えば高解像度の対象画像データ)を送信する動作を説明する。注目画像データが分割されることで第1〜第nパケットデータが得られた場合を考える。この場合、CPU13は、第iパケットデータを格納した第iUDPパケット400を生成し、第1〜第nUDPパケット400を、通信モジュール21等を用いて、順次、端末装置2に送信する。この際、CPU13は、第iUDPパケット400のシーケンス番号に、夫々、番号“i”を格納する。   An operation in which the camera 1 transmits arbitrary attention image data (for example, high-resolution target image data) to the terminal device 2 using UDP with ACK control will be described. Consider a case where the first to nth packet data is obtained by dividing the target image data. In this case, the CPU 13 generates the i-th UDP packet 400 storing the i-th packet data, and sequentially transmits the first to n-th UDP packets 400 to the terminal device 2 using the communication module 21 or the like. At this time, the CPU 13 stores the number “i” in the sequence number of the i-th UDP packet 400, respectively.

端末装置2にて、第iUDPパケット400の受信を成功した場合、端末装置2は、カメラアプリCAの機能により、(i+1)の確認応答番号と“1”のACK情報を格納した応答UDPパケット400をカメラ1に返信する。応答UDPパケット400において、(i+1)の確認応答番号は、“i”のシーケンス番号を含んだUDPパケット400の受信が成功したことを意味し、“1”のACK情報は確認応答番号が有効であることを指し示す。ACK情報が“0”であるとき、確認応答番号は無効である。   When the terminal device 2 has successfully received the i-th UDP packet 400, the terminal device 2 uses the function of the camera application CA, and the response UDP packet 400 storing the (i + 1) confirmation response number and the ACK information “1”. Is returned to the camera 1. In the response UDP packet 400, the confirmation response number (i + 1) means that the UDP packet 400 including the sequence number “i” has been successfully received, and the acknowledgment number is valid for the ACK information “1”. Point to something. When the ACK information is “0”, the confirmation response number is invalid.

(i+1)の確認応答番号及び“1”のACK情報を含んだ応答UDPパケット400を受信したカメラ1(CPU13)は、端末装置2にて第iUDPパケット400の受信が成功したことを認識する。仮に、カメラ1から第iUDPパケット400を送信した後、所定時間が経過しても、(i+1)の確認応答番号を含んだ応答UDPパケット400が受信されない場合、CPU13は、第iUDPパケット400が端末装置2にて受信できていないと判断して、第iUDPパケット400を端末装置2に再送する(再び送信する)。このように、ACK制御付きUDPでは、1つのUDPパケットに対して1つの応答UDPパケットを返信するようにして、必要に応じてUDPパケットの再送を行う。結果、TCPと同様、無線接続遮断などの特殊要因が発生しない限り、端末装置2による第1〜第nパケットデータの受信成功が確保される。端末装置2は、受信した第1〜第nUDPパケット400から注目画像データを復元できる。   The camera 1 (CPU 13) that has received the response UDP packet 400 including the confirmation response number (i + 1) and the ACK information “1” recognizes that the terminal device 2 has successfully received the i-th UDP packet 400. If the response UDP packet 400 including the confirmation response number (i + 1) is not received after a predetermined time has elapsed after the i-th UDP packet 400 is transmitted from the camera 1, the CPU 13 determines that the i-th UDP packet 400 is not transmitted to the terminal. The device 2 determines that it has not been received, and retransmits the i-th UDP packet 400 to the terminal device 2 (transmits it again). As described above, in UDP with ACK control, one response UDP packet is returned in response to one UDP packet, and the UDP packet is retransmitted as necessary. As a result, as in the case of TCP, unless a special factor such as a wireless connection interruption occurs, the terminal device 2 can ensure reception success of the first to nth packet data. The terminal device 2 can restore the target image data from the received first to n-th UDP packets 400.

また、前記画像処理部は、前記第2解像度よりも低い第3解像度の対象画像データを生成可能である。そして例えば、前記通信処理部は、前記対象画像データを送信する際、前記外部装置から所定の要求(上記の例において、高精細送信要求)を受けている場合には、前記第2プロトコルを用いて前記第2解像度の対象画像データを送信し、前記要求を受けていない場合には、前記第3解像度の対象画像データを前記第2プロトコルと異なる第3プロトコルにて送信する。第2実施例において、第3解像度は“低解像度”と称され、第1解像度と同じである。但し、第3解像度と第1解像度は互いに異なっていても良い。   In addition, the image processing unit can generate target image data having a third resolution lower than the second resolution. For example, when the communication processing unit receives a predetermined request (in the above example, a high-definition transmission request) when transmitting the target image data, the communication processing unit uses the second protocol. Then, the target image data of the second resolution is transmitted, and when the request is not received, the target image data of the third resolution is transmitted using a third protocol different from the second protocol. In the second embodiment, the third resolution is called “low resolution” and is the same as the first resolution. However, the third resolution and the first resolution may be different from each other.

第2実施例に、第3プロトコルの一種が示されている。第2実施例で述べた第3プロトコルでは、低解像度の対象画像データ(単写画像データ又は第m連写画像データ)が複数回UDP送信される、即ち、外部装置(端末装置2)による受信の成否に関係なく、低解像度の対象画像データが複数回繰り返し通信処理部から外部装置に送信される。但し、第3プロトコルは第2プロトコルと異なる任意のプロトコルでありうる。例えば、第2プロトコルがTCP送信である場合、第3プロトコルは、低解像度の対象画像データを1回だけUDPにて送信するプロトコルであっても良い。   In the second embodiment, a kind of the third protocol is shown. In the third protocol described in the second embodiment, low-resolution target image data (single-shot image data or m-th continuous-shot image data) is UDP-transmitted a plurality of times, that is, received by an external device (terminal device 2). Regardless of success or failure, low-resolution target image data is repeatedly transmitted from the communication processing unit to the external device. However, the third protocol can be any protocol different from the second protocol. For example, when the second protocol is TCP transmission, the third protocol may be a protocol that transmits low-resolution target image data only once by UDP.

また、カメラ1の記録媒体16に記録される連写画像の内、一部の連写画像の画像データのみが端末装置2に転送されても良い。即ち例えば、100ミリ秒の周期で第1〜第9連写画像を撮影した場合、第1〜第9連写画像の画像データを全て記録媒体16に記録する一方で、第1、第3、第5、第7及び第9連写画像の画像データのみを端末装置2に送信するようにしても良い。この場合、例えば、第1、第3、第5及び第7連写画像が非対象画像として機能し、第9連写画像が対象画像として機能する。   Further, only the image data of a part of the continuous shot images recorded in the recording medium 16 of the camera 1 may be transferred to the terminal device 2. That is, for example, when the first to ninth continuous shot images are taken at a period of 100 milliseconds, the image data of the first to ninth continuous shot images are all recorded on the recording medium 16, while the first, third, Only the image data of the fifth, seventh and ninth continuous shot images may be transmitted to the terminal device 2. In this case, for example, the first, third, fifth, and seventh continuous images function as non-target images, and the ninth continuous image functions as a target image.

第1〜第3解像度は、カメラ1にて予め定められた解像度であっても良いし、端末装置2からの信号にて指定されても良い。例えば、ライブビュー開始要求信号350(図5参照)に、第1〜第3解像度の全部又は一部を指定する解像度指定信号が付加されていても良く、カメラ1は、この解像度指定信号に従って第1〜第3解像度の全部又は一部を定めて良い。或いは例えば、高精細送信要求信号に第2解像度を指定する解像度指定信号が付加されていても良く、カメラ1は、この解像度指定信号に従って第2解像度を定めて良い。   The first to third resolutions may be predetermined resolutions by the camera 1 or may be specified by signals from the terminal device 2. For example, a resolution designation signal for designating all or part of the first to third resolutions may be added to the live view start request signal 350 (see FIG. 5). All or part of the first to third resolutions may be determined. Alternatively, for example, a resolution designation signal that designates the second resolution may be added to the high-definition transmission request signal, and the camera 1 may determine the second resolution according to the resolution designation signal.

カメラ1を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。カメラ1にて実現される機能の全部又は一部である任意の特定の機能(例えば画像処理部及び通信処理部の機能)をプログラムとして記述して、該プログラムをカメラ1に搭載可能なメモリ(ROM14又はRAM15)に保存しておいても良い。そして、該プログラムをプログラム実行装置(CPU13)上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体はカメラ1と異なる機器(サーバ機器等)に搭載又は接続されても良い。   The camera 1 can be configured by hardware such as an integrated circuit or a combination of hardware and software. Arbitrary specific functions (for example, functions of an image processing unit and a communication processing unit) that are all or a part of the functions realized by the camera 1 are described as a program, and a memory ( It may be stored in the ROM 14 or the RAM 15). Then, the specific function may be realized by executing the program on the program execution device (CPU 13). The program can be stored and fixed on an arbitrary recording medium. The recording medium for storing and fixing the program may be mounted on or connected to a device (server device or the like) different from the camera 1.

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。   The embodiment of the present invention can be appropriately modified in various ways within the scope of the technical idea shown in the claims. The above embodiment is merely an example of the embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the above embodiment. The specific numerical values shown in the above description are merely examples, and as a matter of course, they can be changed to various numerical values.

1 デジタルカメラ
2 端末装置
12 信号処理回路
13 CPU
21 通信モジュール
1 Digital Camera 2 Terminal Device 12 Signal Processing Circuit 13 CPU
21 Communication module

Claims (5)

被写体の画像信号を出力する撮像部と、
前記撮像部の出力信号に基づく画像データを生成する画像処理部と、
撮影指示に応答した特定の対象画像についての対象画像データ、及び、該対象画像データ以外の非対象画像についての第1解像度の非対象画像データを、無線接続された外部装置に送信する通信処理部と、を備え、
前記画像処理部は、前記第1解像度よりも高い第2解像度の対象画像データを生成可能であり、
前記通信処理部は、前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく送信が完了する第1プロトコルを用い、前記第2解像度の対象画像データを送信する際には、前記外部装置での受信成功を確保する第2プロトコルを用い
さらに、前記画像処理部は、前記第2解像度よりも低い第3解像度の対象画像データを生成可能であり、
前記通信処理部は、前記対象画像データを送信する際、前記外部装置から所定の要求を受けている場合には、前記第2プロトコルを用いて前記第2解像度の対象画像データを送信し、前記要求を受けていない場合には、前記第3解像度の対象画像データを前記第2プロトコルと異なる第3プロトコルにて送信し、
また、前記第3プロトコルでは、前記外部装置による受信の成否に関係なく、前記第3解像度の対象画像データが複数回繰り返し前記通信処理部から前記外部装置に送信される
ことを特徴とする撮像装置。
An imaging unit that outputs an image signal of a subject;
An image processing unit that generates image data based on an output signal of the imaging unit;
A communication processing unit that transmits target image data for a specific target image in response to a shooting instruction and first target non-target image data for a non-target image other than the target image data to a wirelessly connected external device. And comprising
The image processing unit can generate target image data having a second resolution higher than the first resolution,
When transmitting the non-target image data, the communication processing unit transmits the target image data of the second resolution using the first protocol that completes transmission regardless of whether or not the external device has received the data. When using the second protocol to ensure successful reception at the external device ,
Furthermore, the image processing unit can generate target image data having a third resolution lower than the second resolution,
When the communication processing unit receives a predetermined request from the external device when transmitting the target image data, the communication processing unit transmits the second resolution target image data using the second protocol, and If the request is not received, the target image data of the third resolution is transmitted by a third protocol different from the second protocol,
Further, in the third protocol, the target image data of the third resolution is repeatedly transmitted from the communication processing unit to the external device regardless of whether or not the external device has received the image. .
前記通信処理部から送信すべきデータの再送処理が、前記第1プロトコルでは含まれず、前記第2プロトコルでは含まれる
ことを特徴とする請求項1記載の撮像装置。
The imaging apparatus according to claim 1 , wherein retransmission processing of data to be transmitted from the communication processing unit is not included in the first protocol but is included in the second protocol.
前記画像処理部による前記撮像部の出力信号に対する画像処理には、前記撮像部の出力信号から所定周期にて順次ライブビュー画像の画像データを生成するライブビュー用処理と、前記撮影指示に含まれる単写指示に応答して前記撮像部の出力信号から1枚の静止画像の画像データを生成する単写用処理と、が含まれ、
前記非対象画像は前記ライブビュー画像を含み、前記対象画像は前記1枚の静止画像を含む
ことを特徴とする請求項1〜2の何れかに記載の撮像装置。
Image processing on the output signal of the imaging unit by the image processing unit includes live view processing that sequentially generates image data of a live view image from the output signal of the imaging unit in a predetermined cycle, and the shooting instruction. A single-shot process for generating image data of one still image from the output signal of the imaging unit in response to a single-shoot instruction, and
The imaging apparatus according to claim 1, wherein the non-target image includes the live view image, and the target image includes the one still image.
前記画像処理には、前記撮影指示に含まれる連写指示に応答して複数枚の静止画像の画像データを生成する連写用処理が含まれ、
前記複数枚の静止画像の内、最後に取得された静止画像は前記対象画像に含まれ、それ以外の静止画像は前記非対象画像に含まれる
ことを特徴とする請求項3に記載の撮像装置。
The image processing includes continuous shooting processing for generating image data of a plurality of still images in response to a continuous shooting instruction included in the shooting instruction,
The imaging apparatus according to claim 3, wherein among the plurality of still images, a still image acquired last is included in the target image, and other still images are included in the non-target image. .
前記通信処理部は、前記第1プロトコルを用いて前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく所定時間内に送信を完了させる一方、前記第2プロトコルを用いて前記第2解像度の対象画像データを送信する際には、前記所定時間を超えても前記外部装置での受信成功を確保する
ことを特徴とする請求項1〜4の何れかに記載の撮像装置。
When the non-target image data is transmitted using the first protocol, the communication processing unit completes the transmission within a predetermined time regardless of the success or failure of the reception by the external device, while the second protocol 5. When the target image data of the second resolution is transmitted using an image, a successful reception at the external device is ensured even if the predetermined time is exceeded. 6. Imaging device.
JP2013234829A 2013-11-13 2013-11-13 Imaging apparatus and image transfer method Active JP6235876B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013234829A JP6235876B2 (en) 2013-11-13 2013-11-13 Imaging apparatus and image transfer method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013234829A JP6235876B2 (en) 2013-11-13 2013-11-13 Imaging apparatus and image transfer method

Publications (2)

Publication Number Publication Date
JP2015095799A JP2015095799A (en) 2015-05-18
JP6235876B2 true JP6235876B2 (en) 2017-11-22

Family

ID=53197919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013234829A Active JP6235876B2 (en) 2013-11-13 2013-11-13 Imaging apparatus and image transfer method

Country Status (1)

Country Link
JP (1) JP6235876B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357045B2 (en) 2000-10-24 2002-12-16 富士通株式会社 Solder alloys and solder joints

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016063A (en) 2019-07-11 2021-02-12 パナソニックIpマネジメント株式会社 Imaging device, electronic terminal, and imaging system
JP6873441B2 (en) * 2019-09-13 2021-05-19 株式会社 ゼネテック Information transmission system, information transmission method, information transmission program, server, and mobile terminal
CN118660236A (en) * 2020-07-10 2024-09-17 华为技术有限公司 Photographing method and electronic device
JP2022034941A (en) * 2020-08-19 2022-03-04 株式会社カーメイト Video communication system
CN111970451B (en) * 2020-08-31 2022-01-07 Oppo(重庆)智能科技有限公司 Image processing method, image processing device and terminal equipment
CN118381996B (en) * 2024-06-26 2024-11-15 荣耀终端有限公司 Image shooting method and electronic device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806786A1 (en) * 2005-02-09 2007-07-11 Matsushita Electric Industrial Co., Ltd. Monitoring camera device, monitoring system using the same, and monitoring image transmission method
JP2006279278A (en) * 2005-03-28 2006-10-12 Canon Inc Imaging system, image receiving apparatus, image data transmission method, and program
JP2006345095A (en) * 2005-06-07 2006-12-21 Canon Inc Imaging apparatus and information processing method
JP2008118446A (en) * 2006-11-06 2008-05-22 Fujifilm Corp Imaging device and imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357045B2 (en) 2000-10-24 2002-12-16 富士通株式会社 Solder alloys and solder joints

Also Published As

Publication number Publication date
JP2015095799A (en) 2015-05-18

Similar Documents

Publication Publication Date Title
JP6235876B2 (en) Imaging apparatus and image transfer method
JP4479679B2 (en) Captured image display system, image receiving apparatus and control method thereof
CN104935814A (en) Picture-taking method and device
JP2014057310A (en) Method and apparatus for displaying camera preview screen of portable terminal device
JP6245843B2 (en) Camera operation terminal, imaging system, imaging method, and program
JPWO2014155806A1 (en) Imaging apparatus and focus control method
JP2012023497A (en) Imaging device, imaging control method, and program
JP6195065B2 (en) Image capturing apparatus, operation control terminal apparatus, operation control program, and operation control system
JP2017097573A (en) Image processing device, photographing device, image processing method, and image processing program
US11120272B2 (en) Imaging apparatus, electronic device, and method of transmitting image data
US10567634B2 (en) Image capturing apparatus, communication apparatus, and control methods thereof
JP2007228177A (en) Shooting system, shooting device
WO2024109203A1 (en) Photographing processing method and electronic device
WO2007017987A1 (en) Method of viewing image of pan and tilt function-equipped network camera from portable terminal, and pan and tilt function-equipped network camera
JP7606733B2 (en) IMAGE DISPLAY SYSTEM, DRIVE RECORDER, IMAGE DISPLAY SERVER, AND IMAGE DISPLAY PROGRAM
JP4881727B2 (en) Imaging device
JP7218164B2 (en) Communication device and its control method
JP2012227603A (en) Camera control unit and control method of camera control unit
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
JP2010088027A (en) X-ray image receiving system
JP4009897B2 (en) Camera and remote control terminal device
US20230388083A1 (en) Communication apparatus, method for controlling same, and non-transitory computer-readable storage medium
JP5636747B2 (en) Communication terminal, communication system, communication method, and computer program
CN107800958A (en) Electronic equipment, image processing method, recording medium and camera system
US9955063B2 (en) Imaging system and imaging terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171027

R150 Certificate of patent or registration of utility model

Ref document number: 6235876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250