US20220247943

Image sensor with in-pixel background subtraction and motion detection
画素内背景差分機能及び動き検出機能を有するイメージセンサ

Background
[0002]
Image sensors have become ubiquitous and are now widely used in digital cameras, cellular phones, security cameras, as well as medical, automobile, and other applications. As image sensors are integrated into a broader range of electronic devices, it is desirable to enhance their functionality, performance metrics, and the like in as many ways as possible (e.g., resolution, power consumption, dynamic range, etc.) through both device architecture design as well as image acquisition processing.
[0003]
A typical image sensor operates in response to image light from an external scene being incident upon the image sensor. The image sensor includes an array of pixels having photosensitive elements (e.g., photodiodes) that absorb a portion of the incident image light and generate image charge upon absorption of the image light. The image charge photogenerated by the pixels may be measured as analog output image signals on column bitlines that vary as a function of the incident image light. In other words, the amount of image charge generated is proportional to the intensity of the image light, which is read out as analog image signals from the column bitlines and converted to digital values to provide information that is representative of the external scene.

DETAILED DESCRIPTION
[0013]
As will be discussed in greater detail below, an example imaging system in accordance with the teachings of the present invention includes a voltage domain global shutter sensor that utilizes an illumination source every other image capture to enhance detection of an object in the foreground of an external scene. In the various examples, a first image of the external scene is captured without any illumination from the illumination source, and then a subsequent second image of the external scene is captured with illumination from the illumination source in sequence. In the examples, the illumination from the illumination source is configured to substantially illuminate an object in the foreground of the external scene while the background is substantially not illuminated in the second image. As a result, the first image is subtracted from the second image to determine the differences between the first image and the second image. The resulting final output from the subtraction distinguishes the differences between the first image and the second image, which can be used to identify an object in the foreground of the external scene and/or identify any motion that has occurred in the external scene between the first and second image captures in accordance with the teachings of the present invention.
[0014]
In various examples, the illumination source is implemented with a light emitting diode (LED) infrared (IR) illumination source. In one example, the light produced by the LED IR illumination source has a wavelength substantially equal to 940 nanometers, which is not visible to the human eye. As such, an imaging system in accordance with the teachings of the present invention is useful in a variety of applications such as for example a monitoring system utilized as a vehicle camera to monitor a driver of the vehicle for facial status, eyelid motion, etc. Since the IR light generated by the illumination source is not visible to the driver, the imaging system is capable of constantly monitoring the driver without distracting the driver. Other applications of an imaging system in accordance with the teachings of the present invention may include, but are not limited to, augmented reality (AR) applications, virtual reality (VR) applications, etc.
[0015]
To illustrate, FIG. 1 illustrates one example of an imaging system 100 including a voltage domain global shutter image sensor with an infrared illumination source to enhance signal detection of an object of interest in the foreground of an external scene in accordance with the teachings of the present invention. As shown in the example depicted in FIG. 1, imaging system 100 is implemented as a complementary metal oxide semiconductor (CMOS) image sensor (CIS) in a stacked chipped scheme that includes a pixel die 114 stacked with a logic pixel die or application specific integrated circuit (ASIC) die 118. In the example, the pixel die 114 includes a pixel array 102, and the logic pixel die 116 includes an array of sample and hold circuits 118 that are coupled to the pixel array 102 through pixel level hybrid bonds 106. Logic pixel die 130 also includes a control circuit 110, a readout circuit 108, and function logic 112.

【背景技術】
【００００】
イメージセンサは至る所に存在するようになり、現在は、デジタルカメラ、携帯電話、防犯カメラのほか、医療、自動車などの用途で広く使用されている。イメージセンサがより広範な電子機器に組み込まれることに伴い、それらの機能、性能指標（例えば、解像度、消費電力、ダイナミックレンジ）などをデバイスの構成設計及び画像取得処理の双方から可能な限り多くのやり方で向上させることが望ましい。
【００００】
典型的なイメージセンサは、外部シーンからの画像光がイメージセンサに入射するのに応じて動作する。イメージセンサは、入射した画像光の一部を吸収し、その吸収により画像電荷を生成する感光素子（例えば、フォトダイオード）を有する画素のアレイを含む。この画素によって光から生成された画像電荷は、入射した画像光に応じて異なる列（ビット線）のアナログ出力画像信号として測定され得る。言い換えれば、生成される画像電荷の量は画像光の強度に比例し、この画像電荷がアナログ画像信号として列（ビット線）から読み出され、デジタル値に変換されて、外部シーンを表す情報を提供する。
【発明を実施するための形態】
【００００】
以下でより詳細に説明するように、本発明の教示に従う例示的な撮像システムは、外部シーンの前景の物体の検出を向上させるために１回おきの撮像に照明源を用いる電圧ドメイングローバルシャッターセンサを含む。様々な例において、外部シーンの第１の画像が照明源からの照明なしで撮像され、続いて外部シーンの第２の画像が照明源からの照明ありで順次撮像される。これらの例において、第２の画像では、照明源からの照明は、外部シーンの前景の物体を実質的に照明するが背景を実質的に照明しないように構成されている。それによって、第２の画像から第１の画像を減算して、第１の画像と第２の画像との間の差分を決定する。減算により得られる最終的な出力は、第１の画像と第２の画像との間の差異を明確に示し、この出力を使用して本発明の教示に従って外部シーンの前景の物体を検出し、かつ／又は第１の撮像と第２の撮像との間に外部シーンで生じた動きを検出することができる。
【００００】
様々な例において、照明源は、発光ダイオード（ＬＥＤ）赤外線（ＩＲ）照明源を用いて実装される。一例において、ＬＥＤ赤外線照明源によって生成される光は、肉眼では見ることができない９４０ナノメートルの波長と実質的に等しい波長を有する。したがって、本発明の教示に従う撮像システムは、例えば車両の運転者の顔の状態、まぶたの動きなどを監視するための車両用カメラとして利用される監視システムなどの様々な用途において有用である。照明源によって生成される赤外線光は運転者には見ることができないため、本撮像システムは、運転者の注意を逸らすことなく運転者を常時監視することができる。本発明の教示に従う撮像システムの他の用途としては、拡張現実（ＡＲ）用途、仮想現実（ＶＲ）用途などが挙げられるが、これらに限定されない。
【００００】
例えば、図１は、電圧ドメイングローバルシャッターイメージセンサと外部シーンの前景の対象物体の信号検出を向上させるための赤外線照明源とを含む本発明の教示に従う撮像システム１００の一例を示す。図１の例に示すように、撮像システム１００は、画素ダイ１１４とロジック画素ダイ又は特定用途向け集積回路（ＡＳＩＣ）ダイ１１８とが積層されたものを含む積層チップ方式の相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ（ＣＩＳ）として実装される。この例において、画素ダイ１１４は、画素アレイ１０２を含み、ロジック画素ダイ１１６は、ピクセルレベルのハイブリッド接合部１０６によって画素アレイ１０２に接続されたサンプルアンドホールド回路１１８のアレイを含む。ロジック画素ダイ１３０は、制御回路１１０、読み出し回路１０８、及び機能論理回路１１２も含む。

What is claimed is:
1. An imaging system, comprising:
an array of pixels configured to generate image charge voltage signals in response to incident light received from an external scene;
a control circuit coupled to the array of pixels to control operation of the array of pixels, wherein the control circuit is configured to control the array of pixels to capture a first image of the external scene and a second image of the external scene in sequence;
an infrared illumination source configured to illuminate the external scene in response to the control circuit, wherein the control circuit is configured to deactivate the infrared illumination source during the capture of the first image of the external scene, wherein the control circuit is configured to activate the infrared illumination source during the capture of the second image of the external scene;
an array of sample and hold circuits coupled to the array of pixels, wherein each one of the sample and hold circuits is coupled to a respective one of the pixels of the array of pixels, wherein each one of the sample and hold circuits comprises:
a first capacitor configured to store a first image charge voltage signal of the first image; and
a second capacitor configured to store a second image charge voltage signal of the second image; and
a column voltage domain differential amplifier coupled to the first capacitor and the second capacitor of each one of the sample and hold circuits in a column of the array of sample and hold circuits, wherein the column voltage domain differential amplifier is configured to determine a difference between the second image charge voltage signal and the first image charge voltage signal stored in each one of the sample and hold circuits to identify an object in a foreground of the external scene.

2. The imaging system of claim 1, wherein the column voltage domain differential amplifier is further configured to detection motion in the external scene in response to the difference between the second image charge voltage signal and the first image charge voltage signal stored in each one of the sample and hold circuits.

3. The imaging system of claim 1, wherein the infrared illumination source configured to generate infrared light having a wavelength substantially equal to 940 nanometers.

4. The imaging system of claim 3, wherein the infrared illumination source configured to generate infrared light pulses having a pulse width substantially equal to 10 microseconds.

5. The imaging system of claim 4, wherein the imaging system is configured to capture the first image of the external scene, capture the second image of the external scene, and determine the difference between the second image charge voltage signal and the first image charge voltage signal stored in each one of the sample and hold circuits 60 times per second.

6. The imaging system of claim 1, wherein the first and second capacitors have capacitance values equal to approximately 130 femtofarads.

【特許請求の範囲】
【請求項１】
撮像システムであって、
外部シーンから受光した入射光に応じて画像電荷電圧信号を生成するように構成された画素のアレイと、
前記画素のアレイの動作を制御するために前記画素のアレイに接続された制御回路であって、前記画素のアレイを制御して前記外部シーンの第１の画像及び前記外部シーンの第２の画像を順次撮像させるように構成された制御回路と、
前記制御回路に応じて前記外部シーンを照明するように構成された赤外線照明源であって、前記制御回路が前記外部シーンの前記第１の画像の撮像中に前記赤外線照明源をオフにするように構成され、かつ前記制御回路が前記外部シーンの前記第２の画像の撮像中に前記赤外線照明源をオンにするように構成されている、赤外線照明源と、
前記画素のアレイに接続されたサンプルアンドホールド回路のアレイであって、前記サンプルアンドホールド回路の各々が前記画素のアレイの前記画素のうちのそれぞれの対応する１つに接続され、前記サンプルアンドホールド回路の各々が
前記第１の画像の第１の画像電荷電圧信号を保持するように構成された第１のコンデンサ、及び
前記第２の画像の第２の画像電荷電圧信号を保持するように構成された第２のコンデンサを含む、サンプルアンドホールド回路のアレイと、
前記サンプルアンドホールド回路のアレイの列における前記サンプルアンドホールド回路の各々の前記第１のコンデンサ及び前記第２のコンデンサに接続された電圧ドメイン列差動増幅器であって、前記サンプルアンドホールド回路の各々に保持された前記第２の画像電荷電圧信号と前記第１の画像電荷電圧信号との間の差分を決定して前記外部シーンの前景の物体を検出するように構成された電圧ドメイン列差動増幅器と、
を備える、撮像システム。

【請求項２】
前記電圧ドメイン列差動増幅器が、前記サンプルアンドホールド回路の各々に保持された前記第２の画像電荷電圧信号と前記第１の画像電荷電圧信号との間の前記差分に応じて前記外部シーンにおける動きを検出するように更に構成されている、請求項１に記載の撮像システム。

【請求項３】
前記赤外線照明源が、９４０ナノメートルと実質的に等しい波長を有する赤外線光を生成するように構成されている、請求項１に記載の撮像システム。

【請求項４】
前記赤外線照明源が、１０マイクロ秒と実質的に等しいパルス幅を有する赤外線光パルスを生成するように構成されている、請求項３に記載の撮像システム。

【請求項５】
前記撮像システムが、前記外部シーンの前記第１の画像を撮像し、前記外部シーンの前記第２の画像を撮像し、前記サンプルアンドホールド回路の各々に保持された前記第２の画像電荷電圧信号と前記第１の画像電荷電圧信号との間の前記差分を毎秒６０回決定するように構成されている、請求項４に記載の撮像システム。

【請求項６】
前記第１のコンデンサ及び前記第２のコンデンサが、約１３０フェムトファラドに等しい静電容量値を有する、請求項１に記載の撮像システム。