運営：アスタミューゼ株式会社
パナソニックで一緒に知財の仕事しませんか？
  • ポートフォリオ機能


追加

関連審決 不服2021-3407
元本PDF 裁判所収録の全文PDFを見る pdf
元本PDF 裁判所収録の別紙1PDFを見る pdf
元本PDF 裁判所収録の別紙2PDFを見る pdf
元本PDF 裁判所収録の別紙3PDFを見る pdf
事件 令和 4年 (行ケ) 10108号 審決取消請求事件

原告 ディズニーエンタープライ ゼス インコーポレイテッド
同訴訟代理人弁護士 浜田治雄
被告特許庁長官
同 指定代理人千葉輝久 畑中高行 木方庸輔 宮下誠 清川恵子
裁判所 知的財産高等裁判所
判決言渡日 2023/08/10
権利種別 特許権
訴訟類型 行政訴訟
主文 １ 原告の請求を棄却する。
２ 訴訟費用は原告の負担とする。
３ 原告のために、この判決に対する上告及び上告受理申立てのための付加期間を３０日と定める。
事実及び理由
請求
特許庁が不服2021-3407号事件について令和4年5月31日にした審決を取り消す。
事案の概要
本件は、特許出願の拒絶査定に対する不服審判請求を不成立とした審決の取消訴訟である。争点は、手続補正後の請求項1に係る発明の進歩性の有無である。
1 特許庁における手続の経緯等 原告は、平成28年8月26日、発明の名称を「ハイダイナミックレンジトーンマッピング」とする特許出願(特願2016-166050号(以下「本件出願」という。)。優先権主張(米国)2015年(平成27年)9月4日)をし、令和2年10月29日に手続補正書を提出したが、同年11月10日付けで拒絶査定を受けた(甲5、6、10)。そこで、原告は、令和3年3月15日、同拒絶査定に対する不服審判の請求(不服2021-3407号)をするとともに、手続補正書を提出した(以下、この手続補正書による手続補正を「本件補正」といい、本件出願に係る願書に添付して提出した明細書及び図面とみなされる翻訳文(甲6。なお、
本件補正を含め、手続補正による明細書及び図面の変更はない。)を「本願明細書」という。)(甲13)。
特許庁は、令和4年5月31日、本件補正を却下した上、「本件審判の請求は、
成り立たない。」との審決(以下「本件審決」という。)をし、その謄本は、同年6月10日、原告に送達された(出訴のための附加期間は90日)。
原告は、令和4年10月7日、本件審決の取消しを求めて本件訴えを提起した。
2 本件出願に係る本件補正前の発明の要旨(甲10) 本件出願に係る本件補正前(令和2年10月29日に提出された手続補正書による手続補正後を指す。以下同じ。)の特許請求の範囲(請求項の数は20)のうち請求項1の記載は、次のとおりである(以下、本件補正前の請求項1に係る発明を「本願発明」という。)。
【請求項1】 一つのハイダイナミックレンジ(HDR)ビデオの一つのフレームを使用する第1のベースレイヤーを生成すること; 該第1のベースレイヤーから一つのトーンカーブパラメータを導出すること;ここで該トーンカーブパラメータは、第1のベースレイヤーのピクセルから導出された統計値であり、
第2のベースレイヤーから導出された該トーンカーブパラメータの一つの以前に測定された値を使用して該トーンカーブパラメータを時間フィルタリングし、ここで第2のベースレイヤーはHDRビデオの一つの以前のフレームから導出されること;および 該時間フィルタリングされたトーンカーブパラメータから導出された一つのトーンカーブを使用する一つの時間コヒーレントベースレイヤーを生成することを含む方法。
3 本件出願に係る本件補正後の発明の要旨(甲13) 本件出願に係る本件補正後の特許請求の範囲(請求項の数は20)のうち請求項1の記載は、次のとおりである(下線部は、補正箇所である。以下、本件補正後の請求項1に係る発明を「本件補正発明」という。なお、本件補正発明については、
本件審決が付したように符号A及びBを付す。)。
【請求項1】A 一つのハイダイナミックレンジ(HDR)ビデオの一つのフレームを使用する第1のベースレイヤーを生成すること;B 該第1のベースレイヤーから一つのトーンカーブパラメータを導出すること;ここで該トーンカーブパラメータは、第1のベースレイヤーのピクセルから導出された一つの統計的照度値であり、
第2のベースレイヤーから導出された該トーンカーブパラメータの一つの以前に測定された値を使用して該トーンカーブパラメータを時間フィルタリングし、ここで第2のベースレイヤーはHDRビデオの一つの以前のフレームから導出されること;および 該時間フィルタリングされたトーンカーブパラメータから導出された一つのトー ンカーブを使用する一つの時間コヒーレントベースレイヤーを生成することA を含む方法。
4 本件審決の理由の要旨 (1) 本件補正について ア 甲1(欧州特許出願公開第2144444号明細書(2010年(平成22年)1月13日公開))に記載された発明の認定 甲1には、次の発明(以下「甲1発明」という。)が記載されている。
(甲1発明)a ビデオフレームデータのストリームを圧縮する改良された方法であって、
b 高精細なハイダイナミックレンジのビデオフレームからなるビデオフレームデータのストリーム1が提供され、ビデオストリーム1の1つのHDRフレーム2は、
HDRフレーム2からベースフレーム4を抽出するために使用されるフィルタ3に入力され、
c ベースフレーム4は、結合段階において、例えば、HDRフレーム2からベースフレーム4を減算することによって、及び/又はHDRフレーム2をベースフレーム4で除算することによって、初期HDRフレームと結合され、HDRフレーム2の微細な細部に関連するディテールフレーム5が提供され、
d ベースフレーム4はさらに、トーンマッピング操作段階6に供給され、トーンマッピングルックアップテーブル7に格納された複数のトーンマッピング関数のうちの1つがベースフレームに対して選択され、
e 所定のベースフレーム4に対して選択されたトーンマッピング関数6は、後述するように、トーンマッピング関数TMO *に変更され、トーンマッピング関数TMO*は、ローダイナミックレンジベースフレーム8を得るように、ベースフレーム4に適用され、
f ローダイナミックレンジベースフレーム8及びディテールフレーム5は、それぞれ段階9及び10で別々に時間的圧縮アルゴリズムの処理がされ、
g 時間的特性段階11は、ベースフレーム4に対して最初に決定された初期トーンマッピング関数を受信すると、前のトーンマッピング関数と比較したトーンマッピング関数の変化が大きいか否かを決定し、
h トーンマッピング関数6の変化が緩やかであれば、実際のトーンマッピング関数TMO *は、ベースフレーム4について決定された初期トーンマッピング関数に対応し、所定のベースフレーム4に対して決定されたトーンマッピング関数の変化が大きすぎる場合には、初期トーンマッピング関数は、以前のトーンマッピング関数により近いトーンマッピング関数に修正され、従って、シーン内におけるトーンマッピング関数の変化は小さい方法。
イ 本件補正発明と甲1発明との対比 本件補正発明と甲1発明は、次の一致点で一致し、相違点で相違する。
(一致点)A 一つのハイダイナミックレンジ(HDR)ビデオの一つのフレームを使用する第1のベースレイヤーを生成すること;B’該第1のベースレイヤーから、一つの時間コヒーレントベースレイヤーを生成することA を含む方法。
(相違点) 上記一致点である「B’該第1のベースレイヤーから、一つの時間コヒーレントベースレイヤーを生成する」ための方法が、本件補正発明では、「B 該第1のベースレイヤーから一つのトーンカーブパラメータを導出すること;ここで該トーンカーブパラメータは、第1のベースレイヤーのピクセルから導出された一つの統計的照度値であり、第2のベースレイヤーから導出された該トーンカーブパラメータの一つの以前に測定された値を使用して該トーンカーブパラメータを時間フィルタリングし、ここで第2のベースレイヤーはHDRビデオの一つの以前のフレームから導出されること;および該時間フィルタリングされたトーンカーブパラメータか ら導出された一つのトーンカーブを使用する一つの時間コヒーレントベースレイヤーを生成する」方法であるのに対し、甲1発明では、「ルックアップテーブル7による時間変化が小さいトーンマッピング関数TMO*を使用する方法」である点。
ウ 相違点についての判断 甲1発明は、ベースフレーム4からローダイナミックレンジベースフレーム8を生成する方法が「ルックアップテーブル7による時間変化が小さいトーンマッピング関数TMO *を使用する方法」であり、また、甲1の段落【0022】によれば、
「シーン内のトーンマッピング関数を徐々にしか変化させないことが非常に好ましい」、「トーンマッピング関数を徐々にしか変化させないことで、フレーム間の差が小さくなるため、受信画像がより自然なものになるように感じられる」ものであるから、甲1発明は、トーンマッピング関数を徐々に変化させるようにすることで画像がより自然なものになるように感じられるようにするために、ベースフレーム4からローダイナミックレンジベースフレーム8を生成する方法として、上記「ルックアップテーブル7による時間変化が小さいトーンマッピング関数TMO *を使用する方法」を採用したことを技術的特徴とするものである。
一方、画像処理の技術分野において、フレームのトーンマッピング関数(本件補正発明でいう「トーンカーブ」)を徐々に変化させるように補正する技術として、
「フレーム毎に平均輝度値を算出し、算出した平均輝度値を複数のフレームで平滑化し、平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正する」方法は、当業者に周知の技術であって(以下、この方法に係る技術を「本件周知技術」という。)、例えば、甲2(国際公開第2014/198574号)、甲3(特開2005-204195号公報)及び甲4(Chris Kiser ほか著「REAL TIMEAUTOMATED TONE MAPPING SYSTEM FOR HDR VIDEO」(2012年))が参照され、
特に、甲3(段落【0074】、【0075】及び【0077】)には、トーンカーブ補正部142の第2の構成例として次の技術が記載されている。
「フレーム毎に代表値γを算出して、対数輝度 logL(ｐ)を、対数輝度 logLc (ｐ)に補正するものであり、平均輝度算出部191は、1フレーム分の対数輝度logL(ｐ)の平均輝度値μを算出し、平均輝度平滑化部192に出力し、平均輝度平滑化部192は、平均輝度算出部191より供給された平均輝度値μを、前後のフレームの平均輝度値μ又は前後のフレームの平滑化された平均輝度値μを用いて平滑化し、除算器193に供給し、除算器193は、所定の定数 logLTを平均輝度値μで除算し、代表値γを算出し、γメモリ194は、除算器193から入力された代表値γを保持し、乗算器195は、現フレームの対数輝度 logL(ｐ)に、
γメモリ194に保持されている1フレーム前の代表値γを乗算して、トーンカーブ補正後の対数輝度 logLc(ｐ)を算出するトーンカーブ補正の技術。」 上記甲3の技術における「1フレーム分の対数輝度 logL(ｐ)の平均輝度値μを算出」、「平均輝度算出部191より供給された平均輝度値μを、前後のフレームの平均輝度値μ又は前後のフレームの平滑化された平均輝度値μを用いて平滑化」、「現フレームの対数輝度 logL(ｐ)に、γメモリ194に保持されている1フレーム前の代表値γを乗算して、トーンカーブ補正後の対数輝度 logLc(ｐ)を算出」は、それぞれ、本件周知技術の「フレーム毎に平均輝度値を算出」、「算出した平均輝度値を複数のフレームで平滑化」、「平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正」に相当する。
甲1発明において、トーンマッピング関数を徐々に変化させるようにするための技術として、他の技術を採用することを妨げるような事情は見当たらないから、甲1発明におけるトーンマッピング関数を徐々に変化させるようにするための技術は、
本件周知技術に置き換え可能なものであり、同様の結果を達成する他の技術を採用することとして当業者が本件周知技術への置き換えをする動機はあるというべきである。
したがって、甲1発明において、ベースフレーム4のトーンマッピング関数を徐々に変化させるようにするために、ベースフレーム4からローダイナミックレンジベースフレーム8を生成する方法を、「ルックアップテーブル7による時間変化が 小さいトーンマッピング関数TMO *を使用する方法」から本件周知技術に置き換えて、ベースフレーム4(本件補正発明でいう「ベースレイヤー」)のフレーム毎に代表値γを算出して、対数輝度 logL(ｐ)を対数輝度 logLC(ｐ)に補正する技術によりトーンカーブの補正をする方法を採用することは、当業者が容易に想到し得ることであり、このことは、甲1発明において、上記相違点に係る本件補正発明の発明特定事項を採用することは当業者が容易に想到し得ることを意味している。
よって、本件補正発明は、甲1に記載された発明及び本件周知技術に基づいて当業者が容易に発明をすることができたものである。
(なお、動機付けに関してさらに付言すれば、甲3の段落【0074】には、
「図8は、トーンカーブ補正部142の第2の構成例を示している。第2の構成例は、第1の構成例のように予め用意されているLUTを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度 logL(ｐ)を、対数輝度 logLc(ｐ)に補正するものである。」と記載されており、トーンカーブの補正に、あらかじめ用意されているLUTを用いる構成(甲1発明の構成)をフレーム毎に代表値γを算出して補正する構成(本件補正発明の構成)に置き換える動機付けとなる記載もある。) エ 独立特許要件のまとめ 以上のとおりであるから、本件補正発明は、特許法29条2項の規定により、特許出願の際独立して特許を受けることができないものである。
オ 補正却下の決定の理由のまとめ 本件補正は、特許法17条の2第6項において準用する同法126条7項の規定に違反するので、同法159条1項の規定において読み替えて準用する同法53条1項の規定により却下すべきものである。
(2) 本願発明について 上記(1)アないしエで検討した本件補正発明は、本願発明の「統計値」に限定事項を付加して「一つの統計的照度値」とした本願発明の一態様といえるもの、すな わち、本願発明でもあるといえる。
したがって、上記(1)イ及びウと同様の対比・判断により、本願発明は、甲1に記載された発明及び本件周知技術に基づいて当業者が容易に発明をすることができたものである。
(3) むすび 以上のとおりであるから、本願発明は、特許法29条2項の規定により特許を受けることができない。
したがって、その余の請求項について論及するまでもなく、本件出願は拒絶すべきものである。
原告主張の審決取消事由
1 取消事由1(甲1に記載された発明の認定の誤り)について 本件審決は、甲1に記載された発明を甲1発明(構成aないしh)のとおりに認定したが、甲1からは、構成aないしhを認定することはできないから、本件審決の上記認定は誤りである。
2 取消事由2(相違点についての判断の誤り)について 本件審決における相違点の認定は認めるが、本件審決における相違点に係る本件補正発明の構成は甲1発明及び本件周知技術に基づいて当業者が容易に想到し得たものであるとの判断は誤りである。
(1) 本件周知技術の認定について 本件審決は、甲2ないし4により本件周知技術を認定したが、以下のとおり、甲2ないし4には本件周知技術の開示がないから、甲2ないし4により本件周知技術を認定することはできない。
ア 甲2は、任意のLEDパネル解像度、任意のLEDポイント拡散関数及び任意のLCDパネル解像度を使用して、HDRピクチャについて決定された平均輝度の代表値を時間フィルタリングする方法を開示するにすぎない。
イ 甲3は、逆S字形のトーンカーブを利用することにより、高輝度領域と低輝 度領域では階調圧縮が強く作用しないことから、階調圧縮後であっても白つぶれ、
黒つぶれ等のない良好な色調が得られることを開示するにすぎない。
ウ 甲4は、時間変化が少ないトーンマッピング関数TMOを使用して、自然な受信画像を得る方法を開示するにすぎない。
(2) 本件周知技術の甲1発明への適用に係る動機付けについて 仮に、甲2ないし4により本件周知技術を認定し得るとしても、本件補正発明は、
時間的コヒーレンス性(HDRビデオの個別のフレームで実行されるトーンマッピングがフレームごとに一致する度合いを指す。)の欠如というHDRビデオトーンマッピング技術における慢性的な課題を解決するため、特異な構成(相違点に係る本件補正発明の構成)を採用したものであるところ、一般に、発明者は、複数の刊行物にアクセスして創作を行うものではないから、当業者にとって、相違点に係る本件補正発明の構成を推考するに当たり、甲2ないし4にアクセスする動機はないというべきである。したがって、甲1発明に本件周知技術を適用する動機付けは存在せず、甲1発明に本件周知技術を適用し得るとする本件審決の判断は、事実に基づくものでないといわざるを得ない。
被告の主張
1 取消事由1(甲1に記載された発明の認定の誤り)について 以下のとおり、甲1に記載された発明として甲1発明(構成aないしh)を認定することができるから、これと同旨の本件審決の認定に誤りはない。
(1) 甲1には、「本発明は、ビデオフレームデータのストリームを圧縮する改良された方法…を提供することを目的とする。」との記載(段落【0020】)があるところ、これは、甲1発明の構成aである。
(2) 甲1には、「図1によれば、高精細なハイダイナミックレンジのビデオフレームからなるビデオフレームデータのストリーム1が提供される。ビデオストリーム1の1つのHDRフレーム2は、…HDRフレーム2からベースフレーム4を抽出するために使用されるフィルタ3に入力される。」との記載(段落【003 8】)があるところ、これは、甲1発明の構成bである。
(3) 甲1には、「ベースフレーム4は、結合段階において、例えば、HDRフレーム2からベースフレーム4を減算することによって、及び/又はHDRフレーム2をベースフレーム4で除算することによって、初期HDRフレームと結合され、
HDRフレーム2の微細な細部に関連するディテールフレーム5が提供される。」との記載(段落【0039】)があるところ、これは、甲1発明の構成cである。
(4) 甲1には、「ベースフレーム4はさらに、トーンマッピング操作段階6に供給され、トーンマッピングルックアップテーブル7に格納された複数の…トーンマッピング関数のうちの1つがベースフレームに対して選択される。」との記載(段落【0039】)があるところ、これは、甲1発明の構成dである。
(5) 甲1には、「所定のベースフレーム4に対して選択されたトーンマッピング関数6は、後述するように、…トーンマッピング関数TMO *に変更される。…トーンマッピング関数TMO *は、ローダイナミックレンジベースフレーム8を得るように、ベースフレーム4に適用される。」との記載(段落【0040】)があるところ、これは、甲1発明の構成eである。
(6) 甲1には、「ローダイナミックレンジベースフレーム8及びディテールフレーム5は、それぞれ段階9及び10で別々に時間的圧縮アルゴリズムの処理がされる。」との記載(段落【0040】)があるところ、これは、甲1発明の構成fである。
(7) 甲1には、「時間的特性段階11は、ベースフレーム4に対して最初に決定された初期トーンマッピング関数を受信すると、前のトーンマッピング関数と比較したトーンマッピング関数の変化が大きいか否かを決定する。」との記載(段落【0041】)があるところ、これは、甲1発明の構成gである。
(8) 甲1には、「トーンマッピング関数6の変化が緩やかであれば、実際のトーンマッピング関数TMO *は、ベースフレーム4について決定された初期トーンマッピング関数に対応する。所定のベースフレーム4に対して決定されたトーンマ ッピング関数の変化が大きすぎる場合には、初期トーンマッピング関数は、以前のトーンマッピング関数により近いトーンマッピング関数に修正される。…従って、
シーン内におけるトーンマッピング関数の変化は小さく…。」との記載(段落【0042】)があるところ、これは、甲1発明の構成hである。
(9) なお、前記(1)ないし(8)の各記載は、いずれも甲1の図1の説明に係るものであるから、これらの各記載により、まとまった一つの発明を認定し得るものである。
2 取消事由2(相違点についての判断の誤り)について 以下のとおり、原告の主張はいずれも理由がなく、本件審決の相違点の認定並びに相違点に係る本件補正発明の構成は甲1発明及び本件周知技術に基づいて当業者が容易に想到し得たものであるとの判断に誤りはない。
(1) 本件周知技術の認定について 以下のとおり、甲2ないし4には本件周知技術が開示されているから、甲2ないし4により本件周知技術を認定することができる。
ア 甲3について (ｱ) 甲3の記載(段落【0074】及び【0075】)によると、甲3には、
次の技術が記載されているといえる。
「フレームごとに代表値γを算出して、対数輝度 logL(ｐ)を対数輝度 logLC(ｐ)に補正するものであって、平均輝度算出部191は、1フレーム分の対数輝度 logL(ｐ)の平均輝度値μを算出し、平均輝度平滑化部192に出力し、
平均輝度平滑化部192は、平均輝度算出部191から供給された平均輝度値μを前後のフレームの平均輝度値μ又は前後のフレームの平滑化された平均輝度値μを用いて平滑化し、除算器193に供給し、除算器193は、所定の定数 logL T を平均輝度値μで除算し、代表値γを算出し、γメモリ194は、除算器193から入力された代表値γを保持し、乗算器195は、現フレームの対数輝度logL(ｐ)にγメモリ194に保持されている1フレーム前の代表値γを乗算 して、トーンカーブ補正後の対数輝度 logLC (ｐ)を算出するようなトーンカーブ補正の技術」 (ｲ) ここで、前記(ｱ)の技術にいう「対数輝度」は、輝度を表現するものであるから、これを輝度と考えて差し支えなく、「前後のフレームの平均輝度値μ又は前後のフレームの平滑化された平均輝度値μを用いて平滑化」するとは、例えば、連続する前後の二つのフレームの平均輝度値μの相加平均等を求めて現在のフレームの値とすることを意味し、「所定の定数 logLT」は、除算器193における処理により単位を設定するための値にすぎず、「代表値γ」は、トーンカーブの傾きを示すものであり、「現フレームの対数輝度 logL(ｐ)に…代表値γを乗算して、トーンカーブ補正後の対数輝度 logL C(ｐ)を算出する」とは、現フレームのトーンカーブの傾きを代表値γに補正することであるといえる。そうすると、前記(ｱ)の技術は、「1フレーム分の輝度Lの平均輝度値μを算出し、
平均輝度値μを平滑化し、平滑化した平均輝度値μからトーンカーブの傾きを示す代表値γを算出し、現フレームのトーンカーブの傾きを代表値γに補正する方法」と言い換えることができるところ、これは、本件周知技術に相当する。したがって、甲3には、本件周知技術が開示されているといえる。
イ 甲2について (ｱ) 甲2の記載(4頁5〜10行目、8頁3〜4行目並びに13頁12〜14行目及び17〜18行目)によると、甲2には、次の方法が記載されているといえる。
「M個のハイダイナミックレンジピクチャについて決定された平均輝度の代表値をシーケンスの少なくともM個のハイダイナミックレンジピクチャにわたって時間的にフィルタリングし、M個のハイダイナミックレンジピクチャの画像の処理は、フィルタリングした値を使用する方法であって、
HDRピクチャPiの平均輝度を代表する値 avg_lum が取得され、値 avg_lumは、ビデオにわたって時間的にフィルタリングされ、その結果、シーケンスのピ クチャはより多くの輝度コヒーレンスを有する方法」 (ｲ) ここで、前記(ｱ)の方法にいう「ハイダイナミックレンジピクチャ」及び「HDRピクチャ」は、いずれも本件周知技術にいう「フレーム」に相当し、前記(ｱ)の方法にいう「平均輝度の代表値」及び「平均輝度を代表する値 avg_lum」は、いずれも本件周知技術にいう「平均輝度値」に相当し、前記(ｱ)の方法にいう「M個のハイダイナミックレンジピクチャについて決定された平均輝度の代表値をシーケンスの少なくともM個のハイダイナミックレンジピクチャにわたって時間的にフィルタリング」すること及び「値 avg_lum は、ビデオにわたって時間的にフィルタリング」することは、いずれも時間軸方向に並んだM個のハイダイナミックレンジピクチャのそれぞれについて決定された複数の平均輝度の代表値に対してフィルタ演算をすることをいい、当該フィルタ演算は、例えば、二つの連続するフレームの平均輝度値の相加平均、相乗平均等の平均化のための演算を意味するから、前記(ｱ)の方法にいう「時間的にフィルタリング」するとは、本件周知技術にいう「平滑化」に相当し、また、前記(ｱ)の方法においては、時間的にフィルタリングした値をM個のハイダイナミックレンジピクチャの画像の処理に使用した結果、シーケンスのピクチャ(複数のフレーム)が輝度コヒーレンスを有するもの(輝度が大きく変化しないもの)となるのであるから、現在のフレームを含むビデオの複数のフレームは、輝度値が補正されており、フレームに適用する輝度圧縮処理(トーンカーブ)が補正されているといえる。そうすると、
前記(ｱ)の方法は、本件周知技術に相当するといえ、したがって、甲2には、本件周知技術が開示されているといえる。
ウ 甲4について (ｱ) 甲4の記載(3頁左欄4〜16行目、左欄31行目〜右欄5行目及び右欄12〜13行目)によると、甲4には、次の方法が記載されているといえる。
「トーンマッピングは、画像の幾何平均L aｖを加えて、パラメータa、A、Bが推定され、非線形圧縮を適用するものであり、
トーンマッピングされたHDRビデオのフリッカーを低減することを目的として、TMOのパラメータのフレーム間の急激な変化を低減するためのフィルタを使用し、フィルタリングされたnフレーム目のA n 、B n 、a n を計算するための更新された式は、式3aから式3cで与えられ、
An =(1-α A )A(n-1) +(α A)A (3a) Bn =(1-α B )B(n-1) +(α B)B (3b) an =(1-α a )a(n-1) +(α a)a (3c) ここで、A n はフィルタリングされた値、Aはフィルタリングなしの値であるトーンマッピングの方法」 (ｲ) ここで、前記(ｱ)の方法にいう「画像の幾何平均L aｖ」は、本件周知技術にいう「フレーム毎に平均輝度値を算出」することに相当し、前記(ｱ)の方法の「フィルタリングされたnフレーム目のA n 、B n、a n を計算するための更新された式は、式3aから式3cで与えられ」においてされる計算は、本件周知技術にいう「算出した平均輝度値を複数のフレームで平滑化」することに相当し、前記(ｱ)の方法におけるトーンマッピングのパラメータである「フィルタリングされたnフレーム目のA n 、B n 、a n 」は、nフレーム目のフレームをフィルタリングされたパラメータでトーンマッピングするものであるから、本件周知技術にいう「平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正する」ことに相当する。そうすると、前記(ｱ)の方法は、本件周知技術に相当するといえ、したがって、甲4には、本件周知技術が開示されているといえる。
(2) 本件周知技術の甲1発明への適用に係る動機付けについて 甲1発明は、トーンマッピング関数を徐々に変化させることで画像がより自然なものに感じられるようにするため、ベースフレーム4からローダイナミックレンジベースフレーム8を生成する方法として「ルックアップテーブル7による時間変化が小さいトーンマッピング関数TMO*を使用する方法」を採用した発明である。
これに対し、甲3には、「図8は、トーンカーブ補正部142の第2の構成例 を示している。第2の構成例は、第1の構成例のように予め用意されているLUTを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度 logL(ｐ)を、対数輝度 logLc(ｐ)に補正するものである。」との記載(段落【0074】)があるところ、甲1発明の「トーンマッピング関数TMO * 」は、構成dのとおり、トーンマッピングルックアップテーブル7に格納されたトーンマッピング関数の一つであり、これは、甲3の上記記載にいう「第1の構成例のように予め用意されているLUT」である。そして、甲3の上記記載は、第1の構成例に代えて第2の構成例を採用できることを示唆しているから、甲3の上記記載に従うと、トーンマッピングルックアップテーブル7に格納されたトーンマッピング関数TMO * を適用するとの甲1発明の構成(甲3の上記記載にいう第1の構成例に相当するもの)に代えて、本件周知技術(甲3の上記記載にいう第2の構成例に相当するもの)を採用することには動機付けがあるといえ、これを妨げる要因は見当たらない。したがって、甲1発明に本件周知技術を適用することについては、動機付けがあるといえる。
当裁判所の判断
1 本件補正発明の概要 (1) 本願明細書の記載 本願明細書には、次の記載がある。
【技術分野】 【0001】 本明細書において示される実施形態は、一般に、ハイダイナミックレンジ(HDR)ビデオ用のトーンマッピングの実行に関する。
【背景技術】 【0002】 トーンマッピングは、典型的にはハイダイナミックカラーレンジをサポートしない表示装置(例えば、モニター、テレビジョン、携帯機器の表示部等)にHDRビ デオが出力され得る前に実行される。HDRビデオの色の範囲は、表示装置により出力され得る色の範囲を超えることがある。そのため、トーンマッピングは、HDRビデオのフレームを、表示装置の色範囲内にある色をもつ対応するフレームに変換する。さらに、トーンマッピングは、ビデオを出力する表示装置の性能に適するように、カメラ(このカメラがHDRビデオを生成する)によって撮影しながら輝度レベルを調整することができる。
【発明の概要】 【0003】 本実施形態は、HDRビデオのフレームを使用するベースレイヤーを生成することと、ベースレイヤーからトーンカーブパラメータを導出することを含む方法を記載する。本方法はトーンカーブパラメータを時間フィルタリングすることと時間フィルタリングされたトーンカーブパラメータから導出されたトーンカーブを使用する時間コヒーレントベースレイヤーを生成することを含む。
【0010】 時間的コヒーレンス性はHDRビデオトーンマッピング技術の慢性的な問題である。一般的には、時間的コヒーレンス性はHDRビデオの個別のフレームで実行されるトーンマッピングがフレーム毎に一致する度合いを表す。トーンマッピングされたコンテンツに時間的コヒーレンス性が欠如すると、人の目で認識可能な連続するフレーム間で、急激な明るさの変化(例えばフラッシュ)として度々現われる。
これらのフラッシュはビデオトーンマッピングの使用を制限してきた。「ハイダイナミックビデオの時間的コヒーレントローカルトーンマッピング」と題された米国特許出願第14/121,091号は、ここで参照として組み込まれるが、時間コヒーレント方法でローカルビデオトーンマッピングを実行するための技術を記載する。本明細書に記載される実施形態は、比較的少ないコンピューティング資源を要求可能なローカルビデオトーンマッピングを実行するための技術を記載する。
【0011】 ある実施形態において、トーンマッピングシステムは一つのHDRビデオにおける一つのフレームをフィルタリングすることにより一つのベースレイヤーを生成する。次いでこのベースレイヤーから一つのトーンマッピングパラメータ、-例えばこのベースレイヤーの平均輝度または最大輝度値が導出される。このトーンパラメータが一旦同定されると、システムは、時間フィルタリングを実行し、HDRビデオにおける一つの現フレーム用のトーンカーブパラメータの値と、少なくとも一つの前フレームのトーンカーブパラメータの値との不一致を平滑化する。トーンカーブパラメータの値を時間フィルタリングすることにより、トーンマッピングシステムは、得られたトーンマッピングされたビデオにおけるフレーム間の急激な明るさの変化またはフラッシュを減少または除去できる。その上、本明細書に記載される実施形態は、ベースレイヤー全体に時間フィルタリングを実行する必要はなく、コンピュータを駆使した処理が非常に少ないであろうトーンカーブパラメータに対してのみ時間フィルタリングを実行する。トーンマッピングシステムは時間フィルタリングされたトーンカーブをベースレイヤーに適用して時間コヒーレントレイヤーを生成する。
【0013】 図1は本明細書に記載される一実施形態による、HDRビデオをトーンマッピングされたビデオに変換させるためのシステムフロー100である。フロー100において、ボックスは、一つのトーンマッピングシステムの機能を表し、丸はトーンマッピングシステムにおいて生成または記憶されたデータを示す。図示されるように、フロー100はHDRビデオ105がトーンマッピングシステムで受信されると開始する。HDRビデオ105はトーンマッピングシステムに(例えばコンプリートメディアプレゼンテーションとして)記憶され得るか、あるいはより小さい処理用チャンクにおけるシステムへ送信可能である。一般的に、フロー100はHDRビデオ105の個別のフレームをトーンマッピングされたビデオ150のフレームに変換させるための技術を表す。別の表現でいうと、トーンマッピングされたビ デオ150はHDRビデオ105のフレームと同様な色の対比と詳細(例えばエッジおよびテクスチャ)を有し得るがHDRビデオ105よりも少ない色の範囲を有し得る。
【0014】 トーンマッピングシステムは空間フィルター110を使用してHDRビデオ105の一つのフレームを処理する。本実施例では、フロー100の空間フィルター110は一つの透過性ガイデッドフィルター(PGF)でありこれはHDRビデオ105の一つのフレームを受信し且つ一つのベースレイヤー115を出力する。一般的に、ベースレイヤー115はHDRビデオフレームにおけるピクセルの輝度値を表す。ある実施形態では、ベースレイヤー115を生成するために、PGF110はHDRビデオ105におけるフレームを時間ではなく空間的(例えばピクセル面上のXおよびY次元)に処理する。ある実施形態では、PGF110は、一つの均一なグリッド上でのピクセルの位置により規定される一つの空間的局所的近傍を決定することにより、一つのHDRフレームにおける各ピクセルを空間的にフィルタリングする。あるピクセルに対する空間的局所的近傍は、その与えられたピクセルの空間的近くに存在する2つまたはそれ以上のピクセル一式として規定される。
【0018】 芸術的設定およびベースレイヤーを使用すると、トーンマッピングシステムはトーン‐カーブ‐スペース時間フィルタリング125を実行する。一般的に、トーン‐カーブ‐スペース時間フィルタリング125は、時間フィルタリングされたトーンカーブを生成し、このトーンカーブはベースレイヤーを処理して時間コヒーレントベースレイヤー140を生成するために使用され得る。トーン‐カーブ‐スペース時間フィルタリング125の詳細は図2に記載される。
【0019】 図2は、本明細書に記載される一実施形態における、トーンカーブを時間フィルタリングするための方法200のフローチャートである。ブロック205では、ト ーンマッピングシステムはベースレイヤーから一つのトーンカーブパラメータを同定する。一般的に、トーンカーブパラメータはベースレイヤーから導出された一つの統計値である。ある実施形態では、トーンカーブパラメータは、ベースレイヤーから導出された一つの照度値である。例えば、トーンマッピングシステムはベースレイヤーにおけるピクセルを各々評価し、ベースレイヤーの平均輝度値、最大輝度値、または最小輝度値を同定し得る。平均輝度値、最大輝度値または最小輝度値は、
一つのトーンカーブを生成するのに利用可能な適切なトーンカーブパラメータの3つの実施例に過ぎない。当業者は、別の画像統計パラメータが、トーンカーブパラメータとして代わりに利用できるベースレイヤーから導出可能であることを認識するであろう。その上、方法200は一つのトーンカーブパラメータを導出することを説明しているが、トーンマッピングシステムは、組合せまたは加重可能な複数のトーンカーブパラメータを導出可能である。
【0020】 ブロック210では、トーンマッピングシステムは、前フレームから導出されたトーンカーブパラメータ値を使用するトーンカーブパラメータを時間フィルタリングする。すなわち、トーンマッピングシステムは、前トーンカーブパラメータ値を使用する現フレーム用トーンカーブパラメータを修正する。例えば、トーンマッピングシステムは、前ベースレイヤーから導出された平均輝度値を使用する現ベースレイヤーに対して導出された平均輝度値を調整し、それらの値の差異を減少させることができる。
【0021】 ベースレイヤーから導出されたトーンカーブパラメータは、HDRビデオにおける異なるフレーム間を大幅に変更可能である。例えば、HDRビデオにおける2つのフレームを、ユーザーが観た際には輝度に関してほとんど変化がみられないとしても、これらのフレームに関するトーンカーブパラメータ値は、様々な理由によって依然として大きく変わり得る。トーンカーブパラメータが時間フィルタリングさ れない場合には、ユーザーは上述したように得られたトーンマッピングされたビデオにおけるフラッシュに気づくであろう。したがって、ブロック210では、トーンマッピングシステムはトーンカーブパラメータの過去の値を使用して、一つの新たなフレームを処理する際には、トーンカーブパラメータにおける変化量を制限または変更する。
【0028】 ブロック215では、トーンマッピングシステムは時間フィルタリングされたトーンカーブパラメータ(例えばｐｔ)から一つのトーンカーブを生成する。一般的に、トーンカーブは入力輝度と出力輝度の間の一つマッピンングであり得る。トーンカーブにより、トーンマッピングシステムは、HDRビデオにおけるピクセルの色の範囲を、非HDRのユーザー装置、-例えばテレビジョン、スマートフォンまたはタブレットのディスプレイ、コンピューター・モニター等により使用されているより狭い色の範囲に圧縮することができる。本明細書に記載される実施形態では、
単一のトーンカーブを生成し利用することが記載されているが、トーンマッピングシステムはベースレイヤーを処理するための複数のトーンカーブを生成し(または予め定義された複数のトーンカーブを使用し)、時間コヒーレントベースレイヤーを得ることができる。
【0031】 ブロック225では、トーンマッピングシステムは調整されたトーンカーブをベースレイヤーに適用することにより時間コヒーレントベースレイヤーを得る。言い換えると、トーンマッピングシステムはトーンカーブで規定される入力輝度と出力輝度との関係性を使用し、ベースレイヤーにおけるピクセルの輝度値を調整する。
トーンカーブは時間フィルタリングトーンカーブパラメータを使用して生成されるため、トーンカーブをベースレイヤーに適用することにより一つの時間コヒーレントベースレイヤーが得られ、ここで以前のフレームのベースレイヤーに関連した輝度値における意図しない変化が軽減される。
【0032】 さらに、トーンカーブを(ベースレイヤーおよび詳細レイヤーの両方よりも)ベースレイヤーだけに適用することの利点の一つは、そのようにすることで、ローカルトーンマッピングオペレーションを実行できることによる芸術的自由が保持されることである。ベースレイヤーと詳細レイヤーとを別個に処理することにより詳細レイヤーにおける特徴の視認性の正確なコントロールが可能となる。さらに、トーンカーブパラメータはHDRビデオから直接導出されるよりもベースレイヤーから導出される場合に、より安定的である(すなわち、フレーム間におけるトーンカーブパラメータの変化がより小さい)。これは、ベースレイヤーを生成するために使用されたフィルターがHDRビデオにおける輝度値の局所変化を減少させ且つ外れ値を除去するためである。したがって、ベースレイヤーからトーンカーブパラメータを導出することはトーンカーブパラメータにおける時間差を安定化させ且つ上述のフラッシュを軽減させることにも役立つ。
【0033】 図1におけるフロー100に戻ると、トーン‐カーブ‐スペース時間フィルタリング125を実行すると、時間コヒーレントベースレイヤー140を得る。トーンマッピングされたビデオ150を生成するために、トーンマッピングシステムは時間コヒーレントベースレイヤー140と一つの詳細レイヤー135とを組み合わせる。詳細レイヤー135はHDRビデオ105の各ピクセルを、ベースレイヤー115の対応するピクセルで除算することにより導出される。言い換えると、ベースレイヤー115を生成するために使用された同一のHDRビデオフレームをベースレイヤー115で除算することにより詳細レイヤー135を得る。この除算ファンクション130はHDRビデオフレームから輝度を除去するが、詳細レイヤー135に記憶されているテクスチャおよびエッジ情報は残される。フロー100に示されないが、技術者は詳細レイヤー135を変更するための芸術的設定を提供できる。
例えば、技術者は詳細レイヤー135の一つのエッジを鋭くすること、または一つ のテクスチャを調整することを希望できる。これらの変更は詳細レイヤー135に対して直接行うことができる。
【0034】 トーンマッピングシステムは、1ピクセル毎の乗算ファンクション145を使用して、詳細レイヤー135と時間コヒーレントベースレイヤー140を組み合わせてトーンマッピングされたビデオ150の一つのフレームを生成する。一般的に、
トーンマッピングされたビデオ150はHDRビデオ150と同様な色対比および詳細(例えば同様なテクスチャ)を含む一方で狭い色範囲を有する。ある実施形態では、乗算ファンクション145は色の増幅を実行するために加重される。しかしながら、別の実施形態では、乗算ファンクション145は加重されず、且つ詳細のレベルはトーンカーブにより制御される、-すなわちベースレイヤーが大幅に圧縮されると、その結果詳細はより明瞭となり、またその逆もある。
【0035】 フロー100はHDRビデオ105における各フレームに対して繰り返す。そうすることで、トーンマッピングシステムは各フレームに対して一つのベースレイヤー115を生成し、ベースレイヤー115からトーンカーブパラメータの値を同定し、そしてトーンカーブパラメータを時間フィルタリングする。このパラメータから生成された一つのトーンカーブを使用すると、トーンカーブパラメータの時間フィルタリング125を行い、且つ一つのトーンカーブを生成することにより、一つの時間コヒーレントベースレイヤー140を得て、これを詳細レイヤー135と組み合わせてトーンマッピングされたビデオ150を生成する。
【図1】【図2】(2) 本件補正発明の概要 前記第2の3の本件補正後の特許請求の範囲の記載、前記(1)の本願明細書の記載及び弁論の全趣旨によると、本件補正発明の概要は、次のとおりであると認められる。すなわち、本件補正発明は、ハイダイナミックレンジ(HDR)ビデオ用のトーンマッピングの実行に関する発明である。HDRとは、大きい輝度幅をいうところ、HDRビデオの輝度幅は、これを表示する装置が出力し得る輝度の範囲を超 えることがあるため、HDRビデオのフレームを表示装置の輝度幅に対応するフレームに変換する処理(トーンマッピング)をするとの技術が存在する。しかしながら、従来、トーンマッピングがされたコンテンツが時間的コヒーレンス性(HDRビデオの個別のフレームにおいて実行されるトーンマッピングがフレームごとに一致する度合い)を欠き、人の目で認識可能な連続するフレームの間で急激な明るさの変化(フラッシュ等)が度々現れるという慢性的な課題があった。本件補正発明は、このような課題を解決するため、HDRビデオの一つのフレームを使用する第1のベースレイヤーを生成し、第1のベースレイヤーから一つのトーンカーブパラメータ(第1のベースレイヤーのピクセルから導出された一つの統計的照度値)を導出し、第2のベースレイヤー(HDRビデオの一つの以前のフレームから導出されるもの)から導出されたトーンカーブパラメータの一つの以前に測定された値を使用してトーンカーブパラメータを時間フィルタリングした上、時間コヒーレントベースレイヤー(時間フィルタリングされたトーンカーブパラメータから導出された一つのトーンカーブを使用するもの)を生成するとの方法を含む方法を採用したものである。これにより、本件補正発明は、トーンマッピングがされたビデオにおけるフレーム間の急激な明るさの変化ないしフラッシュを減少させ、又は除去するとの効果を奏するほか、トーンカーブパラメータに対してのみ時間フィルタリングを実行するため、ベースレイヤーの全体に対して時間フィルタリングを実行する必要がなく、コンピュータを駆使した処理が非常に少なくなるとの効果を奏する。
2 取消事由1(甲1に記載された発明の認定の誤り)について(1) 甲1の記載 甲1には、次の記載がある。
【0001】 本発明は、高品質ビデオデータの処理に関する。
【0020】 本発明は、ビデオフレームデータのストリームを圧縮する改良された方法とその方法を実施するための装置を提供することを目的とする。本発明の第1の基本的な考えによれば、ビデオフレームデータのストリームを圧縮する方法が 提案され、トーンマッピング関数が前記ストリームのビデオフレームに対して決定され、前記トーンマッピング関数は異なるシーンに関するフレームに対して互いに異なり、トーンマッピング関数は同じシーンに関するストリームのフレームに対して変更されることになる。
【0021】 シーンごとに異なるトーンマッピング関数を決定するだけでなく、
ビデオストリームで同じシーンを表示している間にもトーンマッピング関数を変更することが明らかに有利であることが分かった。したがって、本発明の方法は、トーンマッピング関数の変更がシーンの変更に対してのみ作用するビデオストリームと比較して、著しく優れた品質を有するビデオデータのストリームを提供する。ストリームを圧縮する本方法を高解像度ビデオデータ、すなわち多数の画素からなる画像に適用することが可能であり好ましい。ここで、本発明は、高解像度ビデオデータによって提供される細かい空間的な詳細が、シーンが持続している間により明確に識別され得るという利点を提供する。
【0022】 本発明では、シーン内のトーンマッピング関数を徐々にしか変化させないことが非常に好ましい。トーンマッピング関数を徐々にしか変化させないことで、フレーム間の差が小さくなるため、受信画像がより自然なものになるように感じられる。なお、シーンの変更を伴わない照明のオン・オフなどによるシーンの照明の変更の場合には、トーンマッピング関数を徐々にしか変更しないという一般的な規則からの例外とし得ることに留意すべきである。
【0038】 図1によれば、高精細なハイダイナミックレンジのビデオフレームからなるビデオフレームデータのストリーム1が提供される。ビデオストリーム1の1つのHDRフレーム2は、ソフトウェア又はハードウェアのいずれかによって実装されてよく、HDRフレーム2からベースフレーム4を抽出するために使用されるフィルタ3に入力される。フィルタ3は、バイラテラルフィルタであってよい。
【0039】 ベースフレーム4は、結合段階において、例えば、HDRフレーム2からベースフレーム4を減算することによって、及び/又はHDRフレーム2を ベースフレーム4で除算することによって、初期HDRフレームと結合され、HDRフレーム2の微細な細部に関連するディテールフレーム5が提供される。ベースフレーム4はさらに、トーンマッピング操作段階6に供給され、トーンマッピングルックアップテーブル7に格納された複数の-ここではあらかじめ定義されたトーンマッピング関数のうちの1つがベースフレームに対して選択される。
【0040】 所定のベースフレーム4に対して選択されたトーンマッピング関数6は、後述するように、HDRフレームの時間特性及び/又は以前のトーンマッピング関数に関して、トーンマッピング関数TMO *に変更される。次に、トーンマッピング関数TMO *は、ローダイナミックレンジベースフレーム8を得るように、
ベースフレーム4に適用される。ローダイナミックレンジベースフレーム8及びディテールフレーム5は、それぞれ段階9及び10で別々に時間的圧縮アルゴリズムの処理がされる。時間的圧縮スキームは、当該技術分野においてそれ自体既知のものであってよく、特にMPEGエンコーディング等に関するものであってよい。
【0041】 時間的に圧縮されたディテールフレームとベースフレーム9、10と時間的に補正されたトーンマッピング関数TMO *から、最終フレームが構築される。高品質の圧縮ビデオストリームを得るために、説明した実施形態では、以前のフレームについて以前に得られたトーンマッピング関数に関して、トーンマッピング関数を決定することが提案されている。したがって、所定のベースフレームに対するトーンマッピング関数は、同じシーンの以前のフレームに対して得られた複数の以前のトーンマッピング関数の特性を保存する時間特性段階11に供給される。
これは、複数の以前のトーンマッピング関数をトーンマッピング関数テーブル7に格納することによって、及び/又はトーンマッピング関数全体を格納することによって行うことができる。シーンの任意の変更時に時間的特性段階をリセットするために、シーン変更識別子段階を設けてもよいことに留意されたい(図示せず)。時間的特性段階11は、ベースフレーム4に対して最初に決定された初期トーンマッピング関数を受信すると、前のトーンマッピング関数と比較したトーンマッピング 関数の変化が大きいか否かを決定する。トーンマッピング曲線の特定の部分が他の部分よりも高い重みを有するように、任意のそのような偏差を重み付けすることができることは、当業者には明らかであろう。
【0042】 また、ルックアップテーブルエントリ番号の小さな変化がトーンマッピング関数の小さな変化に対応するようにトーンマッピング関数テーブル7にトーンマッピング関数を格納することが可能であると、あるベースフレームのトーンマッピング機能から以前のベースフレームへの変化が大きいか否かを特に簡単に判断することができるようになる。トーンマッピング関数6の変化が緩やかであれば、
実際のトーンマッピング関数TMO *は、ベースフレーム4について決定された初期トーンマッピング関数に対応する。所定のベースフレーム4に対して決定されたトーンマッピング関数の変化が大きすぎる場合には、初期トーンマッピング関数は、
以前のトーンマッピング関数により近いトーンマッピング関数に修正される。これは、単純な比較器によって決定することができる。従って、シーン内におけるトーンマッピング関数の変化は小さく、高品質の圧縮ビデオデータストリーム12に基づいてフレームのシーケンスを示すことができる。
(2) 前記(1)の甲1の記載によると、本件審決が認定した甲1発明のうち構成aは段落【0020】に、構成bは段落【0038】に、構成cは段落【0039】に、構成dは段落【0039】に、構成eは段落【0040】に、構成fは段落【0040】に、構成gは段落【0041】に、構成hは段落【0042】にそれぞれ記載されているといえるところ、段落【0020】の記載は、甲1に記載された発明を一般的に説明するものであるし、段落【0038】ないし【0042】の記載は、いずれも図1(甲1によると、甲1に記載された発明の一つの実施形態を示す図面であると認められる。)の内容を説明するものであるから、これらの記載により、まとまった一つの発明を認定することができるというべきである。したがって、甲1には、甲1発明が記載されていると認められる。これと同旨の本件審決の認定に誤りはない。
(3) 小括 以上のとおりであるから、取消事由1は理由がない。
3 取消事由2(相違点についての判断の誤り)について (1) 本件周知技術の認定について ア 甲3について (ｱ) 甲3の記載 甲3には、次の記載がある。
【技術分野】【0001】 本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、
動画像のフレーム毎の輝度変動に対応した階調変換を実現できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】【0002】 従来から、CCD(Charge Coupled Device)などの固体素子で撮像されたデータを、より低ダイナミックレンジなメディアに表示もしくは印刷するために階調を圧縮し、より見栄えの良くなるようにコントラストを強調するといった処理(階調変換)については、さまざまな方法が提案されてきた。例えば、撮像データからヒストグラムを作成し、ヒストグラムの最大値、最小値、分布全体の代表値を元にヒストグラムに対して適当な変形を施した後にLUT(Look Up Table)を構成し、
このLUTを用いて階調変換を行うというものがある…。
【発明の開示】【発明が解決しようとする課題】【0003】 しかしながら、既存の階調変換処理は静止画を前提として考えられているため、
画像の輝度のヒストグラムの両端点を基準として階調変換を行なう場合、フレーム 毎に大きなヒストグラムの変動があると、それにあわせて階調変換のカーブも変化するため、シーン全体の明るさがフレーム単位で頻繁に変化してしまい、非常に見苦しいものになってしまう。
【0011】 以上で、階調変換処理によって起こりうる問題点について述べたが、その改善方法として、例えば過去数フレームの階調変換結果を保持しておき、現フレームの結果との平均を取ることによって、フレーム単位で発生する、シーン輝度の著しい変動を緩和する、といった方法が考えられるが、計算コストやメモリ量が大きくなってしまうと言う課題があった。
【0012】 本発明はこのような状況に鑑みてなされたものであり、特に、階調変換処理において、各フレーム毎の輝度をコントロールしているパラメータを時間方向に平滑化することで、計算量、および、メモリ容量の低コスト化を図りつつ、フレーム毎のちらつきを抑制できるようにするものである。
【0057】 DSP116は、A/Dコンバータ115から入力された広DR画像に対して階調圧縮処理を施し、狭DR画像を生成して、D/Aコンバータ118またはCODEC121、あるいは両方に出力する。…【0058】 次に、本発明の主眼となるDSP116について説明する。
【0059】 図5は、モノクロ画像である広DR画像に対応したDSP116の第1の構成例を示している。以下、DSP116に入力されるモノクロの広DR画像を、広DR輝度画像Lと記述する。また、広DR輝度画像の画素値(すなわち、輝度値)を、
L(ｐ)と記述する。ここで、ｐは、ｐ=(ｘ,ｙ)のように、画像における画素位置を示すベクトルまたは座標である。したがって、L(ｐ)は、画素位置と輝度 値の両方の情報を含むものとして、広DR輝度画像を表すLとは区別して用いることとする。後述するその他の画像とその画素値についても同様である。
【0060】 DSP116には、広DR輝度画像Lの輝度L(ｐ)がラスタスキャン順に入力されるものとする。
【0061】 DSP116の第1の構成例において、対数変換部141は、入力される輝度L(ｐ)を対数変換し、得られる対数輝度 logL(ｐ)をトーンカーブ補正部142に出力する。トーンカーブ補正部142は、入力される対数輝度 logL(ｐ)に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数輝度 logLC(ｐ)を縮小画像生成部143およびコントラスト補正部145に出力する。また、トーンカーブ補正部142は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部145に出力する。以下、適用したトーンカーブの傾きを示す代表値γを、単に代表値γとも記述する。
【0070】 次に、DSP116の第1の構成例の各部の詳細について、図面を参照して説明する。
【0071】 図6は、トーンカーブ補正部142の第1の構成例を示している。上述の第1の構成例において、LUTメモリ171には、図7に示すような単調増加のトーンカーブに相当するルックアップテーブル(以下、LUTと記述する)とトーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部172は、LUTメモリ171に保持されているLUTに基づいて対数輝度 logL(ｐ)を対数輝度 logLC(ｐ)に補正する。
【0072】 図7は、トーンカーブの一例を示しており、横軸が入力輝度L(ｐ)を、縦軸がトーンカーブ補正後の輝度Lc(ｐ)を、それぞれ[0,1]に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆S字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、
後述するコントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な狭DR画像が得られる。
【0073】 なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。図7に示されたトーンカーブの場合、代表値γ=0.67である。
【0074】 図8は、トーンカーブ補正部142の第2の構成例を示している。第2の構成例は、第1の構成例のように予め用意されているLUTを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度 logL(ｐ)を、対数輝度 logLC(ｐ)に補正するものである。第2の構成例において、平均輝度算出部191は、1フレーム分の対数輝度 logL(ｐ)の平均輝度値μを算出し、平均輝度平滑化部192に出力する。
【0075】 平均輝度平滑化部192は、平均輝度算出部191より供給された平均輝度値μを、前後のフレームの平均輝度値μ、または、前後のフレームの平滑化された平均輝度値μを用いて平滑化し、除算器193に供給する。除算器193は、所定の定数 logLTを平均輝度値μで除算し、代表値γを算出する。γメモリ194は、除算器193から入力された代表値γを保持する。乗算器195は、現フレームの対数輝度 logL(ｐ)に、γメモリ194に保持されている1フレーム前の代表値γ を乗算して、トーンカーブ補正後の対数輝度 logLC(ｐ)を算出する。
【0076】 ここで、所定の定数 logLTを、中央レベルの対数輝度と定めておけば、1フレーム分の対数輝度 logL(ｐ)の平均値が、logLTと等しい値のトーンカーブ補正後の対数輝度 logLC(ｐ)に変換されることになる。
【0077】 代表値γはフレーム毎に算出されるが、現実的には各フレームの対数輝度 logL(ｐ)の平均輝度値μに基づいて決定されるので、前後のフレームではあまり変化がないことが期待できる。したがって、この代表値γも、上述した縮小画像 logLClおよび輝度域情報[Y d ,Yb]と同様に、1フレーム前のものを、現フレームに対するトーンカーブ補正に用いるようにしている。…【図5】【図6】 【図8】 (ｲ) 甲3が開示する技術 a 甲3の記載(段落【0074】及び【0075】)によると、甲3には、次の方法(甲3にいうトーンカーブ補正部142の第2の構成例に係るもの)が記載されていると認められる。
(a) 1フレーム分の対数輝度値 logL(ｐ)の平均輝度値μを算出し、
(b) 上記(a)の平均輝度値μを前後のフレームの平滑化された平均輝度値μを用いて平滑化し、
(c) 所定の定数 logLTを上記(b)において平滑化された平均輝度値μで除算して代表値γを算出し、代表値γをメモリに保持し、
(d) 現フレームの対数輝度 logL(ｐ)にメモリに保持されている1フレーム前の代表値γを乗算してトーンカーブ補正後の対数輝度 logLC(ｐ)を算出する (e) ステップを含むトーンカーブの補正の方法 b ここで、甲3の段落【0074】には、「図8は、トーンカーブ補正部142の第2の構成例を示している。第2の構成例は、…フレーム毎に代表値γを算出して、対数輝度 logL(ｐ)を、対数輝度 logLC(ｐ)に補正するものである。」との記載があり、また、段落【0077】には、「代表値γはフレーム毎に算出される…。」との記載があるから、前記a(a)ないし(d)のステップは、フレームごとに行われるものと認められる(したがって、前記a(a)の「1フレーム分の」は、
「1フレームごとに」と読み替えることができる。)。
また、前記a(c)は、γ=(logLT)/μとの式により代表値γを算出することを意味するところ、式中のμには、前記a(b)において平滑化された平均輝度値μが用いられている。
さらに、前記a(d)は、logL C (ｐ)=γ×logL(ｐ)との式により、現フレームのトーンカーブを代表値γ(上記のとおり、平滑化された平均輝度値μを用いて算出されたもの)により補正することを意味する。
以上によると、前記a(a)は、本件周知技術にいう「フレーム毎に平均輝度値を算出し」に相当し、前記a(b)は、本件周知技術にいう「算出した平均輝度値を複数のフレームで平滑化し」に相当し、前記a(c)及び(d)は、本件周知技術にいう「平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正する」に相当するといえる。
そうすると、甲3には、本件審決が認定した本件周知技術が開示されているものと認められる。
イ 甲2について (ｱ) 甲2の記載 甲2(訳文として、原告提出のもののほか、被告提出の乙1がある。)には、次の記載がある。
a 「有利には、本方法は、M個のハイダイナミックレンジピクチャについて決定された平均輝度の代表値をシーケンスの少なくともM個のハイダイナミックレンジピクチャにわたって時間的にフィルタリングすることをさらに含み、ここでMは、
厳密に1より大きい整数であり、M個のハイダイナミックレンジピクチャの少なくとも1枚の画像の処理は、フィルタリングした値を使用する。
変形例によれば、この方法は、ガンマ補正を適用する前に、シーケンスの少なくともM個のハイダイナミックレンジピクチャに対して、M個のハイダイナミックレンジピクチャについて決定されたガンマ係数を時間的にフィルタリングすることを 含み、Mは、厳密に1より大きい整数であり、M個のハイダイナミックレンジピクチャの少なくとも1つのピクチャにガンマ補正を適用するには、フィルタリングしたガンマ係数を使用することを含む。
時間的フィルタリングは、シーケンス上の時間的コヒーレンスを保持する。」(4頁5〜17行目) b 「N枚のHDRピクチャーのシーケンスを符号化する方法が開示されている。
Nは、1以上の整数である。第1の具体的かつ非限定的な実施形態において、シーケンス全体を符号化するために、同じステップがシーケンスの各ピクチャに独立して適用される。図1は、このように、本発明の第1の実施形態による符号化方法のフローチャートである。より正確には、図1は、以下のエンコーディングのステップを示す。ここで、iは、シーケンス内のピクチャの位置を特定する整数のインデックスである。
ステップ10において、現在のHDRピクチャP i の平均輝度を代表する値avg_lum が取得される。」(7頁28行目〜8頁4行目) c 「ステップ12において、HDRピクチャPiは、値 avg_lum と定義された平均輝度値 desired_avg_lum とに基づいて処理され、バランスのとれた輝度ピクチャを得る。…一例として、HDRピクチャPiを処理することは、ガンマ補正を適用することからなる。したがって、Piの各ピクセルについて、その値VはV γ に変更され、γはガンマ係数であり、log2(desired_avg_value)/log2(avg_lum)に等しい。画像Piにガンマカーブを適用することで、画像の平均輝度値を avg_lum から desired_median_value に近い値へシフトさせる。」(8頁9〜20行目) d 「図6及び図7は、第2の非限定的実施形態による符号化方法のフローチャートを示す。…この実施形態によれば、画素の値 log2 の正規化に用いられる値avg_lum…は、ビデオにわたって時間的にフィルタリングされる。そして、フィルタリングされた値は、フィルタリングされていない値の代わりに、処理ステップの間に使用される。そうすることで、avg_lum…の値の変動がシーケンス上で平滑化 される。その結果、シーケンスのピクチャは、より多くの輝度コヒーレンスを有し、
これは、また符号化効率を向上させる。変形例によれば、ガンマ係数 γは、値avg_lum の代わりにビデオ上でフィルタリングされる。そして、フィルタリングされたガンマ係数は、フィルタリングされていないガンマ係数の代わりに、処理ステップの間に使用される。」(13頁9〜21行目) e 「図6に関して、ステップ60において、インデックスiのピクチャPについて、avg_lum(i)…の値が得られる。このステップは、ステップ10と同一であり、
ステップ10について開示したすべての変形がステップ60に適用される。…特定の実施形態によれば、インデックスiのピクチャPについて、 avg_lum(i)及びdesired_avg_lum からガンマ係数γ(i)が決定される。一例として、γ(i)=log2(desired_avg_value)/log2(avg_lum(i))である。」(14頁1〜8行目) f 「ステップ64において、値 avg_lum(i)(又はそのような値がステップ60において決定される場合には、γ(i))…がシーケンス上で時間的にフィルタリングされて、フィルタリング値 filt_avg_lum(i)(又は filt_γ(i))…が取得される。この目的のために、現在のピクチャPiを構成するサイズMのスライディングウィンドウが使用される。現在のピクチャに対するフィルタリングされた値filt_avg_lum(i)(又は filt_γ(i))は、スライディングウィンドウ内のピクチャPjに関連する値 avg_lum(j)(又はγ(j))の平均としてセットされる。」(14頁12〜18行目) g 「図7に関して、ステップ70において、現在のHDRピクチャPiは、フィルタリングされた値 filt_avg_lum(i)…で処理されて、バランスのとれた輝度ピクチャを得る。ステップ12について開示された同じ変形例がステップ70についても適用される。一例として、HDRピクチャPを処理することは、ガンマ補正を適用することを含んでいる。したがって、P i の各画素について、その値VはV γに変更され、γはガンマ係数であり、log2(desired_avg_value)/log2(filt_avg_lum(i))と等しい。変形例によれば、現在のHDRピクチャP iは、フィルタリング されたガンマ係数 filt_γ(i)…で処理されて、バランスの良い輝度ピクチャを得る。したがって、P iの各画素について、その値Vは、γ=filt_γ(i)であるV γに変更される。」(14頁26行目〜15頁2行目) (ｲ) 甲2が開示する技術 a 甲2の記載(前記(ｱ)eないしg)によると、甲2には、次の方法(甲2にいう第2の非限定的実施形態に係るもの)が記載されていると認められる。
(a) インデックスiのピクチャPについて、値 avg_lum(i)を取得し、
(b) 値 avg_lum(i)をシーケンス上で時間的にフィルタリングしてフィルタリング値 filt_avg_lum(i)を取得し、フィルタリング値 filt_avg_lum(i)は、スライディングウィンドウ内のピクチャPjに関連する値 avg_lum(j)の平均としてセットされ、
(c) 現在のHDRピクチャPiをフィルタリング値 filt_avg_lum(i)で処理し、
一例として、P iの各画素について、その値VはVγ に変更され、γはガンマ係数であり、log2(desired_avg_value)/log2(filt_avg_lum(i))と等しい (d) ステップを含むHDRピクチャの処理方法 b ここで、甲2の記載(前記(ｱ)a及びb)によると、前記a(a)の「インデックスiのピクチャP」は、M個のHDRピクチャにおける個々のフレームを意味し、
「値 avg_lum(i)」は、インデックスiのピクチャPの平均輝度値(現在のHDRピクチャPiの平均輝度を代表する値)を意味するものと認められる。
また、前記a(b)の「フィルタリング値 filt_avg_lum(i)」は、サイズMのスライディングウィンドウ内の各ピクチャPjに関連する値 avg_lum(j)の平均(M個のavg_lum(j)の平均)としてセットされるものであるから、前記a(b)の「値 avg_lum(i)をシーケンス上で時間的にフィルタリングしてフィルタリング値 filt_avg_lum(i)を取得」するとは、前記a(a)のようにして取得されたインデックスiのピクチャPの平均輝度値を複数のフレームで平滑化することを意味する。
さらに、前記a(c)のγは、log2(desired_avg_value)/log2(filt_avg_lum(i)) と等しいものであるところ、上記のとおり、「filt_avg_lum(i)」は、平滑化した平均輝度値に相当するから、現在のHDRピクチャPiの各画素につきその値VをVγ に変更する処理においてそのようなγを用いることは、平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正することを意味する。
以上によると、前記a(a)は、本件周知技術にいう「フレーム毎に平均輝度値を算出し」に相当し、前記a(b)は、本件周知技術にいう「算出した平均輝度値を複数のフレームで平滑化し」に相当し、前記a(c)は、本件周知技術にいう「平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正する」に相当するといえる。
そうすると、甲2には、本件審決が認定した本件周知技術が開示されているものと認められる。
ウ 甲4について (ｱ) 甲4の記載 甲4には、次の記載がある。
a 「3.2. トーンマッピング我々が選択した階調再現オペレータは、そのパラメータが自動化できることから、
写真オペレータを使用している。しかしながら、パラメータの推定には、定義上、
外れ値である最小輝度Lminと最大輝度Lmaｘが必要である。画像の幾何平均Laｖを加えて、シーンaのキーが次のように推定される。
a=0.18*22(B-A)/(A+B) (1a) A=Lmaｘ-Laｖ (1b) B=Laｖ-Lmin (1c)そして、写真階調再現では、画像の幾何平均を推定キー値、L(ｘ,ｙ)=aL(ｘ,ｙ)/Laｖにマッピングし、その後、非線形圧縮を適用する。
ここで、Lｗhiｔeは、白にマッピングすべき最小の入力値を指定するユーザパラメータである。」(3頁左欄4〜19行目) b 「我々のトーンマッピングシステムは、式1aから式1cのパラメータに適用されるリーキー積分器を用いて、トーンマッピングされたHDRビデオのフリッカーを低減することを目的とする。一時記憶のTMOアルゴリズムにより得られるTMOのパラメータのフレーム間の急激な変化を低減するためのフィルタとして、
正規化したバージョンのリーキー積分器を使用する。…フィルタリングされたnフレーム目のAn、Bn及びanを計算するための更新された式は、式3aから式3cで与えられる。
An=(1―αA)A(n-1)+(αA)A (3a) Bn=(1-αB)B(n-1)+(αB)B (3b) an=(1-αa)a(n-1)+(αa)a (3c) パラメータαA、αB及び αaは、[0,1]のとき定数であり、この例では、全て0.98に設定されている。…内部のTMOパラメータにリーキー積分器を適用した結果、図3bのフレームに示されるようにフリッカーが低減された。」(3頁左欄31行目〜右欄11行目) (ｲ) 甲4が開示する技術 a 甲4の記載(前記(ｱ))によると、甲4には、次の方法が記載されていると認められる。
(a) 最小輝度L min 及び最大輝度L maｘ に画像の幾何平均Laｖ を加えて、シーンaのキー(パラメータa、A及びB)を下記の式1aないし式1cにより推定するステップと、
a=0.18*22(B-A)/(A+B) (1a) A=Lmaｘ-Laｖ (1b) B=Laｖ-Lmin (1c) (b) 上記(a)により得られたパラメータにリーキー積分器を適用することにより、
すなわち、下記の式3aないし式3cに従って計算することにより、フィルタリングされたnフレーム目のパラメータAn、Bn及びanを得るステップと、
An=(1―αA)A(n-1)+(αA)A (3a) Bn=(1-αB)B(n-1)+(αB)B (3b) an=(1-αa)a(n-1)+(αa)a (3c) (c) 上記(b)によりフィルタリングされたパラメータを基に画像の幾何平均を推定キー値(L(ｘ,ｙ)=aL(ｘ,ｙ)/L aｖ )にマッピングするステップと、
(d) 上記(c)によりマッピングした値に下記の式2の非線形圧縮を適用するステップ (e) とを含むHRDビデオのフリッカーを低減させるトーンマッピングの方法 b ここで、前記a(a)の「画像の幾何平均Laｖ」は、「画像の平均輝度値」を意味するところ、ここでいう「画像」は、個々の画像(フレーム)を指すものと解される。なお、甲4の記載(前記(ｱ)b)によると、前記aの方法は、フレーム間の急激な変化(フリッカー)を低減させるために用いられるものであると認められるから、この点からも、前記a(a)の「画像」は、個々のフレームを指すというべきである。
また、前記a(b)の式3aないし式3cの内容をみると、これらは、(n-1)フレーム目のフィルタリングされたパラメータA n-1、B n-1 及びa n-1とフィルタリングされる前のパラメータA、B及びaを重み付きで加算することによりフィルタリングされたnフレーム目のパラメータAn、Bn及びanを得る操作であると理解されるから、式3aないし式3cの計算は、複数のフレームで平滑化することに当たるというべきである。また、式1aないし式1c及び式3aないし3cによると、パラメータAn-1、B n-1及びan-1 並びにA、B及びaは、いずれも平均 輝度値であるL aｖ を含むものであるといえるから、式3aないし式3cの計算により、平均輝度値も含めた平滑化が行われることは明らかである。
さらに、前記a(d)の式2の「L d(ｘ,ｙ)」は、ディスプレイの輝度値をいうものと解されるから(なお、甲4の1頁右欄31〜35行目参照)、これを算出する式2は、トーンカーブを意味するといえ、また、前記a(c)のステップにおいて用いられるパラメータ及び前記a(d)のステップにおいて用いられる値(前記a(c)のステップにおいてマッピングした値)は、いずれも前記a(b)のステップにおいて得られる平滑化された平均輝度値を含むものである。なお、前記aの方法におけるトーンマッピングが現在のフレームに対して行われるものであることは、前記aの方法の上記目的に照らし、明らかである。
以上によると、前記a(a)は、本件周知技術にいう「フレーム毎に平均輝度値を算出し」に相当し、前記a(b)は、本件周知技術にいう「算出した平均輝度値を複数のフレームで平滑化し」に相当し、前記a(c)及び(d)は、本件周知技術にいう「平滑化した平均輝度値を用いて現在のフレームのトーンカーブを補正する」に相当するといえる。
そうすると、甲4には、本件審決が認定した本件周知技術が開示されているものと認められる。
エ 本件周知技術の認定の可否 以上のとおりであるから、甲2ないし4により、本件周知技術を認めることができる。
(2) 本件周知技術の甲1発明への適用に係る動機付けについて 甲1の記載及び弁論の全趣旨によると、甲1発明は、HDRビデオにおけるトーンマッピングの方法に関する発明であると認められる。これに対し、甲2ないし4の記載及び弁論の全趣旨によると、本件周知技術も、HDRビデオにおけるトーンマッピングの方法に関する技術であると認められるから、甲1発明と本件周知技術は、その属する技術分野を同一にするといえる。
また、甲1の記載及び弁論の全趣旨によると、甲1発明は、トーンマッピングされたビデオの各フレームの間の輝度の差を小さくし、受信画像をより自然なものにするため、トーンマッピング関数を徐々にしか変化させないものとするとの課題を有すると認められる。これに対し、本件周知技術は、その内容に照らし、トーンマッピングするビデオの各フレームに適用されるトーンマッピング関数を徐々に変化させるための技術であると認められるから、本件周知技術は、甲1発明の上記課題を解決するための技術であるといえる。
加えて、甲3の記載によると、本件周知技術(甲3にいうトーンカーブ補正部142の第2の構成例に係るもの)は、甲1発明のようにあらかじめ用意されているルックアップテーブル(LUT)により時間的な変化が小さいトーンマッピング関数を使用するとの構成(甲3にいうトーンカーブ補正部142の第1の構成例に係るもの)に代えて採用し得るものと認められる。
以上によると、本件周知技術を甲1発明に適用することについては、十分な動機付けがあるものと認められる。
そして、本件全証拠によっても、本件周知技術を甲1発明に適用することについて、これを阻害する要因があるものと認めることはできないから、当業者は、甲1発明に本件周知技術を適用することができたものと認めるのが相当である。
(3) 小括 前記(1)及び(2)のとおりであるから、当業者は、甲1発明に本件周知技術を適用し、相違点に係る本件補正発明の構成に容易に想到し得たものと認められる。したがって、これと同旨の本件審決の判断に誤りはなく、取消事由2は理由がない。
4 結論 以上の次第であるから、原告の請求は理由がない。
すごい知財EXPO'22