Multiple Sub-Nyquist Sampling Encoding

MUSE (Multiple Sub-Nyquist Sampling Encoding) とは、NHK放送技術研究所が1984年に開発したハイビジョン向けの映像圧縮技術である。日本におけるBS放送向けに開発されたがアメリカでのBS放送の便も考慮され、CATVや標準テレビ放送と同様にVSB-AM変調による地上波での放送実験、マイクロ波による中継実験、現在のデジタル放送で採用されているISDBシリーズが備えているような字幕・データ放送の実験などの諸実験が行われ、ハイビジョンLDの記録方式としても採用された。この他にもBSを通じてMUSEによる有料放送を行うべくそれに関する仕様が定義され、MUSEデコーダを内蔵したテレビの説明書にデスクランブラの接続についての記載もされていた。

ハイビジョン放送実用化への課題

NHKでは現在のテレビ(System-J/NTSC-J)の「次のテレビ」として1964年より立体テレビジョン及び高品位テレビジョン(ハイビジョンのことである)についての研究を始め、1972年にはCCIR(現在のITU-R)に規格提案を行うまでとなった。しかし、ハイビジョン放送を実用化するためには大きな壁が立ちふさがっていた。それは利用できる帯域幅である。当時利用可能な最大の帯域幅は12GHz BSの27MHzであり、BSではFM変調が用いられていることから駒井・カーソン則に従って計算すると伝送可能なベースバンド信号(原信号)の幅はわずか9MHz以下となってしまう。従ってRGB各色ごとに30MHzもあるスタジオ規格、視覚的な差異がないとされる放送規格の各色それぞれ20MHz幅のハイビジョン映像をそのまま放送するのは不可能である。この問題を解決するために放送用伝送手段が考えられ、その結果MUSE方式が開発された。

MUSEの特徴

MUSEの特徴は入力された映像をさいころの五の目(千鳥格子)状のサンプリングパターンとなるサブサンプリングを動きベクトルを利用して行うことと、色信号の多重化に色線順次TCIを用いてYC時分割多重を行ったことである。人間の目は縦横方向に比べ斜め方向の解像度は低く、動体視力は静止視力にくらべてやはり低い性質を活用し静止画・動画を振り分けた圧縮を行っているが、パン・チルトを行っている場合は動画として圧縮処理を行うと目の特性から動いてても画質の低下が目に付いてしまうのでフィールド間・フレーム間で合成ができるように動きベクトルを用いた動き補正を行って静止画的に処理できるようにしている。

MUSEのしくみ

映像の圧縮

出典：

圧縮対象走査線 : 1,032本
原始サンプリング周波数 : 44.55MHz
伝送サンプリング周波数 : 16.2MHz
ベースバンド帯域幅 : 8.1MHz (-6dB)
同期信号 : デジタルフレームパルス型、正極同期
色差多重方式 : 時間軸圧縮多重 (TCI)
- 時間軸輝度圧縮率 : 12:11
- 時間軸色差圧縮率 : 4:1
- 輝度算出式 : Y' = 0.588G 0.118B 0.294R
圧縮方式 : フィールド間、フレーム間、ライン間オフセットサンプリング方式
動きベクトル補正 : 水平±16サンプル (32.4MHzクロック)/フレーム、垂直±3ライン/フィールド

MUSEで圧縮するに至ってまず、得られたハイビジョン信号の20MHzを超える情報を捨て(帯域制限)、サンプリング周波数44.55MHzでRGB各色ないしは輝度・色差(明るさとその色合い)各成分のデジタル化を行う。そして圧縮するのに適したカラーマトリクス(計算式)で求められた輝度・色差に変換し、輝度・色差を時分割で格納するために輝度は12:11の時間軸変更が行われる。これによって輝度のサンプリング周波数は48.6MHzとなる。色差に関しては7.425MHz以上の情報を捨てた後に2種類の色差信号Cb/Crを交互に送るため縦方向の情報を半分にし、サンプリング周波数を14.85MHzに変換して2回の単純なクインカンクスサブナイキストサンプリング(さいころの五の目状のサンプリング点の間引き)が行われる。輝度は静止画と動画とで映像に施される処理が異なり、入力された映像が静止画の場合サンプリング周波数変換を交えた2回のサブナイキストサンプリングを行うことによって20MHzぶんの情報が8.1MHzに畳み込まれる。動画の場合は更に16MHzを超えた情報を捨て、静止画の2回目と同じサンプリングの様相を示すサブサンプリングを行って8.1MHzに畳み込まれる。この畳み込まれたデジタル映像を静止画と動画とで適宜混合してアナログに変換して伝送を行う。静止画と動画の最後の処理を同じくすることにより、デコーダによって行われる静止画・動画の判定において誤判定が起きたとしてもデコード結果画像の破綻が起きないようになっている。これらの処理がエンコード時の基本となっているが、フィルタの工夫・静止画のフレーム単位での処理などいくつかの改善案が挙げられている。デコード時には伝送されてきた畳み込みアナログ映像をデジタル化し、圧縮時に行ったように静止画・動画の判定を行って静止画の場合は前のフレームと合成することによって補完してデコードが行われる。

音声の圧縮

出典：

1フレームあたり1350ビット 1ミリ秒
音声圧縮方式 : 準瞬時圧伸 DPCM
モード
- Aモード : 32kHz 15-8bit(8レンジ)×4ch(3-1ステレオ)
- Bモード : 48kHz 16-11bit(6レンジ)×2ch
音声誤り制御 : (82,74)短縮化BCH 16ビットインターリーブ
多重化方式 : 垂直帰線期間に12.15Mbaudで3値ベースバンド多重

音声に関してはMUSEのために開発されたDANCE(DPCM Audio Near-instantaneous Compressing and Expanding)方式で圧縮される。標準放送と違い、3-1ステレオ方式をサポートする最大4チャンネルのAモードではサンプリング周波数32kHz15ビット、高音質ではあるが最大2チャンネルのBモードでは48kHz16ビットデジタル化した音声をサンプル点間の差をとってDPCM圧縮し、その差信号を1ms区間の準瞬時圧伸(ケタ落し)を行ってAモードでは8レンジ8ビット、Bモードでは6レンジ11ビットに圧縮する。ここで行われるDPCM圧縮の際にリーク値を利用した不完全積分を行うことによって伝送誤り時の雑音と直流誤差を少なくし、ローカルデコーダを設けることによって圧縮誤差が積み重なることを防止している。この圧縮されたデジタル音声を(82，74)短縮化BCHで保護した後16ビットインターリーブし、0と1の2値から0/1/2の3値12.15Mbaudに変換・時間軸変更してMUSE映像の画面に映らない部分、垂直帰線区間に格納する。3値化の際の値は伝送経路がAMとFMとで違い、LDの場合はデータ放送のための領域を削ってさらに強固なエラー訂正を付加する。データ放送に関しては標準テレビジョン放送と同様に斜め配置の288バイトパケット方式を採用し、18フレームで1スーパーフレームを構成している

開発初期のMUSE

MUSEの原型となるシステムは1983年の技研公開で展示されたもので、伝送サンプル周波数が19MHzと27MHzのRF帯域にぎりぎり合致する代物であり、音声も水平同期(33.75kHz)にロックした14-11bit準瞬時圧伸2チャンネルであった。初期のMUSEともいえるものとなると映像はサンプリング周波数64.8MHzでデジタル化され、画素は単純に2回の1/2にサブサンプリングによって1/4となる。TCI多重化の際の輝度信号の時間軸圧縮もなかった。音声はQPSK変調のRFを時分割多重もしくは標準テレビジョン放送で用いられた音声フレームを4値ベースバンド多重する。

MUSEのなかま

MUSE-T

出典：

放送用に作られたMUSE(以下区別のためにMUSE-Eと記す)であるが、MUSE-Tは4:2:2 TCIを利用することが不可能な狭帯域での素材伝送などの用を足すために作られた。RGBの各色を初期のMUSE-E同様にサンプリング周波数64.8MHｚでデジタル化し、MUSE-E同様にカラーマトリクスの変換を行う。そして入力映像が静止画の場合、1回のみ単純なフィールドオフセットサブサンプリングを行う。動画の場合も帯域制限が加わるだけで静止画の場合と同一である。音声に関してもMUSE-Eと変わらず圧縮・時間軸したことによってシンボルレート12.15Mbaudとなった音声を垂直帰線区間に多重する。

ATV向けのMUSE

日本におけるハイビジョンの開発・放送に影響を受けてアメリカでもHDTVの放送を望む声が高まってきた。これに対しATSCは既存の受信機と互換性のあるHDTV方式であるATVを募集し、FCCはそれに応える形で既存の受信機と互換性のある方式ないしは占有帯域が6MHz幅とサイマル放送しやすい方式でなければならないと定めた。FCCの諮問機関であるACATSが行ったATVコンペディションに応募すべく、走査線数1125本のHDTVスタジオ規格を普及させるべくNHK技研はADTV(Advanced Definition Television)であるNarrow MUSEおよびMUSE-6, MUSE-9を開発した。この開発された3方式のうち最後まで残れたのはNarrow MUSEであった。

Narrow MUSE

出典：

圧縮対象走査線数 : 648本
原始サンプリング周波数 : 40.095MHz
伝送サンプリング周波数 : 19.44MHz
ベースバンド帯域幅 : 4.86MHz (-6dB)

Narrow MUSEは占有帯域が6MHzであるという条件のみを満たした一番NTSCとの互換性を軽視し、一番ADTVの中で高画質なシステムである。最初にデジタル化する際のサンプリング周波数が40.095MHzであり、圧縮前に1125(有効走査線数1035本)→750本(同690本)の走査線数変換があるほか、音声の映像への多重化のシンボルレートが7.29MbaudとなっているなどBS向けのMUSEとは微妙な違いが存在している。そして電波発射時の変調には標準テレビジョン放送との相互干渉を防ぐために単純なVSB-AM変調を採用せず、750kHzまでの低域はVSB-AM、高域はSSB変調を行うという特殊な変調方式が採用された。

MUSE-6, MUSE-9

出典：

NTSC Compartible MUSE-6は既に広範に普及している標準テレビジョン放送受像機で受信・受像できる一方で、対応のテレビで受信した場合は約2倍の静止画解像度をもたらす、という方式である。画面アスペクト比の4:3から16:9への変更には、中心部と画面端の画質差を防ぐためにサイドピクチャー方式ではなくワイドクリアビジョンのようにレターボックス方式を採用した。圧縮元の映像が順次走査525本(有効走査線本数480本)、放送時飛び越し走査360本のワイドクリアビジョンと違い、MUSE-6は飛び越し走査750本(同690本)の映像を圧縮、飛び越し走査345本で放送している。走査線数を半分にした結果失われるはずだった情報は、レターボックス方式を採用することによって生まれた黒帯に圧縮して格納される。この分離法として加減算法とSSKF(Symmetric Short Kernel Filter)を用いられた方式とが検討された。入力された映像が静止画の場合は7.7MHzまでの情報を周波数領域で4分割し、3.9～7.7MHzの分を1.9～4.2MHzに周波数をずらして2フレームオフセット変調多重で多重化・格納される。一方で音声は2チャンネルまでのみMUSE-EのAモード同様にDANCE方式で圧縮・3値化されるが、1フレームあたり1170ビットであり、多重化区間は垂直帰線区間ではなく水平帰線区間に格納される。MUSE-9はMUSE-6の拡張であり、MUSE-6では格納しきれなかった動画の高い周波数成分の情報や、AモードとBモードとの差分高音質化信号、Aモードのサラウンド化のための追加2チャンネル音声が追加チャンネルによって送信される。この追加チャンネルは主チャンネルであるMUSE-6が使っている帯域と地続きであっても、離れて別の送信機を使っていても構わない。