基本情報技術者試験「エントロピー」の問題
16種類の記号が互いに等しい確率で現れる情報源がある。この情報源1記号あたりの平均情報量(エントロピー)は何ビットか。
ア16ビットである
イ4ビット
ウ8ビット
エおよそ1.2ビット
正解
イ．4ビット
全記号が等確率のときエントロピーは最大で log2(記号数) に等しい。記号数16なので log2(16)=log2(2^4)=4 となり4ビットが正しい。
?選択肢ごとの解説
ア ×16ビットは記号数をそのままビット数とした誤りで、対数をとる操作を行っていない。
イ ○全記号が等確率のときエントロピーは最大で log2(記号数) に等しい。記号数16なので log2(16)=log2(2^4)=4 となり4ビットが正しい。
ウ ×8ビットは1バイト=8ビットという連想による誤りで、log2(16)=4とは一致しない。
エ ×およそ1.2ビットは log10(16) など底10の対数を用いた誤りで、ビット単位は底2の対数を使う。
✎くわしく
エントロピーは各記号の情報量を確率で重み付けした平均である。すべて等確率のとき値は最大化し log2(記号数) となる。確率に偏りがあるとエントロピーはこれより小さくなる点も重要である。
✓本番での押さえどころ
試験のコツ
等確率なら平均情報量=log2(記号数)。記号数が2のべき乗ならその指数がそのまま答えになる。
覚え方
16=2^4なので4ビット。『記号を区別するのに必要な最小ビット数』が等確率時のエントロピー、と覚える。
よくある誤り
記号数をそのまま答える、または8ビット(1バイト)と混同する誤りが多い。等確率時は log2(記号数) と即断する。
基礎理論の他の問題
この問題を、AIの8-ways解説つきで。
無料ではじめる →基本情報技術者試験の演習を、一問ごとに「なぜ」まで。まずは無料で。
ukamiru 過去問 · 基本情報技術者試験 · fe-a3-0110