基本情報技術者試験「エントロピー」の問題
4種類の記号A,B,C,Dが、それぞれ確率1/2,1/4,1/8,1/8で現れる情報源がある。この情報源のエントロピー(平均情報量)は何ビットか。
ア2ビット
イ4ビットになる
ウ1.75ビット
エ3ビットと求まる
正解
ウ．1.75ビット
エントロピーは Σ P×(-log2 P)。A:1/2×1=0.5、B:1/4×2=0.5、C:1/8×3=0.375、D:1/8×3=0.375、合計1.75ビットとなり正しい。
?選択肢ごとの解説
ア ×2ビットは4記号が等確率(各1/4)としたときの log2(4) であり、確率の偏りを無視した誤りである。
イ ×4ビットは log2(記号数)を取り違えるか各情報量を単純合計した誤りで、確率による重み付けをしていない。
ウ ○エントロピーは Σ P×(-log2 P)。A:1/2×1=0.5、B:1/4×2=0.5、C:1/8×3=0.375、D:1/8×3=0.375、合計1.75ビットとなり正しい。
エ ×3ビットは最も確率の低い記号の情報量だけを取り上げた誤りで、平均ではなく一記号の値である。
✎くわしく
確率に偏りがあるとエントロピーは等確率時の最大値(この場合2ビット)より小さくなる。差はデータ圧縮の余地を表し、ハフマン符号などでこの値に近い平均符号長まで縮められる。
✓本番での押さえどころ
試験のコツ
各記号で『確率×(-log2 確率)』を計算し合計する。確率が2のべき乗の逆数なら -log2 が整数で計算しやすい。
覚え方
エントロピー=『情報量の確率による平均』。出やすい記号(情報量小)に大きな重み、と覚える。
よくある誤り
等確率と決めつけて log2(4)=2 としたり、確率を掛けずに情報量を単純合計する誤りが多い。
基礎理論の他の問題
この問題を、AIの8-ways解説つきで。
無料ではじめる →基本情報技術者試験の演習を、一問ごとに「なぜ」まで。まずは無料で。
ukamiru 過去問 · 基本情報技術者試験 · fe-a3-0111