正か負かの2択しかないので、1bitだけで表せます。約束として「0=+、1=−」と決まっています。
指数部は0〜255の「符号なし」の数として保存されます。でも本当はマイナスの指数(小さい数)も表したいので、127を引くことで−126〜+127の範囲に変換しています。この127を「バイアス」と呼びます。
2進数を正規化すると必ず「1.〇〇×2^n」の形になり、先頭は必ず1になります。そこで先頭の1はあえて保存せず、その後ろの23bitだけを覚えれば十分——という工夫で、1bit分お得に使っています。