いさぼうネット
賛助会員一覧
こんにちはゲストさん

登録情報変更(パスワード再発行)

  • rss配信いさぼうネット更新情報はこちら
 シリーズコラム 「よろずIT・ネットワーク情報」 
【第13回】 AI時代と情報エントロピーについて
 
[1]googleのロゴに知らない人の顔が?


(google 2017年11月5日 Hirotugu Akaike's 90th Birthday 記念日ロゴより)

 つい先日2017年11月5日の日曜日に自宅でgoogle検索をしようとしたところ、いつものgoogleのロゴが見慣れない人の顔になっていました。 「誰だろうこの人?」と調べてみるとなんと日本人で'Hirotugu Akaike 'という人の90歳の誕生日に敬意を表するロゴでした。
 googleは歴史上の偉人や科学に貢献した人の誕生日を記念してときどき記念日ロゴを表示しますが、私の知る限りでは今まで日本人が記念日ロゴになっているのをあまり見た記憶がありません。(日本人ではありませんが、日系移民で日本人の強制収容所送りに反対し続けた人権活動家'Fred Korematsu'の98歳の誕生日に記念日ロゴになったことがあるらしいです。)
 googleが敬意をもって記念日ロゴにしたその日本人'Hirotugu Akaike'氏を、恥ずかしながら私は知りませんでした。

 Wikipediaで調べてみると、

赤池 弘次(あかいけ ひろつぐ、1927年11月5日 - 2009年8月4日)は、静岡県出身の、日本の数理統計学者。1970年代に確立した赤池情報量規準(AIC)で知られる。
(Wikipediaより)

と記されていました。

「まてよ、'赤池'?、どっかで聞いたことがあるな、ああ、'最大エントロピー法'や!」と叫んだ瞬間、遥か昔の三十数年前の記憶が脳裏に蘇ってきました。

[2]パチンコのスペクトル解析に挑戦する

 今から三十数年前、東京の大学の文学部を中退した私は郷里の金沢へ帰ってコンピュータ専門学校に通っていました。 午前中は専門学校で授業を受け、午後からは不謹慎きわまりないことですが、毎日パチンコ屋へ通っていました。 パチンコ専用の通帳を作り、出る台と出ない台を一日パチンコをせずにチェックし、出ない台には絶対に座らないというルールを自分自身に課し、平均勝率は6割8分で収入は月平均で約8万円程あったと記憶しています。
 その当時のパチンコは今のような確率変動やいろんな仕掛けがあるものと違い'スリーセブン'という玉が入るとデジタルの数字3個がクルクル回り、'777'が出ると大当たりという大変シンプルなものでした。
 そうこうするうちに、毎月購読していたCQ出版の「インターフェース」という月刊誌のスペクトル解析の特集に興味を持ち、掲載されていたスペクトル解析プログラムのソースコードを自分のマイコン(その当時はPCをそう呼んでいました)に入力し、パチンコ屋でこっそりメモした256組の3個の数字のデータを入力して、スペクトル解析をし始めました。
 その時使用したスペクトル解析法が2種類ありまして、ひとつFFT(ファストフーリエ変換)でもう一つがMEM(Maximam Entropy Method:最大エントロピー法)でした。
 その解析結果はどちらの解析法を使用しても見事に4本の周波数スペクトルピークがきれいに立ち、逆フーリエ変換で波形再現もできました。 しかし現在の様に位相限定相関法(※)はまだ考案されていなかったので、パチンコ台についてからあと何回回せば大当たりになるかの予測はさすがにできませんでした。 (今なら当時のパチンコ台はスマホで簡単に予測できるはずです。)

(※)位相限定相関法(POC : Phase Only Correlation)
スペクトル解析時の位相スペクトルを用いて位相マッチングをする方法。
画像のパターンマッチングやカメラのオートフォーカス等に使用されている。

[3]最大エントロピー法(MEM)との出会い
 
 大変不謹慎ながら、パチンコのスペクトル解析の例を述べさせていただきましたが、この時初めて「最大エントロピー法」なる不思議な名前のスペクトル解析法と出会いました。 その原理解説も一応読んでは見たのですが、FFTでは解析可能なスペクトル周波数は観測データ周期の1/2に限定されるのに対して、MEMでは観測周期よりも長い波長のスペクトルまで検出できるという、ある種神業のような解析法に驚くのと同時にこれを考案したBurg(1967年に提案)とその2年後に赤池先生により考案された自己回帰モデルによる方法の説明を読んでもチンプンカンプンで、ただただ「こんな凄いものを日本人も考案していたんだ!」と妙に嬉しくなって興奮していた記憶があります。 (恥ずかしながら、この頃の私は赤池(アカイケ)さんのことを'アカチ'と呼んでいました)。

[4]瓢箪から駒(パチンコ解析からアルミ圧延解析へ)

 パチンコのスペクトル解析から約8年後、既にコンピュータエンジニアとしてソフトウェア会社に勤務していた頃、アルミ圧延工場の研究所から熱圧延のX線測定結果のモニタリングとそのスペクトル解析の仕事が舞い込んできました。 熱した大きなアルミの板を巨大なローラーで加重をかけて何回も平たく伸ばすのですが、最初は断面が真円に近かった巨大なローラーも何十回、何百回と圧力をかけて回るうちに徐々に楕円形に変形し、交換しなければならなくなります。 ローラーが変形してくるとX線測定器での圧延されたアルミ板の測定結果もローラーの円周周期で変動が出始めます。 この変形具合をアルミ板の厚みの測定データからスペクトル解析法を使用して検知するというのが自分のミッションでした。
 この時驚いたのが研究所のスタッフから要求仕様をインタビューしているときにそのスタッフが参考にするように私に示した文献が8年前にパチンコ解析で参考にしたCQ出版の「インターフェース」の特集記事をまとめた本そのものだったことです。
 もうひとつ驚いたのが、前述のFFTとMEMの解析方法の違いによる測定結果の特性の違いです。 FFTはパワー(振幅)は正しくでるのですが、周波数は少しズレが生じます。 MEMのほうはパワーはいい加減ですが周波数は非常に鋭くでました。 結果として両者をミックスしてシステムを完成させたと記憶しております。

[5]最大エントロピー法について

 私もつい最近まで名前は知っていてもその原理までは知りませんでした。 そこでにわか勉強ながら、少し勉強してみました。

「情報理論に於いて」

(1)情報量とは

・貴重な情報 → 情報量が多い
・当たり前の常用 → 情報量が少ない
・発生確率と情報量は反比例する。

(2)自己情報量とは?([]は底を表します)

・自己情報量 = -log[2]発生確率
・単位はbit
・超音波診断できない赤ちゃんが男で生まれる自己情報量は
   -log[2](1/2) = 1(bit)
・超音波診断できない赤ちゃんが女で生まれる自己情報量は同じく
   -log[2](1/2) = 1(bit)
・既に亡くなった人が明日会社に出勤しない自己情報量は
   -log[2](1) = 0
・既に亡くなった人が明日会社に出勤する自己情報量は
   -log[2](0) = ∞

(3)平均情報量

・ある事象系でその各々の事象は互いに排反でその生起確率の和が1の場合

 平均情報量 = -Σ[i=1→n]生起確率[i] x log[2]生起確率[i]

・n個の事象の発生確率がすべて1/n の場合、平均情報量は log[2]n となり全く予想不能
・n個の事象のうち1事象の発生確率が1で他は0の場合、平均情報量は0となり意外性はなしとなる。

(4)情報エントロピー

・平均情報量のことを(情報理論に於いて)情報エントロピーと呼ぶ

(5)最大エントロピー

・ある次元の事象系で情報エントロピー(=平均情報量)が最大になる場合を求める。
 この最大エントロピー法ですが今ではスペクトル解析だけではなく、さまざまな分野で応用されています。

〜最大エントロピー法の応用分野〜
・スペクトル解析
・AIにおける機械学習
・画像復元処理(天体観測の木星や土星の画像復元等)
・文書解析(文書中の発生単語間の相関を分析し、その文書の意味を解析する)
・言語処理(機械によるより自然な言語解釈および言語組み立て)
・地震活動の解析
・ビッグデータ解析
・統計、アンケート調査の分析
・選挙予想
・株価予想
・天気予報
・その他多種

[6]Dr.AKAIKEの功績

 話を最初の赤池先生に戻しますが、赤池先生はこの最大エントロピー等を求める際に用いるn次元の多項式のモデルを決定する際の指標を世界で初めて示しました。
それが(AIC:Akaike's Information Criterion)赤池情報量規準と呼ばれる統計学の世界では非常に有名な指標だそうです。
 今や世界最大の情報量を解析する企業であるgoogleがその指標に多くの恩恵を受け、その功績に敬意を払うのも当然といえば当然のことかもしれません。

以下にそのシンプルな公式を示します。


(Wikipedia より)

[7]AI時代と情報エントロピー

 昨年あたりからマスコミ等で盛んにAI(人工知能)が報道されていますが、この情報エントロピー解析技術こそがそのAIの機械学習の基本中の基本であることはあまり一般的に知られていません。 そう言う私もその知らなかったうちの一人です。
 これを機会にもう少し深く勉強してみようと思います。

 
Copyright(C) 2002- ISABOU.NET All rights reserved.