昨年末、気象庁が5分間隔で解析し一般に有償で配信している「高解像度降水ナウキャスト」という250mメッシュの精度で30分後までの降水予測データと、1Kmメッシュで35分後から60分後までの予測データを、Webシステムで表示可能な画像データに変換する業務があったので、今回はその概要と要点を紹介します。
[
気象庁の高解像度降水ナウキャストが地図上で閲覧できるWebページ]
【1】高解像度降水ナウキャストとは?
高解像度降水ナウキャストとは、気象庁が提供している日本全域を250m四方単位の解像度で5分間隔で30分後までの降水予測と、35分〜60分後までの1Km四方単位の降水予測データのことを言います。このデータは気象庁の外郭組織である気象業務予測センターから5分間隔で有償で即時配信され、放送局や各自治体や防災組織に配信されています。
数年前までは1Km四方単位のみをサポートする「降水ナウキャスト」データしか配信されていませんでしたが、現在では日本のほぼ全域がこの「高解像度降水ナウキャスト」のサポートエリアとなり、全国で250m四方単位の解像度で降水予測できるようになりました。
【2】高解像度降水ナウキャストのデータフォーマットについて
高解像度降水ナウキャストデータのデータフォーマットは'GRIB2'という一般の方にはあまり聞きなれない形式のデータフォーマットで配信されています。
'GRIB2'というフォーマットは国際気象機関が定めるフォーマットで、英語記述では(GRIdded Binary or General Regularly-distributed Information in Binary form[1])となり、2003年からEdition2のGRIB2が国際標準のグリッドデータフォーマットとなっています。
もっとわかりやすく言えば地球の表面のある地域を緯度、経度の単位でグリッド(格子)化し、そのグリッド(格子)単位にさまざまな値(あたい)を格納した国際標準のデータ形式と言えるでしょう。
【3】高解像度降水ナウキャストデータの取得方法
このデータの取得方法は通信形態、通信方法によって数種類ありますが今回は気象業務予測センター側から弊社のグローバルIPを付加したFTPサーバへインターネット経由で配信してもらう仕様としました。
FTP受信サーバ側がデータ受信時のイベントの検知さえ行えば、最速で'GRIB2'データの加工処理を行えると考えた為です。
【4】高解像度降水ナウキャストデータ受信の検知処理
弊社に設置したFTPサーバには気象業務予測センターから5分間隔でデータが配信されてきます。そのデータを受信したタイミングでただちにデータ加工処理が行えるよう、受信用のLinuxサーバに'Logmon'というFTPデータ受信イベント検知処理をインストールし、データ受信後すぐに処理を行えるようにしました。
【5】'GRIB2'データからWeb上の地図で表示できる画像データに変換するまでのプロセス 配信されてきた'GRIB2'データを気象庁のサイトの様にWeb上の地図で見えるようにする為には次の様な加工プロセスが必要となりました。
(1) 変換対称エリア抽出作業
受信した日本全域の高解像度降水ナウキャストデータ(GRIB2フォーマット)から、Web表示対象エリアを抽出し、XYZ形式のファイルに書き出します。
(注)
|
XYZ形式ファイル:X,Yが地球上の緯度,経度。Zが標高や降雨量等様々な値を取るCSV形式に似たテキストファイル。
|
(2) データ補完作業
この作業をやってみて初めて解かったのですが、配信される'GRIB2'のグリッドの緯度及び経度情報は、単精度の浮動小数ですので、少数点以下が丸められて変動します。
この為、抽出されたXYZ形式ファイル情報は途中でデータ飛びが発生します。
そのデータ飛びを補完する為に、XYZ形式ファイルにデータ抜け等があれば、それを補完したXYZファイルを生成する作業を行います。
(3) XYZ形式ファイル -> GRDバイナリ形式ファイル変換
XYZ形式ファイルから、画像ファイル生成の前段階のバイナリ形式のGRDフォーマットのファイルを生成します。
XYZ形式ファイルから直接GDAL(グーダル)ツール等を使用して,画像ファイルを生成されている方もたくさんいらっしゃると思われますが、この方法では処理時間がかかり過ぎてとても5分間隔では処理し切れないことが判明しいろいろ試した結果、一旦GRDと いうバイナリ形式のグリッドフォーマットに変換してから画像変換した方が時間が圧倒的に処理が短縮できるということが解り、この方式を採用しました。
(注)
|
GRDフォーマットファイル:GISシステム等で使用される地図用のグリッドデータとラスターデータ(画像データ)との情報互換用のフォーマット。バイナリ形式とアスキーテキスト形式がある。
|
(4) GRDバイナリ形式ファイル -> GeoTiff形式画像ファイル変換
ここでやっとGISやWebGIS上に表示できるGeoTiff形式画像ファイルへ変換されます。
【6】所要時間
5分間隔で送られてくる'GRIB2'データで、しかもそのひとつのファイルには250m四方の解像度の予測データが5分間隔で6通り,1KM四方解像度の予測データ6通り格納されていますから、上記の変換プロセスを計12回繰り返す必要があります。
また、1KMメッシュの場合と250mメッシュの場合では、そのデータ密度が4x4=8倍の密度差があります。最終的に試行錯誤の結果、関東地方の国土地理院一次メッシュエリアの領域で、約1分20秒の変換時間で画像変換までの処理を行うことが可能となりました。
【7】使用した変換ツール群
(1) wgrib2
GRIB2フォーマットからXYZ形式ファイルを抽出する為に使用します。
Windows用とLinux用があります。Climate Prediction Center サイトから入手できます。
・ダウンロードサイト[
Climate Prediction Center]
(2) GMT
GMTはハワイ大学が開発した、地理的データを描画するためのフリーソフト群です。
XYZ形式データからGRDバイナリ生成等、非常に高速に動作するので、この処理にはなくてはならないツールでした。
・ダウンロードサイト[
THE GENERIC MAPPING TOOLS]
(3) GDAL tools(グーダル ツールズ)
GIS等を日ごろ使用している方はご存知と思われますが、地図情報画像(GeoTiff等)を生成や変換する場合に使用する最も有名なツールです。
・ダウンロードサイト[
GDAL - Geospatial Data Abstraction Library]