浸水・道路冠水予測モデル作成

1 metadata. センサ一覧表（地点、高さ、センサID，メッシュコード）

• デバイスリスト
• さいたま市
• 鎌ケ谷市
• 睦沢太陽光発電所
• 関電工・横浜市

2 metadata. 降雨データの準備のためメッシュコードの一覧表を作成する（センサ追加時のみ）

1. RDFにて自動的に作成するためのメッシュコードの出力
2. tsvファイル：データ，
3. logファイル：日毎のデータ数(1日のデータ数は全てあるなら1440)と降雨，

• センサを選ぶため,受信データから，冠水＝有，無線信頼度＝高，を選ぶ。センサのデータベース＝arearain Advan

水検知記録の出力：どこで浸水があったか

1. 個別センサの水検知記録(センサID入力)
2. 年度別 個別センサの水検知記録(センサID入力)
3. 2021年度以前 水検知記録(センサID入力)

無線信頼度の出力：水検知記録は信頼できるか。浸水を見逃している可能性はないか

1. 無線信頼度(センサID入力)
2. 年度別 無線信頼度(センサID入力)
3. 無線信頼度(センサID入力)月別表示
4. 無線信頼度(センサID入力)月別表示csv出力

〇4. 有効降雨データの作成（使用データ：rain, sensor）

• センサIDを入力し，対応する全時刻の降雨データをRDFサーバから取得*して地点の降雨（降雨生データ, "rain_デバイスid_raw.tsv"）を作成する
  （*サーバ内にある場合は改めて取得しない）
• 浸水を検知すべき降雨があってもセンサが浸水を検知できない冠水中の時刻*を無効として降雨強度値を9999に置換する
  （*センサが浸水を検知した後から浸水の消滅を検知するまで）
  
• センサ観測値はDBから取得する
• 主信号受信時刻を降雨時刻に合わせるときの補正値は150秒
• データ量が大きいので作成した降雨データ（"rain_デバイスid_mask.tsv"）はサーバ内に蓄積する

1. 降雨データの作成(センサID入力)

〇5. 同一地点センサによるスクリーニング:観測時刻の異常を発見するための情報を作成する（使用データ：複数sensor）

• 同一地点のセンサ観測値をDBから取得し，被検証センサの水検知時刻毎に低位置→高位置の水検知順の有無を調べ，異常値を除外するための資料を作成する
• 出力ファイル：サーバ内　"デバイスID_screening_sensor.tsv"

1. 水検知日時のリストと同一地点の水検知状況(センサID入力)

〇6. 水検知記録から正例候補の異常値を除外する（使用データ：[4]降雨生データ（raw）& [5]"デバイスID_screening_sensor.tsv"）

• 降雨(各水検知時刻の直前60分間の降雨強度[mm/h])と同一センサとの照合により異常データを排除する
• 主信号受信時刻を降雨時刻に合わせるときの補正値は150秒
• 異常値排除後の結果（"valid_records.tsv"）はダウンロード。
• 結果の時刻は主信号受信時刻（同一地点センサの評価ファイル（"デバイスID_screening_sensor.tsv"）と同じ）
• (*改修予定)直前降雨が極めて少ない，かつ，同一地点センサで観測されていない水検知記録を自動的に教師データから除外する

1. 水検知記録を表示して目視で異常値を排除する

7.教師データを生成する

• デバイスIDを指定して降雨ファイルを呼び出し，6.でダウンロードした正例をアップロードし，閾値と説明変数を指定する,*期間を設定
• 主信号受信時刻を降雨時刻に合わせるときの補正値は150秒
• 出力ファイルはデバイスID_training_data.tsv（ダウンロード）
• （教師データから予測結果をひとまとまりの降雨毎に降雨とともにグラフ化）
• （正例数から説明変数の設計(自動化検討中.閾値・期間によってデータ数が変わる)）
*正例数：最尤推定の信頼度。閾値：除外期間を除いたデータ数の分布状態（最低降雨強度１～１０ミリ） *説明変数に用いる直前降雨数，事前降雨の数と長さを変化させる

• (全てを10分降雨として偏回帰係数を算出することが可能)

1. 教師データ("valid_records.csv"をアップロード)
計算結果ファイル名の表示とダウンロード
グリッドサーチ

8. 教師データから偏回帰係数を算出する

• 全期間の10分降雨に対する特性を把握する，特定期間を教師データ・別の期間をテストデータとする実験が可能
• 道路冠水予測システムに組み込む偏回帰係数を出力する
• 出力：偏回帰係数
• 教師データから偏回帰係数を作成（教師データをアップロード）

8.1 全期間に対する交差検証

• 出力：偏回帰係数，予測値，交差検証評価
• 教師データに対する交差検証（教師データをアップロード）

9. ひとまとまりの降雨に対する連続的な解析

9.1 ひとまとまりの降雨データを作成する

• 使用データ：[4]の降雨(生)"rain_デバイスid_raw.tsv" & [6]の結果の異常値除外受信時刻"valid_records.tsv", sensor-DB）
• 主信号受信時刻を降雨時刻に合わせるときの補正値は150秒
• 教師データと同じ説明変数であること，同じ閾値
• 閾値以上の降雨の60分前から無降雨までの連続する降雨のデータを作成する

9.2 予測値を算出する

• 偏回帰係数を作成するための教師データを指定し,連続する時刻のデータに対して予測値を出力する
• 教師データ用ファイルと，予測したい降雨データファイルを圧縮したファイルをアップロードする
• 教師データ用ファイルと降雨データファイルの説明変数は一致させること
• 出力結果：
1. 降雨毎の各時刻の説明変数と真値と予測値
2. その可視化（時刻に対する降雨強度と予測値の変化）
3. 全降雨に対する評価：真陽性率，偽陰性率とROC曲線
• 連続時間データに対する予測を実施する

10.その他

• 緯度経度からメッシュコード
  センサの計算による緯度経度出力
  センサの主・副信号調査
  センサの検知実績調査
  センサの検知実績出力
  統計的な有用性の評価
  

新エリアレインにデータ投入

旧

3. 月毎の降雨データを生成する(方法１)

1. 日毎の降雨データの存在を確認する
2. 日毎の降雨データを月毎に処理する
　　　センサ地点のメッシュコードを入力し，センサ設置期間（＋事前降雨に必要な期間）の月毎の降雨データを生成する。
1. tsvファイル：データ，
2. logファイル：日毎のデータ数(1日のデータ数は全てあるなら1440)と降雨，
3. infoファイル：使用サーバと最低降雨の指定値

4. センサデータと降雨データを日毎に並べるための情報の出力

　　　降雨連結リストに複数のセンサの検知を追記できるよう連続日データを出力する
1. 降雨
1. 降雨データの表示
2. センサデータ:バラバラな日付を連続日のCSVダウンロード（2.の結果を利用する）
　(参考)センサデータ:バラバラな日付を連続日で画面に表示する（2.の結果を利用する）

5. 水検知直前（水検知時刻を含む60分間）の降雨(参考)

• 水検知直前降雨の出力
  
　　　降雨≒冠水を確認し，降雨が無いのに冠水（異常データ）をセンサ記録から排除することができるが， 直前降雨の無い水検知記録は自動的に教師データに使用されない 欠測は除去され，教師データに対して連続する無効期間とされる。

3. 月毎の降雨データを生成する(方法2)

（SSHでログインできる場合にはこちらで複数の年月をまとめて生成できる）
Login: arearain.sakura.ne.jp, cd /home/arearain/www/public/rain_script,
(sample)
php xrain_longterm_args.php 53402660 2024-08-01 2024-08-03
（nohup -- & でも）
(--->) 53402660.tsv
受信信号からセンサ位置のGeoJson出力


area-rain/public/