衛星ビッグデータからの知識発見を可能とするインタラクティブ統計分析手法の開発

项目来源

日本学术振兴会基金(JSPS)

项目主持人

佐藤 彰洋

项目受资助机构

横浜市立大学

项目编号

24K14859

立项年度

2024

立项时间

未公开

项目级别

国家级

研究期限

未知 / 未知

受资助金额

4680000.00日元

学科

統計科学関連

学科代码

未公开

基金类别

基盤研究(C)

关键词

衛星ビッグデータ ; メッシュ統計 ; データサイエンス ; ハイパースペクトルメータ ; 持続可能性 ; ハイパースペクトルメーター ;

参与者

未公开

参与机构

横浜市立大学,データサイエンス研究科

项目标书摘要:2024年度~2025年度にわたり、HISUIビッグデータから空間分解能の異なるメッシュ統計を作成し、インタラクティブに可視化を行うことができるWebデータアプリケーションをMESHSTATS上に開発し、探索的にスペクトルの特徴を有する場所を探し出すことを実施内容として計画している。この研究実施計画目標に対して、HISUIハイパースペクトルデータの収集、メッシュ統計化作業の自動化、搭載したメッシュ統計の可視化アプリケーションの構築を当初予定どおりおこなった。更に、開発したインタラクティブ分析基盤を用いることにより、日本とマダガスカルにおけるHISUIハイパースペクトルデータの収集(2,233シーン)を行い、反射率のスペクトル形状の空間特性をJAXA高解像度土地利用図および、OpenStreetMap地図により目視で確認した。この作業を通じて、特徴的なパターンを分類する作業を開始している。一部抜き取りのプレサンプリングデータによる分施ににより、スペクトルの特徴を捉えるための方法をスペクトルの形状、および、赤外線領域における特徴的なバンドと場所から特定し、次のステージで集中的に研究すべき場所とその特徴を検討している。以上の研究実施状況から、本研究実施内容は、当初の研究計画に従っており、順調に進展していると判断する。多額の国費を投じ得られた地球観測衛星データを元データとして、地球上で生じる未だ気が付かれていない隠された現象の理解に迫ることを本研究の目的として、2024年度は、Tellusから公開されダウンロード可能なHISUIハイパースペクトルメータで観測される赤外線領域(900nm~2500nm)の地球観測スペクトルデータを有効に活用することができるインタラクティブな可視化・分析基盤の開発(第1期)を行った。収集したハイパースペクトルデータをもとに、3次メッシュ(1kmメッシュ)、4次メッシュ(500mメッシュ)の185チャンネル(400nm~2500nm)反射率メッシュ統計を並列計算プログラムを作成して計算可能とした。更に、生成した185バンド反射率メッシュ統計(平均値、最大値、最小値、標準偏差)を、MESHSTATS for Research上でAPI経由で取得できる状態とした。このWebAPIを用いてブラウザで作動するMESHSTATS for Researchアプリケーションを作成し、インタラクティブに場所を選択してハイパースペクトルメッシュ統計を3次メッシュ、4次メッシュの空間分解能で可視化できる状態となった。メッシュ統計による反射率の空間特性分析から、水上、森林、都市部などで特徴的なスペクトル形状が確認できた。特に都市部においては、近赤外光の強い反射が確認でき、都市から排出される熱に関係しているものがスペクトルから推測できることが判明した。2024年度で計2,233シーンのHISUIハイパースペクトル元データを日本周辺とマダガスカル島周辺でTellusから収集した。さらに、本研究内容について、2024年度統計関連学会連合大会、IEEEBigData2024で発表し、日本国内の研究者および海外との研究者(NASA,NOAA)との間で情報交流を行った。HISUIハイパースペクトルデータは20km×40kmm、空間分解能20m~30m、185チャンネルで約1.4GBと大きなファイルサイズを有している。そのため、クラウド上に大量の元データを保存すると大量のクラウド資源を消費してしまい、ストレージ費用が高価となるという課題がある。1,200シーンの元データ収集で1TBを超えるファイルサイズとなることが2024年度の研究により判明した。更に、2024年度の研究実施中にTellusからのファイル自動ダウンロードを行っていたところ、アクセスが停止され解除されるまで約4カ月間元データの収集ができなくなるという問題に直面した。元データを全地球規模で収集することは費用面やシステムへのアクセス性から現実的ではないため、調査エリアを絞り、課題設定が存在する領域として、日本とマダガスカルを選択してメッシュ統計化プロダクトの作成とその分析に集中して取り組む。また、スペクトル形状をメッシュレベルで評価することにより、場所の分類を行う統計数理的手法の開発を行い、スペクトル形状から自動的に場所の特徴を把握する手法の開発を目指す。AI拡張分析技術の開発をすすめることにより、スペクトル形状から自動的に場所特徴を把握する定量化手法を発展させることで、技術開発を進める予定である。Reason:2024年度~2025年度にわたり、HISUIビッグデータから空間分解能の異なるメッシュ統計を作成し、インタラクティブに可視化を行うことができるWebデータアプリケーションをMESHSTATS上に開発し、探索的にスペクトルの特徴を有する場所を探し出すことを実施内容として計画している。この研究実施計画目標に対して、HISUIハイパースペクトルデータの収集、メッシュ統計化作業の自動化、搭載したメッシュ統計の可視化アプリケーションの構築を当初予定どおりおこなった。更に、開発したインタラクティブ分析基盤を用いることにより、日本とマダガスカルにおけるHISUIハイパースペクトルデータの収集(2,233シーン)を行い、反射率のスペクトル形状の空間特性をJAXA高解像度土地利用図および、OpenStreetMap地図により目視で確認した。この作業を通じて、特徴的なパターンを分類する作業を開始している。一部抜き取りのプレサンプリングデータによる分施ににより、スペクトルの特徴を捉えるための方法をスペクトルの形状、および、赤外線領域における特徴的なバンドと場所から特定し、次のステージで集中的に研究すべき場所とその特徴を検討している。以上の研究実施状況から、本研究実施内容は、当初の研究計画に従っており、順調に進展していると判断する。Outline of Research at the Start:本研究では、地球規模で発生する、人間社会、自然、経済活動に関する様々な活動のうち人間が視覚的に認知できないために気が付かれていない現象の発見を多チャンネル衛星ビッグデータをインタラクティブに分析できる技術開発と分析装置を建設しながら順次行う。特に、ハイパースペクトルメータ(HISUI)により観測された多チャンネル地球観測ビッグデータを利用し、世界メッシュ統計分析技術を発展させながら実行する。

  • 排序方式:
  • 1
  • /
  • 1.Adaptive Segmentation and Statistical Analysis for Multivariate Big Data Forecasting

    • 关键词:
    • Big data;Budget control;Complex networks;Computational complexity;Finance;Higher order statistics;Image segmentation;Multivariant analysis;Predictive analytics;Time series ;Time series analysis;Big data analytic;Data analytics;Data optimization;High fluctuation;High volumes;Multivariate time series;Predictive models;Recursive window segmentation;Univariate;Univariate time series
    • Fomo, Desmond;Sato, Aki-Hiro
    • 《Big Data and Cognitive Computing》
    • 2025年
    • 9卷
    • 11期
    • 期刊

    Forecasting high-volume, univariate, and multivariate longitudinal data streams is a critical challenge in Big Data systems, especially with constrained computational resources and pronounced data variability. However, existing approaches often neglect multivariate statistical complexity (e.g., covariance, skewness, kurtosis) of multivariate time series or rely on recency-only windowing that discards informative historical fluctuation patterns, limiting robustness under strict resource budgets. This work makes two core contributions to big data forecasting. First, we establish a formal, multi-dimensional framework for quantifying "data bigness" across statistical, computational, and algorithmic complexities, providing a rigorous foundation for analyzing resource-constrained problems. Second, guided by this framework, we extend and validate the Adaptive High-Fluctuation Recursive Segmentation (AHFRS) algorithm for multivariate time series. By incorporating higher-order statistics such as covariance, skewness, and kurtosis, AHFRS improves predictive accuracy under strict computational budgets. We validate the approach in two stages. First, a real-world case study on a univariate Bitcoin time series provides a practical stress test using a Long Short-Term Memory (LSTM) network as a robust baseline. This validation reveals a significant increase in forecasting robustness, with our method reducing the Root Mean Squared Error (RMSE) by more than 76% in a challenging scenario. Second, its generalizability is established on synthetic multivariate data sets in Finance, Retail, and Healthcare using standard statistical models. Across domains, AHFRS consistently outperforms baselines; in our multivariate Finance simulation, RMSE decreases by up to 62.5% in Finance and Mean Absolute Percentage Error (MAPE) drops by more than 10 percentage points in Healthcare. These results demonstrate that the proposed framework and AHFRS advances the theoretical modeling of data complexity and the design of adaptive, resource-efficient forecasting pipelines for real-world, high-volume data ecosystems. © 2025 by the authors.

    ...
  • 2.Spatial Big Data Infrastructure for the Japanese Hyper-spectral Imager SUIte (HISUI) based on World Grid Square Statistics

    • 关键词:
    • Mesh generation;Metadata;Spectrum analyzers;Steganography;Tropics;Data infrastructure;Descriptive statistics;Hyper spectral sattelite data;Hyper-spectral imager SUIte;HyperSpectral;MESHSTATS;Sattelite;Spectral imagers;World grid square statistic
    • Sato, Aki-Hiro
    • 《2024 IEEE International Conference on Big Data, BigData 2024》
    • 2024年
    • December 15, 2024 - December 18, 2024
    • Washington, DC, United states
    • 会议

    This study proposes a framework to manage HISUI data (spatiotemporal and spectral big data) as spatial statistics regarding time and spectrum. This study focuses on spatial Big Data infrastructure for developing and deploying interactive Web data applications of HISUI hyperspectral data from a constructive point of view.The study aims to construct a system for spatiotemporal spectrum analysis and visualization based on the proposed technique. Such a spatial Big Data infrastructure assists in developing algorithms that enable users to interactively analyze, classify, and detect temporal changes on the Earth's surface. As a result, users can conduct statistical analysis of spatio-temporal and spectral characteristics on hyperspectral images.The World Grid Square statistics on descriptive statistics of reflectances for each band are produced by parallel computation with high-speed calculation methods and provided via Web API on MESHSTATS. The response is formatted as CSV with World Grid Square code, sample size, and descriptive statistics selected by type for 185 bands.The proposed method enables users to analyze hyperspectral satellite data captured as multi-channel raster data with different observation directions, times, and weather conditions by converted into Grid Square statistics. It is concluded that our data analytics platform enables users to conduct analysis on Grid Square statistics about HISUI hyperspectral satellite data with statistical significance. © 2024 IEEE.

    ...
  • 排序方式:
  • 1
  • /