LFM

LFM(Leniar Filtering Method)とは、データの成分分解法を採用したデータ構造である FAST構造を処理するアルゴリズム群(特許取得済み)の総称。

従来のレコード単位処理に対し、全く新たな概念「ファイル単位一括オンメモリー処理」を実現し、 64ビット、メモリー大容量化、マルチコア、超並列時代に適合したデータ超高速並列処理技術である。

特徴

  • PC(マルチコア)からサーバSMPマルチコアCELLパラレルコンピュータに適用可能
  • 数百行小規模データから大規模約21億行(32ビット行カウンタ)まで、普遍的、統一的に処理
  • 世界で初めて、プログラミングインデペンデントでデータ処理の並列化を実現
  • 大規模テーブル(表)データを、ビジュアル、インタラクティブに高速に処理
  • ソート、ジョイン、検索、抽出、集計、計算、等々各種データ加工処理を関数化して一括処理
  • 中間ファイル用Disc不要;高コストのDiscドライブを大幅に削減(1/20~1/100)
  • バッチ処理時間の大幅短縮によりCPU数、システム運用コストの大幅削減実現

性能値

6種のFASTがあると公表されている。

FASTモデル(表形式)
種別 モデル プリセッサコア数(SPU数) テーブル最大行数 性能指標
SMP&マルチコア 1/3MS 2,8,64 21億 2-40
Parallel 3/5 64、2の20乗 21億 1200-400000
CELL 3/5MS 64、72 21億 100-300
  • 1億行のテーブル(値は1億通り)をソートするのに40秒掛かる時に‘1’となる
  • FASTモデル(ツリー系)の 2/4MS,4/6,4/6MSに関しては、性能値未発表

参考文献

  • 汎用超高速データベース処理技術
  • 超高速DBアルゴリズムの超並列環境下のシミュレータ開発
  • 表示
  • 編集