FactDecode | 市場データの重複処理と品質表示を改善

市場データの重複処理を改善

FactDecodeでは、Twelve Dataから取得する日足の市場データについて、同じ日付に複数の価格データが含まれる場合の処理を改善しました。

これまでは、同じ日付に異なる終値が含まれていると、その日付以降の正常なデータも含めて、データセット全体を更新できない場合がありました。

今回の改善では、完全に一致する重複データは1件に整理し、終値が食い違う場合は、どちらかを恣意的に採用するのではなく、該当する日付のデータを除外します。

これにより、一部の日付に不整合が残っていても、品質基準を満たす新しい観測データを取り込めるようになりました。

不整合のある日付は、無制限に除外できるわけではありません。

除外できるのは、最大5日、かつ取得対象の観測日数の0.5%以下という条件を両方満たす場合に限られます。

さらに、データの取得範囲や必要な観測数など、従来からの品質チェックも引き続き適用されます。

基準を満たさない場合は更新を採用せず、それまで利用可能だったデータセットを保持します。

また、データ提供元で不整合が修正された場合は、修正後のデータを検証したうえで、除外していた日付を再び取り込むことができます。

データ詳細画面、データの更新結果、分析実行前の確認画面で、品質上の理由により除外された日付や、その件数などを確認できるようにしました。

これにより、データセットがどのような状態で更新されたのか、どの日付までの観測データが採用されているのかを把握しやすくなります。

一部の日付を除外して更新した場合も、その事実を品質情報として表示します。

今回の変更は、データ取得時の品質判定と情報表示を改善するものであり、FactorやTargetの分析計算式は変更していません。

品質上の理由で除外された日付には、架空の市場価格を補完せず、残りの観測データを従来の計算方法で処理します。

そのため、除外された日付がある場合、隣接する観測データ間の暦日上の間隔が通常より長くなることがあります。

なお、すでに保存されているデータセットのバージョンや過去の分析結果は書き換えられません。

FactDecodeでデータセットを開くと、データ詳細や更新結果から、最新の観測データと品質情報を確認できます。