Watermarkには“When in processing time are results materialized?”へ答えをサポートするという側面があります。 watermarkはevent-timeにおける入力の完全性に関する時間的な概念であり、 システムがイベントの進捗と完全性を測定するための方法です。
この図はチャプター1で登場した図を少し修正したものです。
赤い線が本質的にはwatermarkとなり、processing-timeの進捗に伴うevent-timeの完全性を捉えるものです。
概念的にはwatermarkは関数 F(P) → E であると考えることができます。
processing timeの点Pを入力するとevent timeの点Eが返されます。
event time Eは、システムがE未満のすべての入力を観測したと信じる事ができるという点になります。
watermarkのタイプによって確かさが異なり、厳密な保証か経験則に基づく推測になります。
Perfect watermarks
入力に対する完全な知見を持っている場合にPerfect watermarksを作成することができます。 遅延データは一切なく、すべてのデータはearlyもしくはon timeとなります。