Augmentierte Notizbücher und Natürliche Interaktion – Unterstützung der Kulturtechnik Handschrift in einer digitalen Forschungswelt

In diesem Beitrag stellen wir ein laufendes Projekt vor, dass sich mit der Erweiterung analoger Notizbücher (Stift / Papier) um digitale Features, bspw. eine Volltextsuche oder eine Verlinkung unterschiedlicher Einträge, beschäftigt. Dabei steht eine intuitive und natürliche Interaktion im Vordergrund, die über Augmented Reality umgesetzt werden soll. Zusätzliche digitale Features werden so im analogen Notizbuch einfach überlagert. Die Interaktion erfolgt mit einem gewöhnlichen Stift, dessen Bewegung getrackt und automatisch erkannt wird. Mit diesem technischen Ansatz können einerseits Stiftgesten erkannt werden (bspw. um eine Verlinkung anzulegen). Andererseits kann so über die Stiftbewegung eine Handschriftenerkennung erfolgen, die eine automatische Digitalisierung der Notizen und damit bspw. eine Volltextsuche ermöglicht. Wir stellen in diesem Beitrag das Konzept augmentierter Notizbücher vor und berichten von ersten Erkenntnissen im Bereich der Erkennung von Stiftbewegungen mithilfe von Deep Learning-Verfahren.