Neu: Handschrifterkennung in gescannten/fotografierten Notizen

Bislang klappte die Handschrifterkennung in OneNote nur, wenn die Notizen innerhalb des Programms bzw. der App erfasst wurden. Eine neue OCR-Funktion erlaubt nun auch das Suchen in Bitmaps, also zum Beispiel eingescannten oder mit Office Lens fotografierten Notizzetteln – in allen OneNote-Versionen.

Es war ein Alleinstellungsmerkmal vom Konkurrenten Evernote: Das Durchsuchen von Handschriftnotizen, die zum Beispiel via Scanner als Bitmap-Grafiken in das Programm gelangt sind. Alle anderen OCR-Mechanismen, die Handschriftliches erkennen und verwerten können, waren bislang darauf angewiesen, dass die Linienzüge im Programm selbst eingegeben wurden – auch OneNote.

Der Grund ist, dass bei Nutzung der integrierten Handschrifterfassung geometrische Formen (z.B. ein Kringel/Kreis für ein „O“ oder eine Null) als Vektorgrafik gespeichert werden. Linienzüge lassen sich so wesentlich einfacher identifizieren und zuordnen. Scannt oder fotografiert man hingegen einen Notizzettel, entsteht nur ein Muster von Pixeln. Aus dem muss der OCR-Algorithmus zuerst Formen wie Bögen oder Kringel durch Vektorisierung „herauslesen“. Ein kompliziertes und fehlerträchtiges Verfahren mit gegenüber der herkömmlichen Handschrifterfassung naturgemäß deutlich schlechterer Erkennungsleistung. Meines Wissens hat sich bislang ausschließlich Evernote daran versucht – mit ganz ordentlichen Ergebnissen, die aber bei weitem nicht an die von vektorbasierter Erkennung (wie die von OneNote) heranreichen.

Bis jetzt. Ab sofort wandelt ein neuer OCR-Mechanismus auch in OneNote Bitmap-Notizen, also zum Beispiel gescannte oder fotografierte Zettel, in „Klarschrift“ um. Und zwar nicht nur in bestimmten OneNote-Versionen oder -Apps, sondern in allen. Es gibt allerdings einige wichtige Voraussetzungen und Einschränkungen:

Nur für Online-Notizbücher

Die Texterkennung und Indexierung erfolgt auf den Microsoft-Servern. Das entsprechende Notizbuch muss somit zwingend auf OneDrive liegen. Mit lokal gespeicherten Notizen funktioniert es nicht; das dürfte sich auch in Zukunft kaum ändern.

Nur per Office Lens, Mail, Webclipper oder Livescribe-Smartpen

Vorläufig müssen die Handschriftnotizen entweder via Office Lens (separate App für Android, Windows Phone oder Windows 10, nicht das im iOS-OneNote eingebaute!), als Mail über me@onenote.com, über den OneNote Clipper (natürlich nur für Handschriftnotizen, die in irgendeiner Form im Browser dargestellt werden) oder die zum gleichnamigen Smartpen gehörende Livescribe-App in der Notiz landen. Ein Bild einer (z.B. gescannten) Notiz auf anderem Weg (etwa über das Einfügen-Menü) in eine Notizseite einzubinden, startet den Erkennungsprozess nicht. Das soll sich laut Microsoft aber bald ändern.

Vorerst nur englische Texte

Bislang funktioniert das Ganze ausschließlich mit englischsprachigen Texten. Die diversen lokalen Möglichkeiten, die System- oder Erkennungssprache zu ändern (z.B. in OneNote 2013/2016 über das Kontextmenü) führen nicht zum Erfolg. Auf Nachfrage bei Microsoft sicherte man mir die Unterstützung weiterer Sprachen „demnächst“ zu. Ich nehme an, dass man dann die Erkennungssprache entweder online einstellen kann oder automatisch die genommen wird, die der installierten OneNote-Version entspricht. Was mit gemischtsprachigen Notizen (oder Notizbüchern) passiert, war nicht in Erfahrung zu bringen.

Gerade die letzte Einschränkung degradiert die Handschrifterkennung hierzulande (und in allen anderen nicht englischsprachigen Ländern) bislang zu einer reinen Technologie-Demonstration – leider.

Die Qualität der Handschrifterkennung (derzeit nur mit englischen Texten bewertbar) kommt erwartungsgemäß nicht an die „alte“, vektorbasierte Technik heran. Es liegt in der Natur der Sache, dass sie wesentlich stärker von der jeweiligen Handschrift abhängt als die Direkteingabe in OneNote via Stift. Nach ein paar Vergleichsversuchen mit Evernote würde ich beide in Sachen Erkennungsrate in etwa gleich einschätzen. Es gibt jedoch einen wesentlichen Unterschied:

In Evernote ist es nur möglich, in Handschriftnotizen nach Begriffen zu suchen – nicht aber, sie in „Maschinentext“ umzuwandeln, um sie etwa in ein anderes Programm zu übertragen. Das liegt daran, dass Evernote zu vielen Wörtern ähnliche Begriffe mit der jeweiligen Textstelle speichert. Wird zum Beispel das Wort „reichen“ erkannt, speichert Evernote „vorsichtshalber“ gleich Worte wie „riechen“, „Rechen“ oder „rechnen“ mit. Das erhöht zwar die Trefferquote auch bei schlechterer Handschrift, sorgt aber mitunter auch für „Fehlschüsse“. Außerdem wird eben kein sinnvoller, zusammenhängender Text gespeichert, der sich weiterverwenden ließe.

Anders OneNote: Wie auch bei der herkömmlichen Handschrifterkennung wird der erkannte Text (ggf. inklusive aller Fehler) mit der Notiz gespeichert. Er lässt sich daher auch problemlos in „Maschinentext“ umwandeln – zumindest mit den OneNote-Versionen, die diese Funktion anbieten (OneNote 2010-2016 für Windows, OneNote für den Mac). In anderen ist es unter Umständen auch möglich, etwa durch Markieren des handschriftlichen Abschnitts, kopieren in die Zwischenablage und Einfügen in ein anderes Programm / eine App, die nur Textformat aus dem Clipboard annimmt.

Auch wenn die vorläufigen Limitierungen (nur Englisch, kein direktes Einfügen von Scans/Fotos) den praktischen Nutzen bisher sehr stark einschränken – die Funktion ist eine echte Bereicherung für OneNote. Sobald das direkte Einbinden von gescannten oder fotografierten Notizzetteln auch ohne Office Lens oder sonstige Umwege implementiert ist, werden sich Nutzer von OneNote 2016 allerdings noch mehr über das Entfernen der direkten Scanner-Unterstützung ärgern.

Dass die neue Handschrifterkennung nur in Verbindung mit in der Cloud gespeicherten Notizbüchern angeboten wird, sollte inzwischen hingegen niemand mehr überraschen. Das ist nun mal der Weg, den Microsoft konsequent mit OneNote geht. Er wird mit Sicherheit durch die übergeordnete Firmenpolitik bestimmt und nicht durch die Ignoranz einzelner Entwickler oder Produktmanager.