Haptik für die mobile AR: So verbessern Sie ARKit-Apps mit einem Gefühl für „Berührung“

Ich bin sehr gespannt auf die Zukunft der Haptik für AR und VR. Es fühlt sich an wie das fehlende Bindeglied zwischen meinem HTC Vive und dem Sprung in die OASIS mit Parzival und Art3mis. Daher ist es nicht verwunderlich, dass die Haptik derzeit die am meisten erwartete Technologie in der XR-Community ist. Mehrere Unternehmen wie Microsoft und HTC sowie Startups wie SenseGlove und HaptX haben Demos von immer vielversprechenderen Iterationen von Haptikhandschuhen gezeigt, die ich unbedingt ausprobieren möchte.

Leider konzentriert sich unsere Arbeit bei Placenote wie bei den meisten AR-Entwicklern heute fast ausschließlich auf mobile AR-Plattformen wie ARKit und ARCore. Das brachte uns natürlich zu dem Gedanken: "Könnte die Haptik etwas für die mobile AR tun?"

Die Haptik war eine großartige Ergänzung für Touchscreens, von der Simulation von taktilen Tastenklicks bis hin zu stillen Benachrichtigungen. Aber nach einigem hektischen Googeln haben wir festgestellt, dass es bislang keine wirkliche Diskussion über die Haptik für mobile AR-Apps gibt… HERAUSFORDERUNG AKZEPTIERT

Die Herausforderung der mobilen AR

Wir haben uns entschlossen, herauszufinden, warum die Haptik noch nicht in die mobile AR Einzug gehalten hat, und es war nicht schwer zu verstehen, warum. Mobile AR ist bei weitem das am wenigsten immersive AR-Medium. In der Community herrscht Einigkeit darüber, dass dies nur eine Lücke zur ultimativen AR-Plattform ist - Smart Glasses.

Denkweise ist hier jedoch nicht das einzige Hindernis. Wir haben festgestellt, dass der mobile Formfaktor einige einzigartige Herausforderungen für den AR Experience Designer darstellt:

  • Im Gegensatz zu Headsets ist der Telefonbildschirm sowohl das Display als auch der Controller
  • Es ist unmöglich, Ihre Hände in die Erfahrung zu bringen, da Sie das Telefon in der Hand halten.
  • Wir sind immer noch auf zweideutige Touchscreen-Interaktionen angewiesen - 2D- oder 3D-Touch?

Die Realität sieht jedoch so aus, dass die mobile AR in den nächsten Jahren und vielleicht noch länger Bestand haben wird. Derzeit befinden sich eine Milliarde Mobilgeräte in den Taschen der Verbraucher und nur eine Handvoll AR-Headsets auf ihren Köpfen. Als Entwickler übertrifft die Verteilung Ihrer Apps die meisten anderen Faktoren. In der Tat hat sich Mobile in Anwendungen wie Indoor-Navigation und Spielen bereits als praktikables Medium für die Bereitstellung von AR-Erfahrungen erwiesen.

Dies bringt uns zum Thema Haptik für mobile AR. Auf den ersten Blick scheint es keine wirkliche Hoffnung zu geben, dass die Haptik das mobile AR-Erlebnis verbessert, aber neuere Studien haben tatsächlich etwas anderes gezeigt.

In der Haptik ist weniger mehr

Es wurden unzählige Methoden entwickelt, um ein haptisches Feedback zu erzielen. Im Allgemeinen fallen sie in zwei große Kategorien - kinästhetische Haptik (Kraftrückkopplung) und kutane Haptik (Hautempfindungen).

Kinästhetische Haptik wird allgemein als die realistischere haptische Technologie angesehen. Hierbei handelt es sich um physische Aktuatoren, die entweder geerdet oder nicht geerdet sind. Diese drücken und ziehen unsere Finger und andere Anhänge als Reaktion auf Interaktionen mit virtuellen Objekten. Intuitiv sollte ein realistisches Force-Feedback eine weitaus bessere Leistung erbringen als herkömmliche Vibrationen. Eine in diesem Jahr in Science Robotics veröffentlichte Studie mit dem Titel „The Uncanny Valley of Haptics“ hat diese Annahmen jedoch in Frage gestellt.

Die Forscher stellten fest, dass eine Steigerung des Realismus der haptischen Wahrnehmung nicht unbedingt die Qualität des AR-Erlebnisses erhöht. Dies wirkt sich häufig negativ aus, da in Simulationen ein unheimliches Tal des Realismus herrscht. Sie fanden heraus, dass die kutane Haptik, die im Wesentlichen eine Kombination aus leichten Berührungen und Vibrationen ist, das Gehirn viel besser in die Illusion eintauchen lässt. Seltsame Ergebnisse, aber sie stellten im Grunde fest, dass wir unterschätzt haben, wie gut unser Gehirn darin ist, die Lücken in unserer Wahrnehmung der Realität zu schließen.

Die Situationen, in denen unser Gehirn die Lücken füllt, finde ich am interessantesten an unserer Wahrnehmung der Tastempfindung. - Justin Brad, CEO von Osso VR

Bringen Sie die Haptik in das mobile AR

Testen Sie vor diesem Hintergrund, was die Hauthaptik für die mobile AR leisten kann. Denn bei der Haptik auf dem Handy geht es nicht mehr nur um vibrierende Klingeltöne.

Die mikroelektromechanischen Systeme (MEMS) auf Mobilgeräten sind viel ausgefeilter geworden und können einige ziemlich differenzierte Verhaltensweisen aufweisen. Seit dem iPhone 7 hat Apple die alten grundlegenden Rumpelvibrationen auf das aufgerüstet, was sie jetzt Taptic Engine nennen. Dies ist viel subtiler und besteht aus sieben verschiedenen Arten von haptischem Feedback mit unterschiedlichen Mustern und Stärken.

Die verfügbaren haptischen Feedback-Modi sind:

  • Auswahl ändern
  • Schlaglicht
  • Auswirkungsmedium
  • Aufprall schwer
  • Benachrichtigungserfolg
  • Benachrichtigungswarnung
  • Benachrichtigungsfehler
Die neue iOS Taptic Engine (ab iPhone 7) bietet 7 verschiedene Arten von haptischem Feedback

Weitere Informationen zum iOS-Feedbackgenerator finden Sie in dieser Apple-Dokumentation. Am Ende dieses Artikels werde ich einen Code veröffentlichen, mit dem Sie Ihre ARKit-Apps schnell um diese Feedback-Typen erweitern können.

Wir haben beschlossen, mit einer Reihe dieser haptischen Feedback-Modi in unseren AR-Apps zu experimentieren, und ich freue mich sehr, dass die Ergebnisse für unser Team eine angenehme Überraschung waren. Im Folgenden sind einige Beispiele für haptische Implementierungen in unseren mobilen AR-Apps aufgeführt.

Anwendungsbeispiele für Haptik in Mobile AR

In unseren bisherigen Experimenten haben wir festgestellt, dass das haptische Feedback für mobile AR in fünf verschiedenen Szenarien gut funktioniert. Hier ist jeweils eine Beschreibung.

1. Magnetische Zeiger (d. H. Am Gitter einrasten)

Ein Zeiger, der entlang einer ebenen Fläche verriegelt ist, wird in vielen ARKit-Apps häufig verwendet, insbesondere in Messwerkzeugen wie Air Measure und Magic Plan. Da sich Ihr Telefon in Mobile AR wie ein Controller verhält, müssen Sie in Mess-Apps standardmäßig einen Zeiger entlang einer Oberfläche ziehen, um Linien oder Polygone zu zeichnen und damit die reale Welt zu messen. Beim Zeichnen von Linien sind natürlich überall magnetische Zeiger zu sehen, die an den Endpunkten und Kanten von Linien ausgerichtet sind - von PowerPoint bis Photoshop.

Wir haben festgestellt, dass ein subtiles haptisches Feedback, das ein „Einrasten“ der Zeigerposition anzeigt, eine große Verbesserung darstellt. Es fühlt sich fast so an, als würde sich Ihr Telefon (d. H. Ihr Controller) physisch bewegen, um einzurasten.

Ich war wirklich froh zu sehen, dass Apples neue App "Measure" tatsächlich haptisches Feedback in ihrer UX verwendet. Es ist eine erstaunlich subtile Implementierung, und Sie können unten ein GIF davon in Aktion sehen. Ein „Aufprallmedium“ wird ausgelöst, wenn der Zeiger am Rand der Ebene einrastet.

Apples Measure App

2. Trefferprüfung (Gefühl von Oberflächen der realen Welt)

Ein weiteres gemeinsames Feature in ARKit-Apps ist der Hit-Test. Dies wird als Strahlenwurf von einem Punkt auf dem Bildschirm - entweder einem Berührungspunkt oder der Mitte - zu einer Oberfläche im realen Wort implementiert. Es wird im Allgemeinen verwendet, um ein 3D-Objekt am Kontaktpunkt hinzuzufügen. Eine leichte haptische Empfindung kann dem Benutzer helfen, zu verstehen, dass eine Oberfläche „getroffen“ wurde. Wir haben zwei Methoden gefunden, die hier gut funktionieren:

Feststecken
In diesem Beispiel wird der Szene am Trefferpunkt eine Markierung hinzugefügt. Ein „Impact Light“ hilft Benutzern, das „Feststecken“ des Markers im 3D-Raum zu erkennen. Der Nachteil dabei ist natürlich, dass Sie die „Tiefe“ des Trefferpunkts nicht genau erkennen können - mit anderen Worten, wie weit der Stift vom Benutzer entfernt ist.

Weiden lassen
Eine Alternative zum Feststecken ist die Methode des Treffertests. In diesem Fall zeigt eine ständig aktualisierte Markervorschau an, wo einer Szene möglicherweise ein Marker hinzugefügt wird. Wir haben festgestellt, dass eine Reihe von haptischen Impulsen, basierend auf der Größe der Verschiebung des Vorschaumarkers in jedem Bild, das Gefühl vermittelt, einen Zeiger entlang einer 3D-Oberfläche zu schaben und Sie eine 3D-Oberfläche „fühlen“ zu lassen.

Hier ist ein Codebeispiel für das Beweiden in Unity:

if (distanceChange> = 0.1 && distanceChange <0.2)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Light);
}
sonst wenn (distanceChange> = 0.2 && distanceChange <0.4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Medium);
}
sonst wenn (distanceChange> = 0.4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Heavy);
}

3. Rückstoß oder Explosion der FPS-Waffe

Dies ist mit Abstand das unterhaltsamste Beispiel für haptisches Feedback. Wenn Sie in AR einen Ego-Shooter bauen, ist Ihr Telefon sowohl das Display als auch die Waffe. Eine großartige Möglichkeit, einen Schuss zu simulieren, ist ein einfacher „Aufprall-Heavy“, der einen einzelnen Stoß oder einen „Benachrichtigungsfehler“ erzeugt, der einen doppelten Stoß erzeugt, der sich wie ein Rückstoß einer Waffe anfühlt. Das folgende Beispiel ist natürlich eine Laserwaffe, aber hey, das soll nicht zu realistisch sein.

4. Kollision mit der Controller-Spitze

In VR-Apps wie Oculus Medium oder Tilt Brush dient einer der Handheld-Controller als Pinselspitze, mit der der Benutzer im 3D-Raum zeichnen kann. Ich habe stundenlang in Tilt Brush gemalt und natürlich habe ich mich sehr bemüht, diese Erfahrung mit ARKit nachzuahmen.

Das Problem ist, dass das Erstellen eines genauen Zeichenerlebnisses auf Mobilgeräten sehr schwierig wird. Sie verlieren den Sinn für Tiefe, wenn Ihr Telefon sowohl das Display als auch der Controller ist. Eines der schwierigsten Dinge in 3D-Zeichen-Apps für Handys ist, zu wissen, wo sich Ihre Pinselspitze im Verhältnis zu den anderen 3D-Objekten in der Szene befindet.

Und wieder war die Haptik die Antwort. Wir haben festgestellt, dass eine Möglichkeit, Benutzern ein Gefühl für Tiefe zu vermitteln, darin besteht, sich vorzustellen, dass der Pinsel tatsächlich ein Stock ist, mit dem Sie bereits in der Szene befindliche 3D-Objekte treffen können. Durch die Bereitstellung eines haptischen Feedbacks, mit dem Benutzer wissen können, ob die Pinselspitze mit vorhandenen Objekten in der Szene in Kontakt steht, können Benutzer ihren Pinsel präzise im 3D-Raum positionieren.

Erfassen von Pinselspitzenkollisionen

5. Lokalisierungs-Snap in Persistent AR Apps.

Bei Placenote erstellen wir hauptsächlich Persistent AR- oder AR Cloud-Apps. Die Kernfunktionalität dieser Apps ist die Fähigkeit, AR-Inhalte dauerhaft an einem physischen Ort zu speichern. Benutzer können es jedes Mal am gleichen Speicherort laden.

Dieses Verhalten nennt man die Verlagerung einer Szene.

Lokalisierung rastet ein

Um eine AR-Szene neu zu lokalisieren, muss ein Benutzer zuerst die Kamera seines Telefons auf die reale Welt richten und dann warten, bis die Kamera ihren Standort erkennt.

Bei Placenote erfolgt die Verlagerung fast augenblicklich, aber alles geschieht intern. Daher müssen wir einen Weg finden, um den Benutzer über eine erfolgreiche Verlagerung zu informieren. Die visuellen Hinweise könnten ausreichen, wie im obigen GIF zu sehen. Ein subtilerer Hinweis ist jedoch die Bereitstellung eines haptischen „Impact Light“, das darauf hinweist, dass Sie sich in der realen Welt festgesetzt haben.

So fügen Sie Ihrem ARKit-Projekt Haptik hinzu

Wenn Sie mit der Entwicklung von Swift für Native iOS ARKit arbeiten, lesen Sie dieses Tutorial zum Implementieren von haptischem Feedback in Native Apps.

Wenn Sie mit Unity arbeiten, ist mein bisheriges Lieblingspaket das iOS-Haptic-Feedback-Paket im Unity Asset Store. Es ist 5 US-Dollar wert, da die in Unity integrierte Funktion Handheld.Vibrate () die neuen iOS Taptic Engine-Funktionen nicht verfügbar macht!

Das iOS-Paket für haptisches Feedback enthält ein einfaches Prefab und Skripte, mit denen Sie Ihrer App alle sieben Arten von haptischem Feedback hinzufügen können. Sie können es über den Asset Store-Link hier herunterladen:

Dinge, auf die Sie achten sollten

Wie bei jedem Designtool gilt es auch hier einige Dinge zu beachten, wenn Sie die Haptik in Ihre mobile AR-App integrieren.

Zu viel Haptik kann das ARKit-Tracking durcheinander bringen

Testen Sie die Auswirkungen der Haptik auf Ihre AR-Sitzung. Da sich ARKit auf die Trägheitserkennung stützt, um die Bewegung des Telefons zu verfolgen, kann das Hinzufügen zu vieler Vibrationen während einer ARKit-Sitzung das Tracking geringfügig beeinträchtigen.

Wenn Sie zu viel Haptik verwenden, kann das Gerät überhitzt werden

Haptik ist schließlich eine physische Bewegung Ihres Mobilgeräts und verbraucht naturgemäß mehr Energie. Verwenden Sie dies sparsam, um sicherzustellen, dass Ihr Telefon nicht überhitzt oder der Akku zu schnell leer wird.

Zu viel haptisches Feedback kann Ihren Benutzer verwirren und desensibilisieren

Dies gilt für jeden haptischen Mechanismus. Übertreib es nicht. Verwenden Sie es insbesondere nicht, wenn Sie nicht genau wissen, warum für die von Ihrem Benutzer ausgeführte Aktion ein haptisches Feedback erforderlich ist. Die Gefahr einer Überbeanspruchung besteht darin, dass Ihr Benutzer dadurch verwirrt wird und daher für Ihr Feedback desensibilisiert wird.

Und das ist es! Ich hoffe, dieser Artikel hat Ihnen eine Menge hilfreicher Designideen geliefert und Sie überzeugt, in die Welt der mobilen AR-Haptik einzutauchen. Es hat uns wirklich Spaß gemacht, die verschiedenen Möglichkeiten zur Simulation von Berührungsempfindungen in Mobile AR zu erkunden. Wenn Sie weitere Ideen haben, würden wir gerne mit Ihnen darüber sprechen. Wenn Sie eines unserer Codebeispiele für mobile AR-Haptiken ausprobieren möchten, senden Sie mir eine E-Mail an neil [at] placenote.com.

Wenn Sie an Persistent AR-Apps interessiert sind oder wissen möchten, was wir bei Placenote tun, senden Sie uns eine Nachricht auf Twitter oder besuchen Sie Placenote.com