#可用手势操控的3D知识图谱##钢铁侠式3D交互教程#
钢铁侠和贾维斯如何互动?大概就像【图1】这样~
挥挥手、说句话,就能操控眼前的3D图谱,用来做Pre有点酷!
从视频里可以看到,这位小哥用手势轻松实现了几种操作:
拖动/探索:捏一下手指就能拖动节点,不管是左手还是右手都行。
旋转:握拳移动,就能旋转整张图。
缩放:两手拉远或靠近,控制图谱的远近。
小哥也没藏私,在评论区无私分享了教程,主要用到了三种工具:Three.js、MediaPipe、Web Speech API。
具体怎么实现的?可以拆解成这样:
Three.js部分:以Vasco Asturiano的3D-force-graph组件为基础,图谱能支持拖拽、旋转等基础操作。
MediaPipe:用它来做手势追踪。摄像头能实时识别手指和手腕的位置,把这些关键点转成坐标用于交互。
Web Speech API:加入语音控制功能,直接在浏览器里把语音转成文字,监听关键词,比如“Rotate”来切换操作模式。
把这三样结合起来,就完成了一个能“听你指挥、看你手势”的3D交互系统。
完整代码+教程,欢迎查看:
在线demo:-graph/
