人机交互：为何我们在同一个地方搞砸了两次？

可视化的黄昏

没电脑，就没人机可视化可说。驾车汽车、直升机须要可视化，从两个站内或者ATM里买饮品、提款也须要可视化，那些如若羿语。和计算机系统的可视化方式，从纸带的两张张纸板，到按键、显示屏组成的终端产品，再到滑鼠、轻触笔等点拨电子设备、再到触屏的两极化应用领域。

基础技术的不断进步和计算机系统应用领域的涌现恳求着他们一场又一场重新思索“人怎样去操作方式电脑，电脑又怎样去意见反馈、相互配合人”这个问题。

滑鼠与GUI

通过观察你眼前的这台“电子设备”，不论它是智能手机、笔记本电脑、Pad还是DD91的笔记本电脑电脑，都属于“新时代”，它们的机能之多样、强悍，是数十年前原初的电脑所不容相媲美的。如若撇开网络使多少捷伊应用领域成为了可能，他们与那些电子设备可视化的科帚不外乎这三种：

按键文本/机能键命令输出，滑鼠精确点拨。

电感屏，倚赖点选、长按、翻转等操作方式，兼具点拨和文本输出。

做为最传统（Legacy）的输出方式，按键滑鼠可没大家想的那么“近现代”，早在1946年，法国人Ralph Benjamin就发明者了“Roller Ball”，一种鼠标，就像你在某一结构设计横向滑鼠上看见的那个相差无几。他发明者由此可知的主要意图与其他很多信息技术一样：民用，精确的说是为了给火控系统声纳做输出电子设备。在“Roller Ball”鼠标出现之前，系统采用两个控制杆做为输出，而这可太不“典雅”了。

人机交互：为何我们在同一个地方搞砸了两次？

有了滑鼠，就有了其对应的可视化对象——屏幕上的图形界面。70年代英雄辈出，施乐（Xerox）Alto的创新是划时代的，虽然它原生还是只有命令行界面，但在它之上运行的程序却支持绘制GUI。正是在这台计算机系统上，现代意义上的GUI（GUI）诞生了，你可以使用滑鼠去直接可视化图形元素！在它之上运行的Smalltalk环境（既是编程语言，其环境也是两个“操作方式系统”）还发明者和奠定了“滑鼠右键菜单”这一操作方式，所见即所得的文本编辑软件也因GUI而在Xerox Alto上诞生了。它后来还吸纳了“桌面比喻”，发明者了“电脑桌面”，将其喻为现实中的办公桌面，而其上有工具、文件等“对象”。后来，Macintosh将GUI发扬光大，进一步发明者了“拖拽”（Drag and Drop）等操作方式。

人机交互：为何我们在同一个地方搞砸了两次？

所见即所得（WYSIWYG）的哲学以及面向对象的思想，在GUI中得以具象化、付诸实践。

乔布斯：重新发明者触屏

话说回现代，电感触屏难道又是什么新鲜的东西吗？这回还是个法国人：1965年，Eric Johnson发明者了电感式触屏专利，后来为空中管理系统所用。电感式触屏出现在“消费电子”上则要等到1990年代，Sun公司的Star7原型PDA搭载了电感屏，并且支持“惯性滚动”，即翻转然后松开手指之后，屏幕上的东西会因为假想的“惯性”继续滚动一段。IBM Simon更是第一台搭载了触屏的PDA兼电话，当然，在这个“大哥大”上你还是得靠轻触笔。时光飞逝，2006年，移动手机的按键机还是主流，但各路豪强都想到了要用触屏。它们拿出的电脑是这样的：

人机交互：为何我们在同一个地方搞砸了两次？

显然，从根本思路上它们还是没迈过那个旧时代的坎——按键还是一大堆，什么接电话挂电话键、十字键确认键还霸占在电脑下部不走。屏幕上，整个界面构思、显示的质量还是老样子，堪比80年代的字体效果，锯齿一堆，没想到将早已完备的PC界面改造、移植过来，更别提触屏本位思想。唯一看起来有点希望的LG Prada（有人觉得iPhone抄袭了它）是这样的：

人机交互：为何我们在同一个地方搞砸了两次？

基本上可以这么说：它还是那个旧时代的机能机，界面还那样。只不过触屏大些、按键少些而已，它和iPhone还是天差地别的。本人放几个马后炮，旧时代产品的问题不外乎以下几点：

有的电脑有的照搬QWERTY按键，量变引起质变，PC按键按键大小合适、用户友好，而缩小后人机工效极差。

有的电脑沿用T9按键，限制其能承载的内容。

不敢大胆抛弃按键从而建立捷伊触屏-手指-“点拨电子设备”本位思想和界面设计系统。

由于第三点，不敢扩大触屏面积，导致无法抛弃轻触笔。

真想搞出革命性产品还得看乔帮主。Think about it，这两台智能手机放在一起，感觉横跨了十年：人机交互：为何我们在同一个地方搞砸了两次？

iPhone受到以滑鼠为点拨电子设备的PC界面启发，确立了触屏本位的思想，排斥了繁杂的按键，进一步贯彻所见即所得、所操作方式即所见的思想。其主界面启动器的设计（下方固定四个应用领域图标，上方左右切换页面显示其他应用领域）的设计更是十年来无人撼动。更何况，电感屏在现在能做得更轻、更薄、更灵敏。这其中有任何高不容攀的火星、NASA信息技术吗？没。有任何全捷伊东西吗？有很多。不破不立。乔帮主引用Alan Kay（Xerox Alto发明者人之一）名言：

人机交互：为何我们在同一个地方搞砸了两次？

对软件真的非常严肃考虑的人们应该去做自己的硬件 ——Alan Kay这句名言，更像是一种怪圈和诅咒，他们一场又一场掉进同样的坑里，请看下文。

游戏机与手柄

手柄就更是不用我多说了，尽是“陈年旧事”，我不想再班门弄斧。最早的手柄都有什么特征？

十字键，用于“提供方向”。

A、B、Start、Select等定番。

任天堂N64引入两个类比控制杆用于操作方式视角、提供第三个自由度，更多样的3D游戏成为可能。而同时期所有其他游戏都还是伪3D。“对软件真的非常严肃考虑的人们应该去做自己的硬件。”新时代手柄两极化拥有以下机能特性：

D-Pad或者十字键

ABXY，以及可选的其他菜单机能键。

两个控制杆

左右各两个肩键

双手握持住两个手柄

问题：任天堂为什么不用上文提到的控制杆替代品鼠标？

看看你的手

按键须要十指的敲打，滑鼠须要点选，触屏须要手点拨按，手柄则须要手指按下按键和操作方式控制杆。上述一切和计算机系统的人机可视化都离不开手的精细操作方式，为什么呢？简单的事实是因为除了手他们没得选。皮质小人是将人身体各部分比例按照神经区域占比大小所绘制的人体模型，看起来有些夸张和滑稽的模型透露出两个简单的事实：手和手指背后对应的脑部感官和运动神经区域面积巨大。每根手指在一定程度上可以独立屈、伸，还可以横向扩张、缩小手指间距，手指本身并不具有肌肉，是手掌、小臂等地的肌肉在操作方式手指的运动，因此它们既具有精度又能具有力量（前提是你得锻炼）。

人机交互：为何我们在同一个地方搞砸了两次？

VR：我没我不是

VR和头戴显示屏的区别何在？这是两个根本存亡问题，回答不上来则死，答出来则活。业界辩称3DoF（自由度），也就是玩家只能转头的是头戴显示屏。而6DoF，也就是玩家自身能移动的才是VR！为了解决这个“自由度难题”，人们甚至发明者了万向跑步机或者一些奇奇怪怪的电子设备来解决前后左右上下移动这三个自由度的问题。这完全是搞错了重点，还记得上文的皮质小人吗？手部如此巨大，而身体、脚、头等部位的大小都只能屈居其下。早已有人指出输出可视化才是VR的大问题：给人罩上两个头盔，眼、耳感官都已经沉浸式了，但输出却极度受限，还只能抱着“旧时代”手柄按着玩。其实答案早已尽在眼前，而21世纪、20世纪的人机可视化突破设计中早有珠玉在前。但所有人都面对这个戈耳狄俄斯之结一筹莫展干着急。乔布斯在天之灵：Alan Kay 老爷子可还在世呢，你们这群后生给爷好好读读我引用他的名言啊，送分题做不出来给爷爬！正是因此即使2017年当年被称为VR元年，VR被寄予厚望、掀起热潮，后来也不了了之。试问以下几个问题：

玩家懒，坐着不动，能玩你做的某VR游戏吗？站着移动呢？累了不爱玩了又怎么办？这两者之间又会造成什么体验区别？

现有VR游戏两极化存在无法承载复杂内容、只是形式看着新奇；或者只是对现实某种模仿，该怎样解决这个问题？

在这段时间内涌现了一些具有代表性的VR游戏，比如《Fallout 4 VR》、《Beat Saber》、《Super Hot》。但它们或是简单大作移植，要么就是只适用于自己一种类型，比如端着手柄砍砍砍，或者上下腾挪射击，并没给出普适化的解决方案和方向。Valve自己则做出了《The Lab》这一实验性质极强的游戏，尝试各种各样的场景，当然，他们自己一定从那时开始就对现状非常不满意，并着手改造问题的根本——硬件。

他们又完蛋了

视线一转，让他们看看那些年推出的VR电子设备吧！不看头盔显示帧数视野清晰度有多牛逼，不看头盔表面多少摄像头，也不看它有没安在墙上的定位器，就看玩家手上拿着的东西：手柄！PSVR 人机交互：为何我们在同一个地方搞砸了两次？

Oculus系

HTC Vive系

人机交互：为何我们在同一个地方搞砸了两次？

不，不用看它们到底有什么机能，请和我确认以下几个事实：

那些手柄须要你五指握着，你敢张开双手它们分分钟掉下去。

用户都双手持握了，还须要按一堆按键——不论是游戏内什么操作方式，你都得通过按一堆按键实现，而这一点也不符合直觉。

Valve陷入了深思，撇了撇嘴，摇了摇头。而门外是人们热火朝天地谈论：Valve变味了！不做单机了！那个手册是对外宣传骗人的！G胖就知道Steam数钱！现在，立刻翻到本文上面去重温一下，iPhone之前那些按键机是一些怎样的“丑态”。

Cave Johnson Here…

…Introducing, Knuckles Controller！这回可没人BB什么LG Prada了。

人机交互：为何我们在同一个地方搞砸了两次？

乔帮主拍了拍G胖的肩：最后还是得靠你老兄。我甚至根本不确定Valve Index配套的这个Knuckles手柄是不是第两个做出这项改变的，但我很清楚我根本不用去确定就知道它一定是。要是有人真这么做了的话，各位，那你们的《Half-Life: Alyx》又在哪呢？真的须要我重复一遍《Half Life Alyx》中玩家能做什么吗？去随便搜搜玩家们是怎么弹钢琴、画白板、玩杂耍和对着联合军比中指吧。还有谁能做得到吗？

手指跟踪是技术瓶颈吗？

跟踪手指的动作并非是什么新技术，实现路径也很多，2012年便有Leap Motion——两个小型的传感器电子设备，能基于光学捕捉识别手指动作，而2010年的初版Kinect由于分辨率不足还不能做到。到了2013，Kinect for Xbox One也能做到基于光学的手指动作捕捉了。但光学方式存在缺陷，例如自我遮挡导致无法识别、识别结果抖动、精准度不够、关节手指卡在一起等。这样的手部可视化并不容靠，而且玩家在对着空气输出没意见反馈，很容易就产生“人机对抗”，让玩家感到挫败。人机交互：为何我们在同一个地方搞砸了两次？

肌电检测自然也是两个方法，但是商业化的例子Myo腕带展现出的性能并不让人满意，信号噪声、识别精度不够，不能为游戏要求的精准操作方式服务。

人机交互：为何我们在同一个地方搞砸了两次？

一种更可靠的方式则是引入IMU（惯性测量装置），也就是陀螺仪和加速度计，一个比较可靠的例子是VRFree手套。这是两个露指手套，在关节指节等地有IMU传感器，提供三维的运动检测，但是这种方法硬件太昂贵，而且——玩家的游戏内可视化真的能只靠双手的真实运动吗？这在现在不太现实。Valve 手柄的手指检测没光学检测，没戴在手指上的加速度检测器，更没什么肌电，那它是靠什么方式检测的呢？答案揭晓：它是靠手掌掌心接触手柄主体上产生的电感，以及压力传感器的数值来推算手指的实际姿态的。正如上文所说，虽然他们的手指能一定程度上互相独立运动，但控制它们的肌肉并非真的互相独立，而是有所牵连，最简单的例子就是无名指不能单独像竖中指那样竖起来。Valve官方宣传，手柄上总共含有87个传感器，这其中实际包括那个可以用作Track Pad的 Trackbutton、握力传感器，内部的陀螺仪和加速度计、跟踪手指（含扳机键上）的电感等等。电感再次改变了世界。

复盘

早在2016年时，早已有人体验到Valve Index手柄的原型机，当时早已经确立了给玩家手指自由度的设计方针，玩家意见反馈说“I didn’t have to think about input, I just did it.”（我大脑根本不用想怎么输出，我自然而然就做了），其他各厂商熟视无睹，不为所动。2020年PSVR、Oculus大梦初醒，纷纷放出消息，称自己的仿Valve手指自由跟踪手柄”已经在研发中，亡羊补牢，不知道晚不晚。回头看“旧时代”可视化存在的问题：

在旧式手柄基础上构建的Gameplay：“按这个按键以抓取” “按那个按钮以换弹”，自己却不能真的上手只让人感觉WTF。

在游戏里，我的手被两个圆滚滚的手柄、或者一个不属于我，也不听我手的直接使唤的手模型替代。这种设计不符合直觉。

纠结6自由度和3自由度问题，在可视化上纠结费力不讨好的移动问题，比如什么万向跑步机，不给玩家选择自由。当然，后来大家都吸纳了瞬移法。

人机交互：为何我们在同一个地方搞砸了两次？

为什么那些“VR厂商”错失机会？而Valve踢开HTC却独立做出了Index？

那些硬件厂商不做软件，软件厂商不做硬件（乔布斯讨厌软件开发厂商的重要原因）。

在运动层面上，无视皮质小人夸张的手部反映出的人的手部的操作方式能力和感官能力，把玩家当只有圆球手的哆啦A梦。

厂商设计者根本没看过乔布斯2007年iPhone发布会，在手的可视化这个关键问题上抛弃人机一体、所见即所得，抱着按键不放，面对两个送分题，心甘情愿呆在“旧时代”。

软件、游戏开发者丝毫没听取乔布斯引用的Alan Kay名言“对软件真的非常严肃考虑的人们应该去做自己的硬件” 。

“Alan 可是30年前就说出了这句话”，乔布斯指着这页PPT补充道。台下又是一阵哄堂大笑和掌声。

（请点选图片查看）

人机交互：为何我们在同一个地方搞砸了两次？