责任编辑讲诉了三位新锐来宾浅谈交互式的产业发展及今后。
在影片《多数派调查报告》中,布莱恩·凯蒂饰演的配角站在交互式萤幕前,不必轻触任何人其本质的小东西,仅靠两个特定头盔就能互驾驭统计数据。
交互式产业文化史
1979年,当年青的贾伯斯造访伯杰PARC研究中心时,他看到了伯杰新发明的图形用户界面(GUI),相比当时的文本命令行界面,程序图标、窗口化、下拉菜单和绚丽的图像效果把贾伯斯狠狠地震撼了。“仿佛蒙在我眼睛上的纱布被揭开了一样。”《乔布斯传》中如此描述贾伯斯当时的感受:“我看到了计算机产业的今后”。贾伯斯回到苹果后,迅速将GUI移植到苹果产品上,随后上市的Macintosh取得了轰动效果。研究及应用现状
每位来宾就所做所见,讲诉了交互式正在或即将出现的情景,那些情景基本代表了交互式最新、最前沿的研究方向。Wonder Painter 现实版神笔马良视频中展示的情景,就是曹翔老师所做工作的典型例子。一张普通的纸,一支普通的笔,画下天马行空的图画,再由智能手机采集起来,瞬间就能转化成三维的动画。曹翔老师希望通过这项控制技术,打破普通人表达创意设计的门槛。输入控制技术和相关理论自然人机交互具有输入非精确性等新型特征,同时EMG等新的输入通道为自然交互式提供了研究机遇。如何建立针对新型特征的运动模型,并利用生理等新型通道交互用户交互意图是交互式研究的重点之一。毕阳老师就此介绍了自己的两项工作。 在运动的画面中,如何知道用户真正想点击的是哪两个模块?其基本思路是:1. 构建落点分布模型,揭示落点分布与目标初始位置、大小、gal度间的关系2. 对目标二是基于EMG的交互意图隐式交互控制技术。
想象一下,你拿起一支笔,或者喝了一口水,不等你给机器传达命令,它就通过你的肌肉电信号,交互到了你现在正在做甚么。这就是毕阳目前在做的另一项研究。一是基于多模态交互理论的手语识别。蔡铮强将面部识别、手势动作识别和手语识别相融合,来提高手语识别的精度,以期帮助残障人士和外界沟通。
二是基于多模态交互理论的交互式方法,利用语音,视觉,可穿戴等等,使机器人获知用户现阶段复杂行为及情感状况。蔡铮强提到:“交互式的毁灭者目标,是达到人工智慧之间的无缝互动,仿佛人和人在交互一样。因此,机器要精确交互到人的现阶段动作、行为即使情绪。他们基于多模态手段,如语音、面部表情、可穿戴生理指标检测等,试图解决这个问题。”
自然用户意图的精确理解在使用智能手机软键盘时,你有没有误触的苦恼?26个字母挤在狭窄的输入界面里,再配上胖乎乎的手指,点错的经历太多了。这是触屏这种自然交互界面上典型的难题:胖手指难题。输入信号脱离了精准的接口电子设备,除了可能达到精准的输入效果吗?史小兵副教授的研究工作,提出了基于贝叶斯推理的自然用户意图理解框架,建模用户行为特征,在模糊的输入信号上推测用户的真实世界意图。你点的不准没关系,算法能猜得准。基于这项控制技术,史小兵副教授的团队已经研究实现了智能手机、平板、头盔、电视等一系列接口上的输入法,输入精确度大幅度提高,且几乎不需要视觉瞄准,进而还能支持聋哑用户精确实现软键盘输入。今后的接口也会延伸交互人的驾驭行为,史副教授正在研制的智能手机前置摄像头上就能:“交互到人手在界面上的变化后,他们就能以此做出新的‘输入法’。比如手握智能手机的任意边框或位置,就能输入信息、访问界面。即使和桌子的交互,也能变成对智能手机的操作。” 全手型感应“那些操作无需经过人眼确认,通过手写体交互即可实现精确输入。” 盲输入控制技术这些成果已见诸实际应用,如:电容屏防误触控制技术部署在了华为MATE系列千万量级智能手机上,智能化输入意图推理算法应用在搜狗和华为的输入法无障碍智能手机交互控制技术应用于智能手机淘宝和支付宝等。史小兵副教授指出,要建立一套理解人的意图表达的计算框架,他们还要继续在理论和传感控制技术上做更多研究。控制技术思辨几位来宾就交互式相关问题,进行了思辨和讨论。交互式的理论和方法
Q1: 交互界面的构建有计算模型吗?
Q2: 如何定量评估界面设计的效果?
毕阳认为交互界面的构建是有计算模型的,但针对自然交互式,研究者做了“点”上的研究,还没有完全系统化。史小兵副教授同意以上观点,并指出定量评估的方法虽有,但很不充分。不过借助相应的传感控制技术,定量评估的原理和控制技术都在不断拓展,这从红外反射监测血流、血压参数、情绪变化等一系列应用上就能看出。交互式与人工智能化的关系
Q1: 在中文上,两者都有关于“人”的研究,有共同的研究内容和方法吗?
Q2: 两者研究成果的价值体现有何异同?
Q3: 智能化交互式主要指甚么?
Q4: 交互式研究对 AI 有贡献吗?
蔡铮强提出:要做好智能化交互式,必须做到个性化。人脑智能化分为三个部分,中枢神经、小脑和大脑,这三部分体现了不同某种程度的智能化,可对应交互式中的不同智能化应用某种程度。
比如神经智能化如中枢神经控制下的膝跳反射或条件反射,就可和键盘鼠标触屏控制技术等传统交互式控制技术相对应,注重实时的交互与执行,实现敲一下键盘,萤幕就弹出两个字。而像语音识别、手势识别这一部分新型交互式,就类似于小脑智能化部分,侧重于基于学习或预测的执行,过程包括了交互-学习-执行。而智能化交互式的毁灭者目标,需要在交互刺激的基础上不仅有学习,还应有知识推理,而后决策执行,这类似于大脑智能化层次,到了这个部分,交互式应该能做到带情感即使带有价值判断的智能化交互式。
如何评论今后交互控制技术的产业发展?
Q1: 最近出版的《科技之巅》总结了近十年全球百项突破性控制技术,包括IT、能源、生医、材料等共十章。其中,人工智能化与交互式分列第一和第二章,HCI主要集中在手势、语音交互和穿戴产品,可否对现在交互式控制技术和今后交互控制技术的发展做评论?
Q2: 您最关心的HCI挑战是甚么?
史小兵副教授讲道:“今后计算机的形态会变化,即使可能不存在了,但计算机控制技术会持续为他们服务,成为人工智慧共存的一部分,交互接口、交互任务会有很大的变化,但会更自然,更智能化。”蔡铮强指出,普适计算能使手环、穿戴电子设备等计算机形式化于无形,就像看不见摸不着的空气一样。例如穿戴电子设备能附着在衣服、鞋子里,实现人工智慧共存。最后在材料、计算控制技术的进步下,真正实现对人类自然行为的意图理解,助力解决人口老龄化、阿尔茨海默病早期预警等。交互式的人才产业发展路径
Q1:工业界需要甚么样的交互人才?
Q2:学校如何培养交互式人才?
Q3:如何判断自己适不适合做交互式?
史小兵副教授提到:“他们培养的人才应该能够发现交互难题,并且能通过科学的方法来解决这个问题。”曹翔赞同史小兵副教授的观点,并补充道:“交互设计师、用户副研究员等对口培养的专业,不难找工作;难找工作的是把交互式作为两个研究领域去学习的学生,因为现有的两个萝卜两个坑的职业体系,并不太适合跨学科的人才,但创业特别需要这样的人。”如何判断自己适不适合做交互式?曹翔提醒道,跟“风口”很不靠谱, 兴趣才是首要的。在会议的最后,他们发布了OAG-WhoIsWho今后,交互式会产业发展到如何某种程度, 你最期待的交互式情景是甚么?期待你的留言分享。编辑:王菁