多用户笔输入系统中笔的轨迹区分.doc

1、清 华 大 学综 合 论 文 训 练题目： 多用户笔输入系统中 笔的轨迹区分 系 别：自动化系专 业：自动化 姓名：陈孝杰 指导教师：史元春 教授 辅导教师：曹丽 副教授2005 年 6 月 21 日清华大学综合论文训练摘要在教学和会议中， 为了更好地表达自己的思想和与其他人进行沟通， 人们常 常 需 要 能 够 书 写 并 显 示 的 交 互 设 备 ， 传 统 的 媒 介 包 括 黑 板 、 纸 张 等 。 随 着 信 息 技术的飞速发展，计算机支持的多媒体大屏幕投影逐渐取代了传统的黑板，成 为教学和会议主流。但是大屏幕只能用于显示信息，如果需要对显示内容进行 标注或是操作，还只能借助于鼠

2、标和键盘。针对这个缺陷，触摸技术得到了开 发和应用，用户可以使用手指或特制交互笔方便直接地在显示设备上操作或书 写。然而，现有的触摸技术却不能很好地支持多用户同时交互。SMART Board 是基于数字视觉技术的笔输入触摸屏，它能够同时定位两支 笔的位置，但不能够把轨迹和代表用户的交互笔关联起来，因而无法区分轨迹。 本文的工作是在 SMART Board 的基础上实现双笔轨迹的区分。 基本原理是首先 设 计 合 适 的 硬 件 电 路 ， 使 用 来 交 互 的 笔 能 够 在 书 写 时 给 系 统 发 送 自 身 的 颜 色 信 息，然后通过软件把得到的颜色信息和轨迹起始点进行绑定，用最近

3、距离算法 对后继点进行分类。实验证明改进后，系统能够很好地识别两个用户并区分轨 迹，可以满足多用户同时交互的需求。由于 SMART Board 的双笔定位功能完全由硬件实现，如果要改进系统以实 现 更 多 笔 的 同 时 使 用 ， 需 要 自 行 实 现 多 笔 定 位 功 能 。 本 文 的 另 一 项 工 作 是 用 双 摄像头实现双笔的同时定位。基本原理是用卡尔曼滤波器对每支交互笔状态预 测，根据预测值寻找摄像头中交互笔成像中心点，通过三角关系确定笔的坐标。这种算法简单实用，使系统能够同时跟踪两支笔运动并准确提供坐标。关 键 字 ： 智能白板、多用户、笔输入系统、轨迹区分I清华大学综合

4、论文训练AbstractIn order to express ones idea more clearly and communicate with others more effectively in teaching or conference, we usually tend to draw on the surface of interactive device where the data are displayed. Traditional media for such kind of devices includes blackboards, paper and so on.

5、Along with the fast development of information technology, large tiled displays supported by computer projection technology have gradually taken the place of blackboards, and become the mainstream in teaching and conference. However, if we want to interact with the displayed data, we have to turn to

6、 mouse and keyboard. Users attention together with the body must move among devices, which is very awkward. Aiming at solving the problem, touch sensitive technology has been developed, which makes it quick and convenient for users to interact with the displayed data directly with fingers or special

7、ly designed styluses. But when the system serves multiple users in parallel, it faces challenges. We are now breaking through the challenges.SMART Board is a stylus input touch screen based on digital vision touch technology (DViT). It can locate two styluses simultaneously. However, it cant associa

8、te each stroke with a particular user. One contribution of the paper is to improve SMART Board to distinguish the strokes of two styluses. First we design the hardware to transmit the color information of the stylus to the system when the user writes with it; then we design the software to get the c

9、olor information, and associate it with the stroke. The experiment results have shown that our system can distinguish the strokes well when two users write simultaneously.SMART Board accomplishes the locating of two styluses through hardware, so if we want to improve the system in order to support m

10、ore styluses in parallel, we have to implement the function of multi-stylus locating by ourselves. Another contribution of this paper is to accomplish the locating of two styluses using two digital cameras.The fundamental arithmetic is as follows: firstly use Kalman Filter to predict the stateII清华大学

11、综合论文训练of each stylus, and then find the center point of the stylus in each camera image, finally get the location through coordinate transformation. The arithmetic, which is quite simple and useful, allows the system to locate two styluses simultaneously and accurately.Keyword: SMART Board, multi-us

12、er, stylus input system, stroke distinguishingIII清华大学综合论文训练目录摘要 . I Abstract. II 目录 . IV第一章 引言 .11.1 本文的研究背景 .11.2 研究内容和方法 .21.2.1 SMART Board 基础上实现双笔轨迹区分 .21.2.2 模拟实现 SMART Board 的双笔定位 .31.3 论文的组织 .5第二章 相关研究 .72.1 普通触摸屏技术 .72.1.1 触摸屏的基本原理 .72.1.2 常见的触摸屏技术 .82.2 SMART Board 简介. 122.2.1 SMART Board 交

13、互笔区分原理 .132.2.2 SMART Board 的软件接口 .142.3 DViT 技 术 .152.3.1 DViT 的基本原理 .15IV清华大学综合论文训练2.3.2 DViT 技术与其他触摸技术的比较 .162.4 多用户触摸技术 DiamondTouch .182.4.1 DiamondTouch 的基本原理 .182.4.2 优点和缺陷 .192.5 本章小结 .20第三章 基于 SMART Board 双笔轨迹区分 .213.1 基本原理描述 .213.2 硬件设计 .223.2.1 供电模块 .233.2.2 无线传输模块 .243.2.3 发送控制模块 .253.2.

14、4 单片机固件编程 .263.2.5 USB 信号接收模块简介 .263.3 软件设计 .273.3.1 USB 信号读取与同步 .293.3.2 轨迹的生成与擦除 .303.4 本章小结 .31第四章 基于双摄像头的双笔定位 .324.1 双摄像头物体定位的基本原理 .324.2 卡尔曼滤波器 .36V清华大学综合论文训练4.2.1 卡尔曼滤波器基本思想 .364.2.2 离散卡尔曼滤波器的基本原理 .374.3 系统模型建立 .404.4 双笔定位的实现 .444.4.1 基本原理 .444.4.2 程序说明 .454.5 小结 .48第五章 总结与展望 .495.1 本论文工作 .495

15、.2 未来的工作 .49 参考文献 .51 致 谢 .53 声 明 .53 外文资料翻译 .54外文资料原文 .72VI清华大学综合论文训练第一章 引言1.1 本文的研究背景在会议、 教学和讨论中， 人们往往需要使用能够书写并显示的交互介质或设 备来更好地表达自己的思想和其他人进行沟通， 其中最传统的交互介质有纸张、 黑 板 等 。 随 着 信 息 技 术 的 飞 速 发 展 ， 计 算 机 支 持 的 多 媒 体 投 影 方 式 越 来 越 多 地 取代了传统的黑板书写，并逐渐成为高校教学、高级会议的主流。多媒体投影 虽然解决了教室会议室粉尘污染、书写板书费时费力等缺点，但仍然存在无法 克服

16、的局限和弊端。大多数时候，投影显示屏只能用来显示信息，如果需要做 笔记、进行标注，还是只能借助于键盘和鼠标。当然这样可以进行交互式的展 示和讨论，但是却没有像传统的黑板那么直接，不能直接在显示界面上进行书 写和操作成了多媒体投影的一大弱点。针对多媒体投影的这个弱点， 直接交互的触摸屏得到了开发。 触摸屏的技术 多 种 多 样 ， 可 以 电 容 式 的 ， 也 可 以 是 电 感 式 的 ， 但 是 它 们 的 目 的 是 一 样 的 ， 就 是允许用户不通过鼠标键盘直接在显示界面上进行书写和操作。这样就大大提 供了用户的工作效率，使人机交互变得更加简单直接。然 而 现 有 的 触 摸 技 术

17、 也 存 在 一 定 的 缺 陷 ， 常 见 的 触 摸 屏 往 往 只 支 持 单 个 用 户 ， 而 不 允 许 多 个 用 户 同 时 书 写 使 用 ， 不 能 很 好 地 满 足 会 议 、 讨 论 等 需 要 多 人 同时参与的应用需求。 人们需要支持两个或两个以上用户同时使用的触摸设备， 以达到类似传统黑板交互的效果。为了满足这种需求， 多用户的触摸设备越来越受到重视， 很多新出现的产品 都逐渐向这种应用需求靠近，SMAR T Board 就是其中一种产品。SMAR T Board 能 够 支 持 两 个 用 户 同 时 进 行 书 写 操 作 ， 并 能 够 实 时 测 定 两

18、 支 笔 的 坐 标 。 但 是 它 提供的只是双笔定位的基础服务， 而不能够把笔的轨迹和交互笔本身关联起来， 当 双 笔 同 时 书 写 时 ， 系 统 无 法 根 据 不 同 的 交 互 笔 显 示 不 同 颜 色 的 轨 迹 ， 只 能 使用 同 一 种 颜 色 来 表 示 两 条 轨 迹 。 这 样 对 用 户 来 说 显 得 不 够 直 观 ， 用 户 往 往 希 望第 1 页清华大学综合论文训练使 用 两 支 不 同 交 互 笔 时 能 够 显 示 不 同 颜 色 的 轨 迹 ， 并 且 轨 迹 的 颜 色 是 和 交 互 笔绑定的，SMAR T Board 就不能满足需求了。如果

19、能够在 SMART Board 基础上， 进 行 一 定 的 改 进 ， 使 系 统 能 够 在 交 互 笔 书 写 时 实 时 得 到 交 互 笔 的 信 息 ， 就 能 够 把产生的轨迹和交互笔本身绑定起来，从而实现轨迹的区分，这就是本文要做 的工作。1.2 研究内容和方法本文以 SMART Board 为实验对象， 研究显示界面上的双笔轨迹的区分问题。 研究内容主要分为两个方面， 首先是在 SMART Board 的基础上， 改进系统， 实 现在双笔书写时区分双笔轨迹； 另一个方面就是从底层上研究 SMART Board 的 技术，模拟实现 SMART Board 的双笔定位基础服务。1

20、.2.1 SMART Board 基础上实现双笔轨迹区分在双笔同时交互时，SMAR T Board 已经能够实时提供两支笔的坐标，只是 无 法 把 各 个 坐 标 和 交 互 笔 关 联 起 来 ， 因 而 无 法 实 现 轨 迹 的 区 分 。 我 们 所 要 做 的 工作是在交互笔书写时给系统发一个信息，通过系统把这个交互笔信息和得到 的坐标关联起来，就可以实现轨迹的区分。要在交互笔书写时给系统发信息， 首先要检测交互笔是否接触书写板面， 只 有在接触的时候才发送信息， 其他时候应该不发送。 由于 SMART Board 的物体 识 别 定 位 部 分 都 已 经 制 作 成 硬 件 ，

21、我 们 不 可 能 修 改 ， 要 使 系 统 能 够 适 时 发 送 信 息，只能在交互笔上进行改动，需要在交互笔笔头上安装一定的装置检测接触 信息。检测接触可以采用很多方法，如压力传感器、电感位移传感器、电容位 移传感器等传感器或是灵敏度较小开关。但是并不是所有的检测方式都适用在 这里。交互笔首先要制作成笔状才能方便用户使用，笔状的装置就决定了电路 的体积必须足够小且结构简单，同时要求检测装置经久耐用以使交互笔能够长 期书写。常规的压力、位移传感器都比较复杂，体积比较大，而且要求的电源 比较严格，往往需要高频的交流电供电，对电压电流的要求也很高，这就给电路 设 计 带 来 很 大 麻 烦

22、； 常 规 的 开 关 体 积 比 较 小 ， 原 理 很 简 单 ， 电 路 设 计 起 来 也第 2 页清华大学综合论文训练简 单 得 多 ， 但 是 也 有 一 些 缺 陷 ， 一 般 开 关 需 要 很 大 的 力 量 才 能 闭 合 ， 作 为 交 互笔 笔 尖 ， 用 户 使 用 起 来 不 是 很 顺 手 ， 比 较 生 硬 。 上 述 的 传 感 器 和 开 关 方 案 各 有 利弊，权衡之后，决定使用开关方案，寻找足够灵敏的开关，尽量减少用户使 用时的生硬感。交 互 笔 接 触 板 面 的 信 号 检 测 到 以 后 ， 就 需 要 通 过 一 定 的 方 式 传 送 到 计

23、 算 机 上 ， 系 统 才 能 真 正 收 到 交 互 笔 接 触 的 信 息 。 信 号 传 送 的 方 式 当 然 是 必 须 使 用 无 线方式，因为有线方式会妨碍交互笔的使用，而且看起来不美观。无线的传送 方式可以采用红外线、无线电波等。由于红外本身波长比较短、对障碍物的衍 射能力差的特点决定了这种传送信号的方式的方向性很强，作用角度一般都在30 度左右，而在交互笔书写过程中不可能要求用户保持交互笔的方向性，因而 红 外 方 式 不 太 适 用 。 无 线 电 波 波 长 比 红 外 线 要 长 一 些 ， 对 障 碍 物 的 衍 射 能 力 比 较强，在各个方向上都能实现良好接收，

24、很适合用在交互笔的信号传送上。系统得到交互笔的接触信号后， 需要把这个信号同交互笔的坐标信息结合起 来才能实现轨迹的区分。 但是 SMART Board 的定位速度很快， 每秒钟能够生成 上 百 个 交 互 笔 坐 标 ， 交 互 笔 的 接 触 信 号 不 可 能 也 以 这 么 高 的 频 率 发 送 给 系 统 。 即使能够实现这么高频率的信号发送，要保证交互笔的每个坐标信号和接触信 号同步也是一件非常困难的事情。因此只能在每次书写时发送一次接触信号。 同时由于无线电通讯信道独享，两支笔同时发送无线电信号时会产生冲突，使 接收端无法收到信号，所以交互笔的接触信号只能在交互笔接触板面的一瞬间 发送，其他时间不发送，把冲突的可能性降到最低。每条轨迹的第一个坐标点 和接触信号绑定后，接下来产生的新的坐标点需要根据与前面坐标点的关系进 行分类，就可以实现轨迹的区分。新坐标点分类的方法可以采用简单的最邻近 距离法， 从 SMART Board 得到一个坐标点后比较与当前正在编辑的轨迹的距离， 离哪条轨迹近就把该坐标点归类到那条轨迹。至此就可以完成在 SMART Board 基础上的轨迹区分。1.2.2 模拟实现 SMART Board 的双笔定位SMART Board 采用摄像头定位技术能够实现两支笔的同时定位，但是当三第 3 页