描述
远程操作系统有四个组成部分:
应用程序
较差的情况意识使得间接驾驶(驾驶员被密封在无窗车辆内进行保护)和远程驾驶(驾驶员远程操作无人驾驶车辆)更加困难。在这两种情况下，驾驶员都依赖于视场有限的摄像机，这些摄像机会显示冲突或混乱的图像，并且无法显示车辆的外部视图。这限制了车速，导致了事故的发生。
驾驶员需要了解车辆周围的环境，并能够预测接下来会发生什么。然而，如果不能看到整个车辆的周围，这是很难做到的。驾驶员可能需要几分钟才能充分了解远程操作UGV的周围环境-他或她在执行任务期间可能没有时间!
SACR(士兵意识通过彩色测距)使用3D视频来提高驾驶员对环境的意识。它提供了几个功能，协助间接和远程驾驶:
描述
传感器
SACR传感器吊舱包括一个高清摄像机和激光测距仪。一个或多个传感器吊舱可以安装在车辆上。
三维视频
SACR实时融合来自传感器吊舱的视频和距离输入，以建立车辆周围环境的3D计算机图形模型。
应用程序
这个问题
美国在煤炭生产方面处于世界领先地位，但利润不断受到挤压。公用事业放松管制压低了价格，而更小、更短的煤层限制了生产率，同时增加了开采成本。地下能见度低限制了效率，必要的安全预防措施也限制了效率，但这些措施无法防止事故、伤害和死亡。
解决方案
NREC与合作伙伴NASA和Joy Mining Machinery合作，开发了用于半自动化连续采矿的机器人系统和用于地下采矿的其他设备。
NREC在Joy连续采矿机上安装了传感器，以精确测量机器的位置、方向和运动。这些传感器帮助操作员站在安全距离精确控制机器。操作精度的提高提高了地下煤矿开采的生产率，减少了对矿工健康和安全的危害。
描述
NREC开发团队开发了两个测试系统来改进设备定位，包括:
在地面上的测试中，该团队展示了测量水池深度的能力，误差不超过行进距离的2%。该团队还展示了在1厘米的横向偏移和1/3度的航向误差范围内跟踪激光参考的能力。
在地上测试之后，研究小组在宾夕法尼亚州的坎伯兰矿和伊利诺伊州的伦德湖矿进行了地下测试。作为DoE- fetc资助项目的一部分，DoE INEEL和CONSOL作为合作伙伴继续进行更广泛的地下测试。
应用程序
这个问题
农业设备每年涉及大量事故，往往造成严重伤害或死亡。这些事故大多是由于操作人员的错误造成的，如果能够警告操作人员车辆路径或操作环境中的危险，这些事故是可以避免的。
与此同时，在农业领域，完全自动化仅几步之遥。约翰迪尔公司在商业化AutoTrac方面取得了巨大成功，AutoTrac是约翰迪尔公司开发的基于GPS定位的自动转向系统。AutoTrac目前作为操作员辅助产品销售，没有任何障碍物检测功能。例如，增加机器感知功能可以为AutoTrac等产品提供保障，这将是实现全自动驾驶的重要因素。
任何用于该领域防护的感知系统都应该具有非常高的检测危险的概率和低的误报率，并且不会显着影响机器的生产率。
解决方案
NREC开发了一种基于多种传感模式(颜色、红外和距离数据)的感知系统，可以很容易地适应农业设备暴露的不同环境和操作条件。
我们选择基于彩色和红外图像以及激光测距仪的距离数据来探测障碍物和危险。这些传感模式是互补的，具有不同的失效模式。通过融合所有传感器产生的信息，整个系统的鲁棒性大大提高，超出了单个感知传感器的能力。
一个重要的设计选择是在我们的感知系统的几个模块中嵌入现代机器学习技术。这使得系统能够快速适应新的环境和新的操作类型，这对于农业领域的环境复杂性非常重要。
描述
为了达到感知系统所需的高度可靠性，我们选择了传感器，以便它们提供补充信息，供我们的高级推理系统使用。为了正确地融合来自相机、激光测距仪和位置估计系统的信息，我们开发了精确的多传感器校准和时间同步程序。
我们实现了特征提取器，实时分析图像，提取颜色、纹理和红外信息，并结合激光的距离估计，以构建系统运行环境的精确地图。
因为我们的感知系统必须能够很容易地适应新的环境和操作条件，所以硬编码的基于规则的系统并不适用于我们正在分析的障碍检测问题。因此，我们开发了机器学习，将车辆周围的区域分类为几个不同的兴趣类别，例如障碍物与非障碍物或固体与可压缩。我们开发了新的算法，用于在存在植被的情况下估计权重支撑面高度的过程中纳入平滑约束，并用于从非常大的数据集有效地训练我们的学习算法。
最初的系统安装在6410 John Deere拖拉机上，已经在几次现场测试中得到验证。我们目前正专注于一种小型的独立感知系统，该系统使用更便宜的传感器，并有可能作为几种现有农业机械的附加模块使用。
应用程序
这个问题
对于在斜坡上行驶的车辆，固有的“降低的稳定裕度”显著增加了侧翻或倾侧的可能性。
无人驾驶地面车辆(ugv)并不是唯一能穿越崎岖地形和陡峭斜坡的轮式车辆。现代的司机操作的采矿、林业、农业和军用车辆也这样做，而且经常在很长一段时间内高速行驶。起重机、挖掘机和其他能够提升重物的机械在斜坡上运行时，也会受到急剧增加的不稳定性的影响。斜率只是需要考虑的一个因素。防止车辆在平坦的地面上(例如在仓库内)倾侧也同样重要，特别是考虑到市场力量会奖励那些体积更小、载重量更重、载重量比以前更高的叉车制造商。
解决方案
NREC的专家设计了一个解决方案，结合了复杂的软件和硬件，包括惯性传感器和车辆重心的倾斜仪式摆锤。
在车辆运行过程中，系统会持续主动地计算稳定裕度测量值，从而触发警报、驱动“调速器”装置或改变悬架。它计算横向加速度为曲率或速度增加。当运动状态活动达到翻转/翻转漏洞时，系统会识别该情况并触发所需的操作。
该系统可以部署在机器人和驾驶员操作的车辆(包括汽车)和机械(起重机、挖掘机、叉车、托盘千斤顶等)上。
描述
NREC研究人员开发了稳定裕度估计系统的算法。这些算法考虑了不同的变量，如重力的综合效应和变化的运动力。NREC的科学家随后开发了动画模拟，以测试车辆和机械(叉车、挖掘机、起重机等)在不同坡度、速度和有效载荷下基于机动的稳定性模型。
进一步的测试涉及使用试验台硬件，包括叉车。该升降机进行了重大改装，包括传感器(陀螺仪、轴加速度计和倾角计)、稳定设备、计算机硬件和控制软件。作为硬件平台的一部分，NREC创建了一个用于仿真场景的数据记录器系统。NREC测试人员对模拟中使用的模型进行了校准，以尽量减少实际测试车辆的倾斜度风险。
传感/驾驶员控制系统是在Matlab/Simulink中开发的，包括惯性传感器模型和用户界面，用于模拟驾驶员对叉车的输入命令，包括转向、速度、提升高度、侧移和倾斜。此外，还定义了软件接口层，将稳定性预测算法与传感系统连接起来。通过驾驶员控制界面，用户可以向卡车输入驾驶命令，从而使动态模型响应这些命令。当车辆执行用户命令时，传感系统监测车辆的稳定性。
应用程序
这个问题
对于ugv来说，以最少的人为监督快速导航复杂地形一直是一个主要挑战。识别障碍的需要需要显著提高感知能力。此外，持续的撞到障碍物的可能性要求车辆足够坚固，能够在碰撞中承受可容忍的损伤后继续运行。
解决方案
基于PerceptOR的成功成果，UPI项目的感知和自动化系统正在扩展，以提高更高速度的自动化能力。
作为UPI的一部分，NREC设计了一种新的车辆，Crusher，它具有新的高度耐用的车体，增加了行驶悬架，并利用了Spinner车辆的许多发展和改进。
增强的感知能力包括新的“学习”技术，使车辆能够从地形数据中学习。然后，它可以在新的、高度多样化的地形上行驶，自主性越来越强。该团队还应用机器学习技术来改进Crusher在没有GPS的情况下的定位估计。
有效载荷的开发、集成和测试计划将持续到2008年。UPI将汇集技术和人员，生产能够在最少干预的情况下执行任务的自动驾驶汽车平台。
描述
随着两辆新车的加入，该项目将能够在不同的地形地点进行三个平行的现场测试议程:
应用程序
60英里的“城市挑战”(Urban Challenge)路线蜿蜒穿过市区，这里有拥挤的街道、建筑物、交通、道路标志、车道标记和红绿灯。确切的路线直到比赛的早晨才为人所知。每辆车都试图在六小时的时间限制内完成一系列三次任务。比赛过程中不允许任何人为干预。每辆车都利用其车载传感和推理能力在交通中安全驾驶，规划通过繁忙街道的路线，通过十字路口和交通圈，遵守速度限制和其他交通法规，并避开静止和移动的障碍物——包括其他城市挑战赛的竞争对手。
格子赛车公司参加了城市挑战赛，将智能自动驾驶从科幻小说的页面带到您城镇的街道上。为这场比赛开发的技术将为每个人提供更安全、更高效、更便捷的交通工具奠定基础。
老龄化的人口和基础设施以及不断增长的交通量使驾车者处于危险之中。如果没有技术创新，到2020年，交通事故将成为第三大死亡原因。集成的自动驾驶辅助系统和相关安全技术将防止事故和伤害，挽救生命。它们还将帮助人们在年老时保持行动自由和独立。
自动驾驶技术还可用于提高工作场所的安全性和生产率。重型机械和卡车的辅助系统将使它们更有效地运行，减少司机和旁观者的风险。
描述
《Tartan Racing》采用了多管齐下的方法来应对在城市动态环境中导航的艰巨挑战:
NREC的教职员工在克服这些技术挑战方面发挥了关键的领导作用。
应用程序
这个问题
在NREC的科学家和工程师开发出AMTS解决方案之前，公司只能依靠司机操作的叉车和拖船来运输材料，并在工厂和仓库堆放托盘。
目前的自动导引车(agv)受到无法“看到”周围环境的限制。而且，为了正常运作，他们需要复杂的设置和昂贵的设施基础设施的改变。例如，使用传统agv的公司必须为自动叉车安装特殊的传感器、夹具和附件来拾取托盘材料。
解决方案
NREC的科学家和工程师设计了一种计算机视觉系统，可以与任何移动机器人应用程序一起使用。如今，具有成本效益的AMTS解决方案可24小时有效工作，在许多情况下无需熄灯，对车辆造成的损害也比人为造成的损害要小。通常不需要改造设施基础设施来容纳agv。这些装备amts的自动车辆——机器人叉车和拖船——依靠NREC开发的低成本、高速定位系统来寻找道路。
NREC为每辆车配备了照相机和激光测距仪的组合，用于导航和控制。通过安装在叉车底部的一个向下看的摄像头，机器人可以捕捉视觉线索，并将其与预先存储的地板图像数据库进行匹配，从而成为其导航地板的地图。
使用前视摄像系统，叉车对拖车的侧面进行成像，以找到托盘，以便转移到拖船货车上。叉插入托盘孔，叉车抬起托盘。当它从拖车中倒出时，机器人叉车依靠其激光测距仪安全地从拖车中取出紧密配合的托盘。机器人拖船使用相同的向下视觉技术来移动和定位其货车进行装卸。
描述
NREC的科学家和工程师开发了四种新型视觉系统和相关的视觉伺服控制系统，以及工厂级车辆交通协调软件。
AMTS解决方案的开发始于位置估计技术和托盘采集视觉系统的原型。在将NASA的技术集成到这些系统中后，NREC提供了简化、自动拖车装卸和自动托盘堆放的演示。
随后，在一家汽车装配厂的AGV试点项目中，几辆拖曳AGV采用了AMTS向下视觉技术，并证明了其可行性。
如今，AMTS作为一种实用的解决方案，可用于制造设施、工业厂房和仓库中高效、经济地运输材料。因为它不需要改变设施基础设施，它使自动化材料处理比以往任何时候都更加实用和负担得起。
应用程序
“黑骑士”可以在白天或夜间用于对有人地面车辆来说过于危险的任务(包括前沿侦察、侦察监视和目标获取(RSTA)、情报收集和调查危险区域)，并且可以与现有的有人和无人系统集成。它使操作员能够从无人驾驶的前沿位置获取态势数据，并通过使用地图数据来确认地形假设来验证任务计划。
“黑骑士”演示了使用当前技术可用于无人地面作战车辆(ugcv)的先进能力。300马力的柴油发动机使其时速可达48英里，越野自动驾驶和远程操作时速可达15英里。其带履带驱动使其在极端的越野地形中具有很高的机动性，同时减少了其声学和热特征。12吨重的“黑骑士”可以在C-130货机内运输，并广泛使用布拉德利战斗系统项目的组件，以降低成本并简化维护。
黑骑士可以从另一辆车(例如，从布雷德利战车的指挥官站)或由下马的士兵远程操作。它的机器人操作员控制站(ROCS)为远程操作车辆提供了一个易于使用的界面。“黑骑士”的自主和半自主能力可以帮助操作员规划有效的路径，避开障碍物和地形危险，并从一个路点导航到另一个路点。辅助远程操作将人类驾驶与自主保护相结合。
2007年，“黑骑士”在空中突击远征军(AAEF)的螺旋D野外演习中进行了广泛的越野和公路测试，成功地执行了前方观察任务和其他任务。黑骑士给士兵在白天和夜间作战的主要优势。在200多个小时的连续使用中，该车没有错过一天的操作。
描述
NREC开发了黑骑士的车辆控制器、远程操作、感知和安全系统。
“黑骑士”的感知和控制模块包括激光雷达(LADAR)、高灵敏度立体摄像机、前视红外热成像摄像机和GPS。凭借其无线数据链，该传感器套件既支持全自动驾驶，也支持辅助(或半自动)驾驶。
“黑骑士”的自主导航功能包括全自动路线规划和任务规划能力。它可以在路径点之间规划路线——要么是直接的直线路径，要么是地形成本最低的路径(也就是说，对车辆来说风险最低)。“黑骑士”的感知系统融合了雷达距离数据和摄像头图像，可以探测周围的正面和负面障碍物，使其自主导航系统能够避开这些障碍物。
这些自主能力也可以在远程操作时帮助黑骑士的司机。“黑骑士”可以计划由操作员手动驾驶的路径。在“有保护的远程操作”模式下，感知系统检测到的物体被覆盖在驾驶地图上，使驾驶员能够绕过它们进行机动。当探测到道路上的致命障碍物时，自动驾驶汽车也会停下来。“黑骑士”由位于另一辆车内的机器人操作员控制站(ROCS)驾驶。它也可以通过其安全控制器被驱动离船。ROCS显示来自车辆彩色和前视红外驾驶摄像头的图像，并包括一个用于转向车辆和操作其传感器的手动控制器。它还允许驾驶员控制和查看各种车辆和传感器系统的状态。地图和路线显示可以帮助驾驶员在不熟悉的地形中导航。
ROCS还允许操作员控制指挥官独立视图(CIV)传感器套件。CIV用于远程监视和目标捕获(RSTA)，包括彩色视频和前视红外摄像机。
应用程序
这个问题
金属的露天开采、岩石的采掘和公路的建设都需要有效地清除大量的土壤、矿石和岩石。人工操作的挖掘机将材料装载到卡车上。每辆卡车通常需要经过几次，每次都需要15-20秒。操作员的工作表现在轮班的早期达到顶峰，但随着疲劳而逐渐下降。计划的空闲时间，如午餐和其他休息时间，也会降低整个班次的产量。
安全是另一个重要的考虑因素。挖掘机操作人员在安装或拆卸机器时最容易受伤。操作人员往往专注于手头的任务，可能没有注意到其他现场人员或设备进入装载区。
解决方案
自动化挖掘和装载过程将提高生产率，并通过将操作员从机器中移除，并提供完整的传感器覆盖，以监视进入工作区域的潜在危险，从而提高安全性。
认识到这个机会，NREC的科学家和工程师开发了一个完全自动化卡车装载过程的系统。
描述
在设计渐冻症和进行实验试验时，渐冻症团队将硬件、软件和算法结合起来进行感知、规划和控制。
ALS硬件子系统包括伺服控制挖掘机、车载计算系统、感知传感器和相关电子设备。在系统的开发过程中，NREC团队开发了一种基于激光的扫描系统，该系统能够穿透空气中一定量的灰尘和烟雾。此外，该团队还开发了两种不同的飞行时间扫描雷达系统，这些系统不受环境尘埃条件的影响。
NREC团队设计的软件子系统包含几个模块，用于处理传感器数据、识别卡车、选择挖掘和倾倒地点、移动挖掘机接头和防止碰撞。
规划和控制算法决定了如何工作挖掘面，在卡车上存放材料，以及在两者之间移动铲斗。感知算法处理传感器数据，并为系统的规划算法提供有关工作环境的信息。
专家操作知识被编码到称为脚本的模板中，使用简单的运动学和动态规则对模板进行调整，以生成非常快速的机器运动。该系统在一台25吨液压挖掘机上进行了全面实施和演示，并成功地以专家操作人员80%的速度装载卡车。
应用程序
LAGR项目的目标是开发新一代的学习感知和控制算法，通过强调学习自主导航来解决当前机器人地面车辆自主导航系统的缺点。DARPA希望他们选择的10个独立研究团队立即专注于算法开发，而不是在项目的早期就让一个基本的机器人平台工作。DARPA还想要一个共同的平台，这样软件就可以很容易地在团队之间共享，这样政府就可以对团队的结果进行客观的评估。
在短短7个月的时间里，NREC设计并制造了12台LAGR机器人，这使得DARPA能够按时举行LAGR启动会议，并为每个研究团队提供了一个功能齐全的自主开发平台。
参赛队伍在开球时接受了4小时的训练，并在当天能够编程基本的避障能力。开发人员能够立即专注于学习算法研究，因为所有基本的自治功能以及文档完备的api都在交付时提供了。
对所有平台进行仔细的配置控制，使开发人员能够在他们的工作站开发软件，将他们的软件加载到记忆棒上，并将记忆棒运送到DARPA，然后DARPA在他们的LAGR机器人上运行软件。
描述
LAGR机器人包括3台2.0 GHz奔腾- m计算机、立体摄像机、红外测距仪、GPS、IMU、编码器、无线通信链路和操作员控制单元。NREC将其PerceptOR软件移植到平台上，以提供基线自主能力。
通信工具包括用于机载通信的千兆以太网;无线(802.11b)以太网通信链路;可以在笔记本电脑上运行的远程监控软件;还有一个独立的射频遥控器。
用户可以在三种不同的模式下记录机器人上的数据:使用射频遥控器进行远程操作;从机载计算机系统(OCS)远程操作;在自主操作过程中。
对于每个机器人，NREC都提供了一份全面的用户手册，其中记录了机器人的功能、基线自治软件和api(带示例)，使开发人员能够轻松地将机器人传感器数据与其感知和规划算法连接起来。
应用程序
这个问题
作物喷洒对于驱动喷洒设备的操作人员来说具有固有的危险性。将驾驶员从机器中移除将提高安全性并减少健康保险费用。此外，如果一个系统可以支持夜间操作，那么由于增加的虫子活动，需要喷洒更少的化学物质来达到同样的效果。这样可以提高作物质量，减少喷洒费用。
解决方案
NREC开发了一种无人驾驶拖拉机，可用于多种农业作业，包括喷洒。该系统使用GPS接收器、车轮编码器、地面速度雷达单元和惯性测量单元(IMU)来精确记录和跟踪穿过田野或果园的路径。NREC团队在车上安装了两个彩色摄像头，以便使用基于颜色和距离的障碍物检测。
该教学/回放系统在佛罗里达州的一个橘子林中进行了测试，它在以5至8公里/小时的速度沿着7公里的路径自动喷洒。
描述
该项目的最初重点是设计改装套件，将6410拖拉机改装成自动驾驶车辆。其中一个关键要求是，改装后的车辆仍然可以像普通拖拉机一样由人驾驶，以便于路径记录过程。由于车辆不是线控驾驶，NREC开发了制动、转向和速度控制的执行器。
为了实现路径教学/回放功能，NREC开发了一种定位系统，该系统使用扩展卡尔曼滤波器来融合里程计、GPS信息和IMU测量值。路径跟踪系统基于纯寻迹算法。关于系统性能的更多信息可以在我们的“自主机器人”论文中找到。
应用程序
大多数建设性和虚拟模拟都非常简化了机器人系统的表示，特别是在移动性、目标获取、交互和协作方面。军事仿真规划算法通常将机器人车辆视为速度和传感能力降低的载人实体。模型很少包含诸如自主规划、感知和协调等方面的表示。研究地面和空中机器人系统未来应用的方案往往侧重于载人系统任务，对独特机器人能力的开发很少。
通过将现场验证的NREC机器人技术直接连接到模拟器，分析人员可以获得更高保真度的机器人系统行为模拟。这样可以更好地理解这些系统的效用和改进的最佳方向。通过将像NREC这样的机器人系统开发人员和这些系统的用户之间的循环比以往任何时候都要快得多，可以在开发周期的早期进行增强，因此成本更低。
描述
在项目的第一阶段，NREC开发了一个高度可重复使用的机器人模拟支持模块，将Field D*规划器与Janus Force上的Force模拟器连接起来。由于Janus地形的基本分辨率低于精确模拟机器人行为所需的分辨率，我们使用了分形地形生成器来为每种地形类型添加适当的粗糙度。
确保生成器生成的附加内容准确反映地形的真实难度;我们还开发了一个易于使用的基于gui的工具，该工具允许RAND分析师调整地形生成器的输入参数，确保模拟的有效性。在开发之后，相关模拟场景的成功集成测试在兰德公司的设施中运行。
在第二阶段，NREC调整了软件模块以连接到JCATS模拟器。再一次，NREC和RAND成功地在相关的模拟场景中测试了集成。NREC还开始设计一个系统，为模拟器带来新的机器人合作行为。
目前，我们正在努力开发和整合兰德公司的模拟器的这些行为。
应用程序
这个问题
今天的无人地面车辆(ugv)需要持续的人力监督和广泛的通信资源，特别是在穿越复杂的越野地形时。ugv无法支持大规模的战术军事行动，除非它们能够在没有人类持续监督的情况下自行安全航行。在所有类型的障碍物中，ugv特别容易受到“负面障碍物”的影响，比如洞或沟渠，由于车载传感器的范围和高度有限，地面车辆很难感知到这些障碍物。
解决方案
nrecs领导的团队开发了一种创新的感知器“闪电战”概念，这是一种集成的空中/地面车辆系统，为无人驾驶地面车辆集成了重要的自主感知、推理和规划。
自主UGV包括LADAR、三对立体摄像机、车内和车间传感器融合、地形分类、避障、航路点导航和动态路径规划。无人驾驶飞行器“飞行之眼”可以从上方观察地形，这是探测车辙、沟渠和死胡同等障碍物的最佳有利位置。
该团队成功演示了UGV和飞行眼协同工作以提高导航性能。UGV根据所有可用数据规划其初始路线，并将路线传输给“飞行眼”。“飞行之眼”朝UGV前面这条路线上的一个点飞去。当“飞行之眼”移动时，它向下看的传感器探测到地面上的障碍物。这些障碍物的位置根据UGV的位置传回UGV。UGV重新规划其预定路径以避开障碍物，并指示“飞行眼”侦察新路径。
改进的障碍物感知能力(由于双重、良好分离的视图)和优化的路线规划(由“飞眼”的侦察实现)通过降低车辆被禁用或困住的风险，减少操作员干预和通信系统带宽的需求，提高了UGV的自主速度。
描述
通过与分包商的合作，NREC开发了PerceptOR Blitz解决方案，分为三个阶段。
在第一阶段，该团队开发了一个车辆感知系统原型，其中包括三种传感模式、传感器融合、地形分类软件、路点导航和路径规划软件。一辆改装为计算机控制的商用ATV作为感知系统平台。
在第二阶段，该团队在四种不同地形的测试场地上对PerceptOR原型进行了验证:弗吉尼亚州的稀疏森林;亚利桑那州的沙漠灌木丛中有沟壑、沟壑和壁架;加利福尼亚有松林的山坡;在路易斯安那州，茂密的树林里长满了高大的草和其他植被。在测试过程中，该团队展示了完全集成的无人驾驶、空中/地面传感系统，用于探测和避开负面障碍物和其他危险。它们还能通过仅使用被动感应的复杂地形。此外，他们通过融合几何和颜色传感器数据对困难地形类型(地面覆盖、米高植被、沙漠灌木)进行分类。
在第三阶段，NREC团队继续通过额外的开发和现场试验来提高感知系统的性能和可靠性。该团队改进了UGV的自主操作能力，可以在次优条件下运行，例如在遮挡物(灰尘、烟雾或雨水)、GPS覆盖范围下降和通信带宽减少的情况下。
应用程序
这个问题
高尔夫球场需要持续的维护，并且通常要为半熟练的操作员团队承担高昂的人工成本来修剪球道，而且经常是在高尔夫球的高峰期。割草机操作人员必须避开高尔夫球手，保持整洁的外表，对抗疲劳，安全操作割草机。
解决方案
NREC的自动割草机系统满足了这些需求，提供了一个系统，需要最少的监督，可以在夜间和其他非高峰时段运行。
自动割草机具有高度可靠的障碍物检测和定位系统。NREC开发了一种障碍物检测系统，该系统包括一个扫描激光测距仪，可以在割草机前面建立一个区域的3D地图。它“学习”并使用这张地图来探测沿途的障碍物。机器人割草机的定位系统结合了GPS和惯性数据，提供了准确而稳健的位置估计。
描述
为了在高尔夫球场和运动场上实现完全自动化，NREC的科学家和工程师开发了可靠的障碍物检测、精确导航和有效覆盖的能力。
可靠的障碍物检测:
精确的导航:
有效的报道:
应用程序
这个问题
农民们一直在努力降低成本，提高生产率。机械收割机和许多其他农业机械需要熟练的驾驶员才能有效地工作。然而，劳动力成本和操作员疲劳增加了费用，限制了这些机器的生产率。
解决方案
NREC与项目赞助商美国国家航空航天局(NASA)和纽荷兰公司(New Holland, Inc.)合作，建造了一台机器人收割机，通过结合基于软件的教学/回放系统和基于gps的卫星定位技术，收割农作物的精度达到10厘米。该机器人能够昼夜工作，收割庄稼的速度和质量都超过人类操作人员的水平。
在加利福尼亚州El Centro进行的大量现场测试的实际结果表明，自动化收割机可以提高效率;降低成本，以更少的努力获得更好的作物产量。
描述
对于机器人定位和导航，NREC实现了一个基于gps的差分教学/播放系统。差分GPS包括两个接收器的合作，一个是固定的，另一个是移动的，进行位置测量。固定接收器是关键。它将所有的卫星测量结果与一个可靠的本地参考数据联系起来。
有了教学/回放系统，Windrower“学习”它正在切割的领域，将路径存储在内存中，然后被编程为自己重复路径。
在项目早期，NREC团队使用颜色分割来确定机器伺服的切割线。该方法区分了代表直立作物的绿色百分比和代表收割作物的棕色残茬的百分比。系统的计算机扫描切割线以确定机器方向。Windrower以4-8英里/小时的速度引导，与作物线相差约3英寸。
其他制导和安全仪器包括一个倾角计，以保护机器免受侧翻和倾斜，以及一个陀螺仪，用于冗余制导。
应用程序
泥炭苔通常用于园艺和植物种植。它是在沼泽中发现的部分腐烂的植物物质。一个活跃的泥炭沼泽被分成较小的矩形田地，这些田地三面被排水沟包围。当最上面一层泥炭干了，田地就可以收割了。如果天气允许，每天都要收割。
泥炭是用拖拉机牵引的真空收割机收割的。真空收割机在穿过泥炭田时，会吸走最上层的干泥炭。当收割机满了，它的操作员将收获的泥炭倾倒到储存堆上。储存的泥炭随后被运走进行加工和包装。
泥炭苔藓收获是自动化的好选择，原因如下:
描述
NREC的附加感知系统执行三项对安全自主操作至关重要的任务。
探测泥炭储存桩
在将收获的泥炭倾倒到储存堆上之前，机器人需要找到堆的边缘。然而，它不能依赖GPS，因为随着收获的泥炭的加入，储存堆会改变形状、大小和位置。为了定位存储桩的边缘，感知系统在感知的三维地面上找到连续的高边坡区域。地面的概率空间模型生成平滑的地面高度估计值，并处理传感器噪声。
检测障碍
虽然泥炭田通常没有障碍物，但收割机必须检测障碍物(如人、其他收割机和其他车辆)的存在，以确保无人操作的安全。为了检测不同类型的物体，感知系统使用了一系列算法，利用3D雷达数据来寻找地面上方的密集区域、高物体和热区域。
检测沟渠
沟渠位置用GPS定位。然而，作为额外的安全预防措施，它们也会被感知系统检测到。感知系统在地面高度的平滑估计中搜索沟渠形状。
应用程序
RVCA为FCS提供以下好处:
描述
RVCA由以下部分组成:
现场工程评估的重点是航路点跟踪、远程操作、系统与ANS和其他软件组件的整体性能，以及士兵在现场的使用情况。该项目将于2010年以士兵操作实验结束。
应用程序
这个问题
随着天然气管道基础设施的老化，公用事业公司面临着越来越频繁的配电网检查需求。传统的管道检查方法需要使用推拉系绳系统进行频繁的通道挖掘，每次挖掘的检查范围不超过100至200英尺。这就导致了对几英里长的管道进行多次、昂贵和漫长的检查，以寻找管道修复决策所需的数据。
解决方案
“探索者”系统可以通过一次挖掘进入数千英尺的管道。它收集实时视觉检测数据，并向操作人员提供即时远程反馈，以决定是否存在水侵或其他缺陷。与传统方法相比，这种信息的收集速度更快，成本更低。
机器人的结构是对称的。七元素铰接体设计包含运动/相机模块，电池携带模块和运动支持模块的镜像排列，中间有计算和电子模块。机器人的计算机和电子设备被保护在净化和加压的外壳中。关节连接每个模块到下一个模块。运动模块通过俯仰-滚动连接到相邻模块，而其他模块通过俯仰-滚动连接。这些特殊设计的接头允许机器人在管道内的方向，在任何需要的方向。
移动模块包含一个迷你鱼眼相机，以及它的镜头和照明元件。摄像机具有190度的视野，可提供管道内部的高分辨率彩色图像。该移动模块还包含双驱动执行器，设计用于部署和收回配备定制驱动轮的三条腿。这个机器人可以维持高达每秒4英寸的速度。然而，检查速度通常低于为了使操作员获得可以处理的图像。
考虑到每个机车都有自己的摄像头，系统在两端提供视图，以便在两个方向上行驶时进行观察。图像管理系统允许操作员在他或她的屏幕上同时观察两种视图中的任何一种或两者。
描述
在开发Explorer的过程中，NREC进行了需求分析、系统仿真、设计和工程、原型制造和现场测试。NREC与全国各地的天然气分配公用事业公司密切合作，得出了一个多功能和合适的设计。该机器人在两年半的开发期间进行了广泛的测试。该测试包括在美国东北部的铸铁和钢铁管道中进行为期一周的连续8小时的爆炸环境测试
该系统目前正处于升级阶段，其中正在添加NDE传感器，并根据现场试验结果对系统进行改进。这些新检测方法的不断发展将有助于保持国家天然气管道基础设施的高完整性和运行可靠性。
应用程序
这个问题
美国的观赏园艺是一个年收入110亿美元的产业，与不断减少的移民劳动力有关。不熟练的季节性劳动力正变得越来越昂贵，越来越难找到，但每年仍需要几次将盆栽植物从田地和棚子里搬运出来。苗圃产业如果要生存并继续蓬勃发展，就必须解决这个问题。目前面临的挑战是开发一种适应性强的集装箱处理解决方案，该解决方案既具有成本效益，又易于操作和维护，只需最少的技术技能，并且易于适应各种集装箱和现场条件。
解决方案
NREC与美国国家航空航天局(NASA)和项目赞助商园艺研究所(HRI)合作，开发了有效处理各种不同容器尺寸和各种植物材料的解决方案。
自动化容器处理系统旨在有效地管理以下过程:将容器从灌封机/棚子移动到现场;协调现场集装箱间距;搬运集装箱进出越冬房屋。
原型和现场测试系统设计为每天8小时处理35,000个集装箱，由一到两名操作人员完成。由此产生的好处包括:
在现场，该系统可以很容易地重新配置，以适应不断变化的条件，容器尺寸和最终用户的需求。
描述
Junior (JR)集装箱搬运系统是一个由内燃机驱动的自主移动户外平台，通过激光测距仪感知集装箱，通过机载PLC计算机控制，并通过一套电液和机电驱动系统驱动。
在JR的现场试验中获得了性能和操作数据，并提交给了赞助商。JR有足够的性能，但没有在一个价格点，使其在行业中容易接受。
项目发起人HRI随后要求NREC将JR技术应用于成本更低的附件。该附件必须连接到现有的原动机，并处理更大尺寸的容器。
NREC团队采用了在JR开发和测试的关键技术，并将其直接应用于小型挖掘机(PotCLAW)的附件。这些技术包括基于激光的锅位置传感和解释，以及可靠和稳健地“抓取”锅所需的机制设计。PotCLAW执行与JR相同的功能，除了操作员处理装载和卸载操作中抓取头的所有粗定位。所有的精细定位和锅的位置传感都是自动进行的，与JR系统完全相同。
PotClaw在NREC设施向赞助商进行了演示，并交付给当地的苗圃进行现场测试并向最终用户进行演示。
该系统是一种商业上可行的产品，可用于许可。
应用程序
这个问题
传统的喷砂方法在喷砂过程中产生有毒的空气粉尘以及每平方英尺清理40磅的有毒废物。这危及造船厂工人，并造成昂贵的处置问题。基于砂砾的方法还会将砂砾带入船体表面，从而降低油漆的粘合性能。虽然也使用单流高压水枪，但它们去除油漆的速度非常慢，对有毒的船用油漆径流没有任何作用。
解决方案
的EnvirobotTM机器人系统使用超高压水射流(55,000 psi)将船体剥离成裸露的金属。在一个纺丝头中有多个喷嘴，可以广泛地去除涂层，而不是一英寸一英寸地去除。它可以以每小时500到3000平方英尺的速度去除涂层，这取决于涂层被去除的层数。
磁铁牢牢地固定住它，使它几乎可以滚动到任何地方。所有用于汽提的水都被一个强大的真空系统回收并循环使用。清洗后的唯一残留物是油漆本身，它被自动倾倒到容器中进行适当的处理。
此外，水基剥离工艺产生更清洁的金属表面，这大大增加了涂在船上的油漆的寿命。与任何形式的喷砂或喷砂相比，水喷砂表面很容易被证明不生锈，并且可以使油漆更好地粘附。
描述
开发环境机器人TM， NREC进行需求分析，系统仿真，设计和工程，原型制造和现场测试。面对不完整和动态的需求，NREC开发了三个版本的机器人，每个版本都提供了更高的性能、灵活性和可靠性。
在两年的开发期间，这些机器人进行了广泛的测试。该测试包括在真实条件下，由经验不足的操作人员每天24小时进行为期一周的测试。NREC团队在由平、凹、凸、下表面和连接焊珠组成的特别设计的测试墙上进行了测试。在这些测试之后，该团队在几个造船厂进行了现场试验，并根据这些经验实施了十几个工程项目，以提高机器人的可靠性和可支持性。
应用程序
老鼠通过按顺序驱动腿来移动。通过在控制模式下发射一条或多条腿，它可以在地面上滚动，跳过岩石、洞和其他障碍物。这种跳跃能力使它能够克服障碍，这对于一个类似大小的有轮子或履带的机器人来说是很难或不可能处理的。
RATS的对称设计和球形形状允许它向任何方向移动，自由翻滚和弹跳。它的多条腿的精确协调使它在狭窄的空间中具有非常好的运动控制和机动性。
描述
NREC的研究人员已经建造了两个rat原型。
平面原型
平面原型是球形rat的简化版本。它的五个对称腿是由电磁阀的压缩空气气动驱动的。这个机器人被拴在一根吊杆上，通过它的中心绕圈运动。
利用平面原型对大鼠的控制策略和步态进行了研究。通过控制其腿的射击顺序，研究人员能够开发出可持续的跑步步态和跳跃步态，以克服障碍。它使用一个反馈控制器来保持最大速度。
球形的原型
球形原型是完整的球形rat的初步版本。它的12条对称腿由伺服器驱动。
该球形原型可以在地面上自由移动，并用于开发老鼠的行走步态。它使用开环模式的离散排序控制器来跟踪路径。
应用程序
这个问题
在城市环境中的侦察和放哨任务是危险的军事行动。一小群作战人员使用隐身和快速机动来定位和收集敌人的信息。遥控机器人系统能够在前方和小型武器射程之外进行侦察，将提供更广泛和更安全的侦察能力，而不会使作战人员暴露在潜在的致命情况下。
解决方案
Dragon Runner提供了一种外形小、隐身、轻量级的解决方案，使作战人员能够快速收集情报并执行哨兵监视操作。
这种四轮装置体积小，重量轻，可以装在士兵的背包里，也足够坚固，可以扔过栅栏，上下楼梯井。它的低重量和紧凑的尺寸对战士的速度，战斗能力和装载需求(食物，水，弹药)几乎没有影响。这些属性是区别于其他更重、更笨重、更慢、部署时间更长的机器人系统的关键。
描述
目的:
Dragon Runner是一种低成本的坚固型机器人，可以替代市场上已经存在的笨重、笨重、缓慢和昂贵的机器人侦察兵。Dragon Runner推动了动力传动系统、电子技术、小型化和集成化、便携式集成(背包)、小型沙漠可用显示器、界面和生产就绪的注塑材料和低成本组装部件等领域的最新技术。NREC满足了所有目标，包括开发和测试几个模块化有效载荷。
系统描述:
原型龙跑者移动地面传感器系统由一个车辆、一个小型操作员控制系统(OCS)和一个简单的双灵巧手持控制器组成，用于单手操作，所有这些都放在一个定制的背包中。
这种四轮、全轮驱动的机器人车辆具有高速行驶的能力，也可以通过缓慢、慎重、有限的控制进行操作。该系统易于操作，几乎不需要正式的操作员培训，并且可以在不到三秒的时间内从包中部署。机载红外功能可实现夜间操作。
NREC向OIF交付了几个单元，用于海军陆战队评估有效性并开发技术、战术和程序。
应用程序
下一代自主军用车辆必须具有非凡的克服地形障碍的能力，以及在障碍物和不可预测地形的影响下生存和恢复的能力。它们还必须具有燃油效率和高度可靠性，以便能够在最少的后勤支助下执行长期任务。
随着UGCV项目的发展，弹性，或车辆在任务期间承受相当大的滥用并继续前进的能力，成为关键驱动因素。这种滥用在由远程操作员或半自动传感器和软件控制的无人驾驶车辆中很常见。
为了专注于原型开发，DARPA建立了主要设计指标:
Spinner在极端崎岖的地形中进行了两年的激烈测试，其表现超出了这些指标。
Spinner通过其倒置设计和独特的船体结构，最大限度地利用了无人驾驶UGCV方面的优势，以适应其大型连续有效载荷舱，其旋转可使有效载荷垂直或向下定位。除了具备侧翻碰撞的生存能力外，车身、悬架和车轮的设计还能承受高速撞击树木、岩石或看不见的沟渠等极端正面冲击。尽管它的体积很大，由于它的低调和安静的混合操作，Spinner是非常隐形的。
描述
作为主承包商，NREC管理了30多个贸易研究、风险降低活动、子系统设计和测试活动的绩效。NREC还领导所有的集成和装配操作，并执行所有的性能测试。此外，NREC负责许多子系统，包括热管理、主要动力、驾驶高度控制、制动、安全、指挥站、OCU、通信和远程操作。此外，NREC开发了所有车辆定位、自动化、数据收集和数据分析系统，这些系统用于连续测试车辆。
在设计、制造和组装之后，Spinner完成了为期两年的高强度测试，以评估其在各种地形、天气条件和操作场景下的能力。例如，在亚利桑那州尤马试验场进行的政府控制的现场测试中，Spinner在非常崎岖的越野地形上行驶了近100英里。
总的来说，在自动导航和人类直接控制下，Spinner已经在各种越野地形上行驶了数百英里。结果继续表明，Spinner中使用的许多技术和方法在未来都是ugv的可行选择。
应用程序
TUGV为步兵提供了一种远程执行战斗任务的方法，从而降低了风险并消除了威胁。它的设计目的是在跨越军事行动范围的任务中支持下马步兵。TUGV可以执行的任务包括:
TUGV的操作人员和支撑装置在工作时可以保持隐蔽，提高了安全性。
描述
TUGV能够在极端地形下快速越野行驶，能够承受恶劣环境和高海拔。它的全轮驱动和跑平轮胎确保在危险条件下的机动性。TUGV安静的混合动力驱动支持长达24小时的任务(仅电池供电4小时)。
多功能有效载荷模块、开放硬件和jus兼容的模块化软件允许快速任务重新配置。TUGV采用通用战术安装M249和M240G机枪、士兵发射的多用途突击武器(SMAW)、轻型车辆遮蔽烟雾系统(LVOSS)和反人员障碍物突破系统(APOBS)。
TUGV的操作员控制单元(OCU)有一个坚固的头盔显示器，带有一个游戏控制器式的手控制器和轻量级的CPU，所有这些都可以装在一个背包里。OCU也有一个内置的全向天线，喉式麦克风和耳机。远程数据终端可以作为备用OCU。
视图新闻链接
NREC设计并开发了破碎机车辆，以支持UPI计划严格的现场实验时间表。
UPI项目的特点是每季度进行一次实地试验，评估大规模无人地面车辆(UGV)在各种复杂的越野地形中自主运行的能力。UPI积极的机动性、自主性和任务性能目标需要两个额外的测试平台，以适应各种任务有效载荷和最先进的自主技术。
Crusher代表了新一代的原版Spinner平台，这是世界上第一个大于6吨的越野UGV，从头开始设计。破碎机提供更多的机动性，可靠性，可维护性和灵活性比旋转，在29%的重量减轻。
应用程序
作为陆军未来部队的核心组成部分，战术ugv能够在减少士兵伤亡的同时实现新的作战能力。这种新能力的全部优势只能通过对UGV技术限制的实地验证和对陆军理论、人员、平台和基础设施的影响的考虑来实现。
UPI实验包括车辆安全性，有限通信带宽和GPS基础设施对车辆性能的影响，以及如何有效地操作和监督车辆及其有效载荷。
到2006年中期，NREC将把其最新的自动化技术集成到这两种破碎机车辆上。雷达和摄像系统的组合允许车辆对障碍物做出动态反应，并通过间隔超过一公里的任务航路点。通过地形数据分析使用架空数据将继续用于全球规划。在接下来的一年里，这两辆车将在没有任何人类干预的情况下，在极端地形上分析、计划和执行机动任务。破碎机的悬挂系统使其能够在极端地形上保持高速越野。
描述
破碎机采用CTC技术设计的新型空间框架船体，采用高强度铝管和钛节点制成。由高强度钢制成的悬挂式防震滑板使破碎机能够摆脱来自巨石和树桩的巨大撞击。粉碎者的鼻子完全重新设计，以维持与树木和灌木的正常撞击，同时也吸收重大碰撞的影响。
Timoney设计的悬架支持30英寸。行程具有可选择的刚度和可重新配置的行驶高度。破碎机可以轻松地承载超过8000磅。有效载荷和装甲。Crusher的混合动力系统允许车辆在一次充电后无声地行驶在数英里的极端地形上。一台60kW涡轮增压柴油发动机为高性能saft制造的锂离子电池模块充电。发动机和电池智能工作，为Crusher的6轮电机轮毂驱动系统提供动力，该系统围绕UQM牵引电机构建。
应用程序
APD项目将继续UGV核心机动性技术的发展和成熟。这项工作将有利于所有无人平台的移动性、子系统和控制的发展。
APD最终将作为RVCA项目的高机动UGV平台演示，取代Crusher UGV。
APD的主要性能参数包括最高时速80公里，以及自动换道能力。它的尺寸要求包括在C-130运输机上部署两辆车的能力。
描述
对于NREC设计人员来说，每小时80公里的速度要求是滑移驾驶车辆面临的最大挑战。为了满足这一要求，NREC团队在悬架技术和配置、船体结构、车辆驱动架构、电池技术、冷却方法和发动机等方面完成了深入的行业研究。
设计小组于2008年8月成功完成初步设计评审。他们计划在2009年8月推出车辆。在推出之后，APD将进行广泛的机动性测试，并最终取代Crusher成为主要的RVCA测试平台。该项目在2010年的士兵操作实验中达到高潮。
应用程序
这个问题
在建造长崎湾大桥的早期阶段，鹿岛面临着在水下沉没沉箱和在坚实的基岩中进行水下开挖的挑战。在这样的条件下部署工人是极其危险和昂贵的。地面上的工作人员远程操作三个大型切割臂，依靠安装在下面的摄像机的图像。摄像机无法穿透灰尘，也无法为有效的远程挖掘提供足够的深度感知。
解决方案
NREC的科学家们开发了一种基于结构光技术的3D传感器和显示系统，鹿岛成功地利用该系统提供了挖掘区域的3D地图。移动系统每5分钟提供新的图像，并集中在关键的周边区域，同时有效地穿透灰尘。
描述
INREC的3D成像系统可以测量整个沉箱作业区域，并专注于挖掘区域的周边，在那里切割器可能会损坏沉箱或被困在岩石和沉箱边缘之间。该系统利用:
交互式显示器作为操作员的虚拟摄像机，显示切割臂的位置和要去除的材料的分布。传感器数据在三个独立的操作站进行处理和显示。每个操作员可以独立操作和查看数据，以满足他或她的查看需求。
应用程序
这个问题
计算机辅助手术的患者登记是一个具有挑战性的问题，要求登记时间短，准确性高。注册算法通常需要在执行速度、准确性和应用程序易用性之间进行权衡。基于图像的配准算法从图像的大部分收集数据以提高准确性，这种算法需要大量计算，当输入图像包含杂波时，通常会导致性能下降。
解决方案
CMU开发了一种局部归一化相关方差加权和(Variance-Weighted Sum of Local Normalized Correlation)图像比较算法，大大降低了输入x线照片中杂波和不相关物体的影响。这种图像比较方法与模拟x射线图像的硬件加速渲染相结合，允许以亚毫米精度注册噪声，杂乱的图像。
描述
这个项目最初是为了将校园研究的技术商业化。NREC与发起人一起定义项目需求，并确保CMU的活动符合发起人对产品设计、审查和测试的严格流程。
为了最小化厂商锁定的风险，最终的产品被构建为在开源LINUX操作系统下运行，并且只使用现成的商品硬件。
项目可交付成果，包括超过2000页的设计、可追溯性、测试、参考和风险分析文档，已经转移给发起人。该软件目前正在赞助商站点进行额外的测试和产品集成。
应用程序
这个问题
在地下矿井中，传送带系统运输煤和其他材料。一个典型的煤矿可能有多达20条传送带，其中一些可能长达20,000英尺。
传送带通常由橡胶/织物层压板制成，通过将几个带段端到端紧固在一起，形成一个连续的系统。皮带系统的各部分通常由机械或硫化接头连接。机械接头使用金属夹和钢缆连接在一起来连接皮带的各个部分。硫化接头通过材料的化学粘合将皮带的各部分连接在一起。
当接头磨损时，皮带会自行分开。断裂的皮带很危险，可能会导致大量材料溢出，导致生产停工，需要昂贵的清理和维修。在长壁矿井中，机械断裂的传送带需要一个轮班才能修复，并造成25万美元的收入损失。硫化接头的断裂可能需要两班才能修复。
如果没有皮带视觉系统，煤矿工人必须手动检查每个接头，因为它沿着皮带移动。这是一项既费力又困难的任务，因为传送带的平均移动速度为每小时8-10英里，接头处经常被泥土和煤覆盖。通常，许多失败的接头没有被检测到，导致皮带故障，停机，以及数百万美元的收入损失。
解决方案
获得专利的传送带视觉系统由两个高分辨率的线扫描摄像机组成，当传送带以每分钟800英尺的速度通过系统时，这些摄像机可以对传送带进行成像。线扫描图像以每秒9000线的速度捕获，并提供清晰，无模糊的带图像。这些图像被输入高速机器视觉算法，该算法计算每条扫描线的特征，并自适应地调整阈值，以考虑组成传送带的众多部件的不同特征。然后，该机器视觉算法检测并提取传送带上每个机械接头的图像。它通过其独特的齿形图案检测机械接头，并通过对传送带图像中的边缘进行统计分析来检测硫化接头。
每个检测到的拼接图像可供传送带操作员在带视觉系统站检查。操作员可以放大每张图像，并非常详细地分析每个拼接，以找到最细微的缺陷(销钉断裂，铆钉缺失，皮带撕裂等)。失败的接头可以在预定的皮带停机期间修复，从而节省大量成本。
描述
在开发皮带视觉系统的过程中，NREC进行了需求分析、系统设计和工程、原型制造和现场测试。
NREC开发了一个快速原型系统，部署在煤矿，其唯一目的是收集不同传送带的真实图像。从该原型系统捕获的图像允许软件工程师设计，实现，测试和分析许多机器视觉算法的性能，以检测机械拼接。通过对真实数据的操作，软件工程师可以设计出一种强大的算法来检测机械接头。
随着算法的发展，NREC的工程师们建立了一个微型的模拟传送带系统，包括滚轮和接头。这使得NREC工程师可以测试原型系统，确定其问题，并在将系统部署到地下矿井之前解决任何问题。然后，他们对照明和矿山安全法规要求进行了详细分析。
光线是一个问题，因为这项任务涉及到在相机快门速度只有万分之一秒的情况下拍摄黑带。这迫使NREC对地下矿山的照明要求进行详细分析，并最终产生了一个强大的定制led照明解决方案。
此外，一个系统要在矿井中进入地下，必须通过矿井安全监管认证程序。NREC设计并建造了该系统，以满足这些严格的安全要求。
NREC开发了三个原型版本的皮带视觉系统，每个后续版本提供更高的性能，灵活性和可靠性。在两年的开发期间，广泛的测试包括在地下煤矿中每天24小时，长达一个月的运行，在那里，真正的矿工依靠该系统来监测传送带的状况。该系统的初始版本仅检测到机械拼接。最新的版本扩展了系统，以检测硫化接头，这是更难以发现在带图像。
NREC、CONSOL和Beitzel公司将继续合作设计、建造和测试低成本版本的系统。在全球范围内，具有成本效益的潜在安装量超过7000条。美国能源部正在为这个新阶段提供资金。
应用程序
SMS可用于任何类型的手持式地雷探测棒的培训。它特别设计用于AN/PSS-14地雷探测集，AN/PSS-12和Minelab F1A4探测器。其坚固的结构和易于组装和校准使其能够在各种室内和室外的培训场景中使用。它可以与物理或虚拟地雷阵列一起使用。SMS目前在美国陆军训练中心使用。它帮助训练士兵在阿富汗和其他雷区进行排雷工作。在训练期间使用SMS显著提高了受训者使用AN/PSS-14(陆军和海军陆战队下一代手持地雷探测系统)探测地雷的能力。
描述
SMS由一对立体摄像机组成，用于跟踪排雷传感器头部的目标。目标是一个颜色鲜艳的球，安装在地雷探测器的顶部。当受训者将探测器扫过模拟雷区时，SMS每秒记录目标位置30次。
根据这些位置数据，SMS测量受训人员在成功探测地雷的关键领域的表现:传感器头部的移动速度、传感器在地面上的高度、覆盖区域和扫描区域的间隙。这些信息显示在由训练主管监控的电脑显示屏上，通过颜色、覆盖范围和速度与高度图提供即时反馈。
SMS还向受训者提供实时音频反馈，在探测到地雷时发出蜂鸣声，并就总体表现给出口头信息(如“太快”或“太慢”)。这种反馈有助于提高受训者探测地雷的技能。
在每节课结束时，SMS从覆盖率、覆盖面积和地雷目标位置等方面总结受训人员的表现。在培训期间记录的数据可以保存起来，以后可以查看。
应用程序
人口老龄化和道路上车辆数量的增加是驾驶辅助和其他车辆安全产品发展的背后原因。智能辅助系统可以感知汽车或卡车周围的环境，并向驾驶员提供反馈，有助于在事故发生之前预防事故，使驾驶更安全、更容易、更少疲劳。
当前的驾驶员辅助系统使用视觉、雷达或雷达来感知车辆的环境。然而，这些传感器都有缺点。基于雷达的系统探测到其他车辆的接近，但不能给出周围环境的详细图像。基于雷达的系统也能探测到距离，但在恶劣天气下可能效果不佳。基于视觉的系统提供了详细的信息，但在短时间内处理和解释图像以做出驾驶决策是具有挑战性的。
大陆汽车系统公司正在开发基于视觉的驾驶员辅助系统，以帮助驾驶员避免事故。大陆集团正在利用NREC在机器视觉和机器学习方面的专业知识开发一种分类器，该分类器可以快速有效地检测道路上其他车辆的存在。NREC的车辆分类器旨在从车道偏离预警系统的摄像头实时视频图像中识别和定位车辆。
描述
车辆分类器使用快速，计算效率高的分类算法来识别哪些图像包含车辆，哪些图像不包含车辆。它被设计在一个便宜的数字信号处理器(DSP)上运行，它的功能比奔腾4略弱。它的输入是车道偏离预警系统的摄像头拍摄的视频，该摄像头位于驾驶员的后视镜后面。
分类算法是在包含汽车、卡车和其他车辆的道路视频图像的数据集上进行训练的。在训练数据集的每个视频帧中，手工标记每辆车的位置。从这个数据集，算法学习哪些图像特征代表其他车辆，哪些不是。NREC开发的算法将训练时间从以前发表的结果减少了一个数量级以上。
分类算法扫描原始输入图像，以识别图像中包含汽车的区域。该算法的一个重要特点是它的工作速度非常快，允许以视频帧速率处理图像的大部分区域。
描述
远程操作系统有四个组成部分:
应用程序
较差的情况意识使得间接驾驶(驾驶员被密封在无窗车辆内进行保护)和远程驾驶(驾驶员远程操作无人驾驶车辆)更加困难。在这两种情况下，驾驶员都依赖于视场有限的摄像机，这些摄像机会显示冲突或混乱的图像，并且无法显示车辆的外部视图。这限制了车速，导致了事故的发生。
驾驶员需要了解车辆周围的环境，并能够预测接下来会发生什么。然而，如果不能看到整个车辆的周围，这是很难做到的。驾驶员可能需要几分钟才能充分了解远程操作UGV的周围环境-他或她在执行任务期间可能没有时间!
SACR(士兵意识通过彩色测距)使用3D视频来提高驾驶员对环境的意识。它提供了几个功能，协助间接和远程驾驶:
描述
传感器
SACR传感器吊舱包括一个高清摄像机和激光测距仪。一个或多个传感器吊舱可以安装在车辆上。
三维视频
SACR实时融合来自传感器吊舱的视频和距离输入，以建立车辆周围环境的3D计算机图形模型。
应用程序
这个问题
美国在煤炭生产方面处于世界领先地位，但利润不断受到挤压。公用事业放松管制压低了价格，而更小、更短的煤层限制了生产率，同时增加了开采成本。地下能见度低限制了效率，必要的安全预防措施也限制了效率，但这些措施无法防止事故、伤害和死亡。
解决方案
NREC与合作伙伴NASA和Joy Mining Machinery合作，开发了用于半自动化连续采矿的机器人系统和用于地下采矿的其他设备。
NREC在Joy连续采矿机上安装了传感器，以精确测量机器的位置、方向和运动。这些传感器帮助操作员站在安全距离精确控制机器。操作精度的提高提高了地下煤矿开采的生产率，减少了对矿工健康和安全的危害。
描述
NREC开发团队开发了两个测试系统来改进设备定位，包括:
在地面上的测试中，该团队展示了测量水池深度的能力，误差不超过行进距离的2%。该团队还展示了在1厘米的横向偏移和1/3度的航向误差范围内跟踪激光参考的能力。
在地上测试之后，研究小组在宾夕法尼亚州的坎伯兰矿和伊利诺伊州的伦德湖矿进行了地下测试。作为DoE- fetc资助项目的一部分，DoE INEEL和CONSOL作为合作伙伴继续进行更广泛的地下测试。
应用程序
这个问题
农业设备每年涉及大量事故，往往造成严重伤害或死亡。这些事故大多是由于操作人员的错误造成的，如果能够警告操作人员车辆路径或操作环境中的危险，这些事故是可以避免的。
与此同时，在农业领域，完全自动化仅几步之遥。约翰迪尔公司在商业化AutoTrac方面取得了巨大成功，AutoTrac是约翰迪尔公司开发的基于GPS定位的自动转向系统。AutoTrac目前作为操作员辅助产品销售，没有任何障碍物检测功能。例如，增加机器感知功能可以为AutoTrac等产品提供保障，这将是实现全自动驾驶的重要因素。
任何用于该领域防护的感知系统都应该具有非常高的检测危险的概率和低的误报率，并且不会显着影响机器的生产率。
解决方案
NREC开发了一种基于多种传感模式(颜色、红外和距离数据)的感知系统，可以很容易地适应农业设备暴露的不同环境和操作条件。
我们选择基于彩色和红外图像以及激光测距仪的距离数据来探测障碍物和危险。这些传感模式是互补的，具有不同的失效模式。通过融合所有传感器产生的信息，整个系统的鲁棒性大大提高，超出了单个感知传感器的能力。
一个重要的设计选择是在我们的感知系统的几个模块中嵌入现代机器学习技术。这使得系统能够快速适应新的环境和新的操作类型，这对于农业领域的环境复杂性非常重要。
描述
为了达到感知系统所需的高度可靠性，我们选择了传感器，以便它们提供补充信息，供我们的高级推理系统使用。为了正确地融合来自相机、激光测距仪和位置估计系统的信息，我们开发了精确的多传感器校准和时间同步程序。
我们实现了特征提取器，实时分析图像，提取颜色、纹理和红外信息，并结合激光的距离估计，以构建系统运行环境的精确地图。
因为我们的感知系统必须能够很容易地适应新的环境和操作条件，所以硬编码的基于规则的系统并不适用于我们正在分析的障碍检测问题。因此，我们开发了机器学习，将车辆周围的区域分类为几个不同的兴趣类别，例如障碍物与非障碍物或固体与可压缩。我们开发了新的算法，用于在存在植被的情况下估计权重支撑面高度的过程中纳入平滑约束，并用于从非常大的数据集有效地训练我们的学习算法。
最初的系统安装在6410 John Deere拖拉机上，已经在几次现场测试中得到验证。我们目前正专注于一种小型的独立感知系统，该系统使用更便宜的传感器，并有可能作为几种现有农业机械的附加模块使用。
应用程序
这个问题
对于在斜坡上行驶的车辆，固有的“降低的稳定裕度”显著增加了侧翻或倾侧的可能性。
无人驾驶地面车辆(ugv)并不是唯一能穿越崎岖地形和陡峭斜坡的轮式车辆。现代的司机操作的采矿、林业、农业和军用车辆也这样做，而且经常在很长一段时间内高速行驶。起重机、挖掘机和其他能够提升重物的机械在斜坡上运行时，也会受到急剧增加的不稳定性的影响。斜率只是需要考虑的一个因素。防止车辆在平坦的地面上(例如在仓库内)倾侧也同样重要，特别是考虑到市场力量会奖励那些体积更小、载重量更重、载重量比以前更高的叉车制造商。
解决方案
NREC的专家设计了一个解决方案，结合了复杂的软件和硬件，包括惯性传感器和车辆重心的倾斜仪式摆锤。
在车辆运行过程中，系统会持续主动地计算稳定裕度测量值，从而触发警报、驱动“调速器”装置或改变悬架。它计算横向加速度为曲率或速度增加。当运动状态活动达到翻转/翻转漏洞时，系统会识别该情况并触发所需的操作。
该系统可以部署在机器人和驾驶员操作的车辆(包括汽车)和机械(起重机、挖掘机、叉车、托盘千斤顶等)上。
描述
NREC研究人员开发了稳定裕度估计系统的算法。这些算法考虑了不同的变量，如重力的综合效应和变化的运动力。NREC的科学家随后开发了动画模拟，以测试车辆和机械(叉车、挖掘机、起重机等)在不同坡度、速度和有效载荷下基于机动的稳定性模型。
进一步的测试涉及使用试验台硬件，包括叉车。该升降机进行了重大改装，包括传感器(陀螺仪、轴加速度计和倾角计)、稳定设备、计算机硬件和控制软件。作为硬件平台的一部分，NREC创建了一个用于仿真场景的数据记录器系统。NREC测试人员对模拟中使用的模型进行了校准，以尽量减少实际测试车辆的倾斜度风险。
传感/驾驶员控制系统是在Matlab/Simulink中开发的，包括惯性传感器模型和用户界面，用于模拟驾驶员对叉车的输入命令，包括转向、速度、提升高度、侧移和倾斜。此外，还定义了软件接口层，将稳定性预测算法与传感系统连接起来。通过驾驶员控制界面，用户可以向卡车输入驾驶命令，从而使动态模型响应这些命令。当车辆执行用户命令时，传感系统监测车辆的稳定性。
应用程序
这个问题
对于ugv来说，以最少的人为监督快速导航复杂地形一直是一个主要挑战。识别障碍的需要需要显著提高感知能力。此外，持续的撞到障碍物的可能性要求车辆足够坚固，能够在碰撞中承受可容忍的损伤后继续运行。
解决方案
基于PerceptOR的成功成果，UPI项目的感知和自动化系统正在扩展，以提高更高速度的自动化能力。
作为UPI的一部分，NREC设计了一种新的车辆，Crusher，它具有新的高度耐用的车体，增加了行驶悬架，并利用了Spinner车辆的许多发展和改进。
增强的感知能力包括新的“学习”技术，使车辆能够从地形数据中学习。然后，它可以在新的、高度多样化的地形上行驶，自主性越来越强。该团队还应用机器学习技术来改进Crusher在没有GPS的情况下的定位估计。
有效载荷的开发、集成和测试计划将持续到2008年。UPI将汇集技术和人员，生产能够在最少干预的情况下执行任务的自动驾驶汽车平台。
描述
随着两辆新车的加入，该项目将能够在不同的地形地点进行三个平行的现场测试议程:
应用程序
60英里的“城市挑战”(Urban Challenge)路线蜿蜒穿过市区，这里有拥挤的街道、建筑物、交通、道路标志、车道标记和红绿灯。确切的路线直到比赛的早晨才为人所知。每辆车都试图在六小时的时间限制内完成一系列三次任务。比赛过程中不允许任何人为干预。每辆车都利用其车载传感和推理能力在交通中安全驾驶，规划通过繁忙街道的路线，通过十字路口和交通圈，遵守速度限制和其他交通法规，并避开静止和移动的障碍物——包括其他城市挑战赛的竞争对手。
格子赛车公司参加了城市挑战赛，将智能自动驾驶从科幻小说的页面带到您城镇的街道上。为这场比赛开发的技术将为每个人提供更安全、更高效、更便捷的交通工具奠定基础。
老龄化的人口和基础设施以及不断增长的交通量使驾车者处于危险之中。如果没有技术创新，到2020年，交通事故将成为第三大死亡原因。集成的自动驾驶辅助系统和相关安全技术将防止事故和伤害，挽救生命。它们还将帮助人们在年老时保持行动自由和独立。
自动驾驶技术还可用于提高工作场所的安全性和生产率。重型机械和卡车的辅助系统将使它们更有效地运行，减少司机和旁观者的风险。
描述
《Tartan Racing》采用了多管齐下的方法来应对在城市动态环境中导航的艰巨挑战:
NREC的教职员工在克服这些技术挑战方面发挥了关键的领导作用。
应用程序
这个问题
在NREC的科学家和工程师开发出AMTS解决方案之前，公司只能依靠司机操作的叉车和拖船来运输材料，并在工厂和仓库堆放托盘。
目前的自动导引车(agv)受到无法“看到”周围环境的限制。而且，为了正常运作，他们需要复杂的设置和昂贵的设施基础设施的改变。例如，使用传统agv的公司必须为自动叉车安装特殊的传感器、夹具和附件来拾取托盘材料。
解决方案
NREC的科学家和工程师设计了一种计算机视觉系统，可以与任何移动机器人应用程序一起使用。如今，具有成本效益的AMTS解决方案可24小时有效工作，在许多情况下无需熄灯，对车辆造成的损害也比人为造成的损害要小。通常不需要改造设施基础设施来容纳agv。这些装备amts的自动车辆——机器人叉车和拖船——依靠NREC开发的低成本、高速定位系统来寻找道路。
NREC为每辆车配备了照相机和激光测距仪的组合，用于导航和控制。通过安装在叉车底部的一个向下看的摄像头，机器人可以捕捉视觉线索，并将其与预先存储的地板图像数据库进行匹配，从而成为其导航地板的地图。
使用前视摄像系统，叉车对拖车的侧面进行成像，以找到托盘，以便转移到拖船货车上。叉插入托盘孔，叉车抬起托盘。当它从拖车中倒出时，机器人叉车依靠其激光测距仪安全地从拖车中取出紧密配合的托盘。机器人拖船使用相同的向下视觉技术来移动和定位其货车进行装卸。
描述
NREC的科学家和工程师开发了四种新型视觉系统和相关的视觉伺服控制系统，以及工厂级车辆交通协调软件。
AMTS解决方案的开发始于位置估计技术和托盘采集视觉系统的原型。在将NASA的技术集成到这些系统中后，NREC提供了简化、自动拖车装卸和自动托盘堆放的演示。
随后，在一家汽车装配厂的AGV试点项目中，几辆拖曳AGV采用了AMTS向下视觉技术，并证明了其可行性。
如今，AMTS作为一种实用的解决方案，可用于制造设施、工业厂房和仓库中高效、经济地运输材料。因为它不需要改变设施基础设施，它使自动化材料处理比以往任何时候都更加实用和负担得起。
应用程序
“黑骑士”可以在白天或夜间用于对有人地面车辆来说过于危险的任务(包括前沿侦察、侦察监视和目标获取(RSTA)、情报收集和调查危险区域)，并且可以与现有的有人和无人系统集成。它使操作员能够从无人驾驶的前沿位置获取态势数据，并通过使用地图数据来确认地形假设来验证任务计划。
“黑骑士”演示了使用当前技术可用于无人地面作战车辆(ugcv)的先进能力。300马力的柴油发动机使其时速可达48英里，越野自动驾驶和远程操作时速可达15英里。其带履带驱动使其在极端的越野地形中具有很高的机动性，同时减少了其声学和热特征。12吨重的“黑骑士”可以在C-130货机内运输，并广泛使用布拉德利战斗系统项目的组件，以降低成本并简化维护。
黑骑士可以从另一辆车(例如，从布雷德利战车的指挥官站)或由下马的士兵远程操作。它的机器人操作员控制站(ROCS)为远程操作车辆提供了一个易于使用的界面。“黑骑士”的自主和半自主能力可以帮助操作员规划有效的路径，避开障碍物和地形危险，并从一个路点导航到另一个路点。辅助远程操作将人类驾驶与自主保护相结合。
2007年，“黑骑士”在空中突击远征军(AAEF)的螺旋D野外演习中进行了广泛的越野和公路测试，成功地执行了前方观察任务和其他任务。黑骑士给士兵在白天和夜间作战的主要优势。在200多个小时的连续使用中，该车没有错过一天的操作。
描述
NREC开发了黑骑士的车辆控制器、远程操作、感知和安全系统。
“黑骑士”的感知和控制模块包括激光雷达(LADAR)、高灵敏度立体摄像机、前视红外热成像摄像机和GPS。凭借其无线数据链，该传感器套件既支持全自动驾驶，也支持辅助(或半自动)驾驶。
“黑骑士”的自主导航功能包括全自动路线规划和任务规划能力。它可以在路径点之间规划路线——要么是直接的直线路径，要么是地形成本最低的路径(也就是说，对车辆来说风险最低)。“黑骑士”的感知系统融合了雷达距离数据和摄像头图像，可以探测周围的正面和负面障碍物，使其自主导航系统能够避开这些障碍物。
这些自主能力也可以在远程操作时帮助黑骑士的司机。“黑骑士”可以计划由操作员手动驾驶的路径。在“有保护的远程操作”模式下，感知系统检测到的物体被覆盖在驾驶地图上，使驾驶员能够绕过它们进行机动。当探测到道路上的致命障碍物时，自动驾驶汽车也会停下来。“黑骑士”由位于另一辆车内的机器人操作员控制站(ROCS)驾驶。它也可以通过其安全控制器被驱动离船。ROCS显示来自车辆彩色和前视红外驾驶摄像头的图像，并包括一个用于转向车辆和操作其传感器的手动控制器。它还允许驾驶员控制和查看各种车辆和传感器系统的状态。地图和路线显示可以帮助驾驶员在不熟悉的地形中导航。
ROCS还允许操作员控制指挥官独立视图(CIV)传感器套件。CIV用于远程监视和目标捕获(RSTA)，包括彩色视频和前视红外摄像机。
应用程序
这个问题
金属的露天开采、岩石的采掘和公路的建设都需要有效地清除大量的土壤、矿石和岩石。人工操作的挖掘机将材料装载到卡车上。每辆卡车通常需要经过几次，每次都需要15-20秒。操作员的工作表现在轮班的早期达到顶峰，但随着疲劳而逐渐下降。计划的空闲时间，如午餐和其他休息时间，也会降低整个班次的产量。
安全是另一个重要的考虑因素。挖掘机操作人员在安装或拆卸机器时最容易受伤。操作人员往往专注于手头的任务，可能没有注意到其他现场人员或设备进入装载区。
解决方案
自动化挖掘和装载过程将提高生产率，并通过将操作员从机器中移除，并提供完整的传感器覆盖，以监视进入工作区域的潜在危险，从而提高安全性。
认识到这个机会，NREC的科学家和工程师开发了一个完全自动化卡车装载过程的系统。
描述
在设计渐冻症和进行实验试验时，渐冻症团队将硬件、软件和算法结合起来进行感知、规划和控制。
ALS硬件子系统包括伺服控制挖掘机、车载计算系统、感知传感器和相关电子设备。在系统的开发过程中，NREC团队开发了一种基于激光的扫描系统，该系统能够穿透空气中一定量的灰尘和烟雾。此外，该团队还开发了两种不同的飞行时间扫描雷达系统，这些系统不受环境尘埃条件的影响。
NREC团队设计的软件子系统包含几个模块，用于处理传感器数据、识别卡车、选择挖掘和倾倒地点、移动挖掘机接头和防止碰撞。
规划和控制算法决定了如何工作挖掘面，在卡车上存放材料，以及在两者之间移动铲斗。感知算法处理传感器数据，并为系统的规划算法提供有关工作环境的信息。
专家操作知识被编码到称为脚本的模板中，使用简单的运动学和动态规则对模板进行调整，以生成非常快速的机器运动。该系统在一台25吨液压挖掘机上进行了全面实施和演示，并成功地以专家操作人员80%的速度装载卡车。
应用程序
LAGR项目的目标是开发新一代的学习感知和控制算法，通过强调学习自主导航来解决当前机器人地面车辆自主导航系统的缺点。DARPA希望他们选择的10个独立研究团队立即专注于算法开发，而不是在项目的早期就让一个基本的机器人平台工作。DARPA还想要一个共同的平台，这样软件就可以很容易地在团队之间共享，这样政府就可以对团队的结果进行客观的评估。
在短短7个月的时间里，NREC设计并制造了12台LAGR机器人，这使得DARPA能够按时举行LAGR启动会议，并为每个研究团队提供了一个功能齐全的自主开发平台。
参赛队伍在开球时接受了4小时的训练，并在当天能够编程基本的避障能力。开发人员能够立即专注于学习算法研究，因为所有基本的自治功能以及文档完备的api都在交付时提供了。
对所有平台进行仔细的配置控制，使开发人员能够在他们的工作站开发软件，将他们的软件加载到记忆棒上，并将记忆棒运送到DARPA，然后DARPA在他们的LAGR机器人上运行软件。
描述
LAGR机器人包括3台2.0 GHz奔腾- m计算机、立体摄像机、红外测距仪、GPS、IMU、编码器、无线通信链路和操作员控制单元。NREC将其PerceptOR软件移植到平台上，以提供基线自主能力。
通信工具包括用于机载通信的千兆以太网;无线(802.11b)以太网通信链路;可以在笔记本电脑上运行的远程监控软件;还有一个独立的射频遥控器。
用户可以在三种不同的模式下记录机器人上的数据:使用射频遥控器进行远程操作;从机载计算机系统(OCS)远程操作;在自主操作过程中。
对于每个机器人，NREC都提供了一份全面的用户手册，其中记录了机器人的功能、基线自治软件和api(带示例)，使开发人员能够轻松地将机器人传感器数据与其感知和规划算法连接起来。
应用程序
这个问题
作物喷洒对于驱动喷洒设备的操作人员来说具有固有的危险性。将驾驶员从机器中移除将提高安全性并减少健康保险费用。此外，如果一个系统可以支持夜间操作，那么由于增加的虫子活动，需要喷洒更少的化学物质来达到同样的效果。这样可以提高作物质量，减少喷洒费用。
解决方案
NREC开发了一种无人驾驶拖拉机，可用于多种农业作业，包括喷洒。该系统使用GPS接收器、车轮编码器、地面速度雷达单元和惯性测量单元(IMU)来精确记录和跟踪穿过田野或果园的路径。NREC团队在车上安装了两个彩色摄像头，以便使用基于颜色和距离的障碍物检测。
该教学/回放系统在佛罗里达州的一个橘子林中进行了测试，它在以5至8公里/小时的速度沿着7公里的路径自动喷洒。
描述
该项目的最初重点是设计改装套件，将6410拖拉机改装成自动驾驶车辆。其中一个关键要求是，改装后的车辆仍然可以像普通拖拉机一样由人驾驶，以便于路径记录过程。由于车辆不是线控驾驶，NREC开发了制动、转向和速度控制的执行器。
为了实现路径教学/回放功能，NREC开发了一种定位系统，该系统使用扩展卡尔曼滤波器来融合里程计、GPS信息和IMU测量值。路径跟踪系统基于纯寻迹算法。关于系统性能的更多信息可以在我们的“自主机器人”论文中找到。
应用程序
大多数建设性和虚拟模拟都非常简化了机器人系统的表示，特别是在移动性、目标获取、交互和协作方面。军事仿真规划算法通常将机器人车辆视为速度和传感能力降低的载人实体。模型很少包含诸如自主规划、感知和协调等方面的表示。研究地面和空中机器人系统未来应用的方案往往侧重于载人系统任务，对独特机器人能力的开发很少。
通过将现场验证的NREC机器人技术直接连接到模拟器，分析人员可以获得更高保真度的机器人系统行为模拟。这样可以更好地理解这些系统的效用和改进的最佳方向。通过将像NREC这样的机器人系统开发人员和这些系统的用户之间的循环比以往任何时候都要快得多，可以在开发周期的早期进行增强，因此成本更低。
描述
在项目的第一阶段，NREC开发了一个高度可重复使用的机器人模拟支持模块，将Field D*规划器与Janus Force上的Force模拟器连接起来。由于Janus地形的基本分辨率低于精确模拟机器人行为所需的分辨率，我们使用了分形地形生成器来为每种地形类型添加适当的粗糙度。
确保生成器生成的附加内容准确反映地形的真实难度;我们还开发了一个易于使用的基于gui的工具，该工具允许RAND分析师调整地形生成器的输入参数，确保模拟的有效性。在开发之后，相关模拟场景的成功集成测试在兰德公司的设施中运行。
在第二阶段，NREC调整了软件模块以连接到JCATS模拟器。再一次，NREC和RAND成功地在相关的模拟场景中测试了集成。NREC还开始设计一个系统，为模拟器带来新的机器人合作行为。
目前，我们正在努力开发和整合兰德公司的模拟器的这些行为。
应用程序
这个问题
今天的无人地面车辆(ugv)需要持续的人力监督和广泛的通信资源，特别是在穿越复杂的越野地形时。ugv无法支持大规模的战术军事行动，除非它们能够在没有人类持续监督的情况下自行安全航行。在所有类型的障碍物中，ugv特别容易受到“负面障碍物”的影响，比如洞或沟渠，由于车载传感器的范围和高度有限，地面车辆很难感知到这些障碍物。
解决方案
nrecs领导的团队开发了一种创新的感知器“闪电战”概念，这是一种集成的空中/地面车辆系统，为无人驾驶地面车辆集成了重要的自主感知、推理和规划。
自主UGV包括LADAR、三对立体摄像机、车内和车间传感器融合、地形分类、避障、航路点导航和动态路径规划。无人驾驶飞行器“飞行之眼”可以从上方观察地形，这是探测车辙、沟渠和死胡同等障碍物的最佳有利位置。
该团队成功演示了UGV和飞行眼协同工作以提高导航性能。UGV根据所有可用数据规划其初始路线，并将路线传输给“飞行眼”。“飞行之眼”朝UGV前面这条路线上的一个点飞去。当“飞行之眼”移动时，它向下看的传感器探测到地面上的障碍物。这些障碍物的位置根据UGV的位置传回UGV。UGV重新规划其预定路径以避开障碍物，并指示“飞行眼”侦察新路径。
改进的障碍物感知能力(由于双重、良好分离的视图)和优化的路线规划(由“飞眼”的侦察实现)通过降低车辆被禁用或困住的风险，减少操作员干预和通信系统带宽的需求，提高了UGV的自主速度。
描述
通过与分包商的合作，NREC开发了PerceptOR Blitz解决方案，分为三个阶段。
在第一阶段，该团队开发了一个车辆感知系统原型，其中包括三种传感模式、传感器融合、地形分类软件、路点导航和路径规划软件。一辆改装为计算机控制的商用ATV作为感知系统平台。
在第二阶段，该团队在四种不同地形的测试场地上对PerceptOR原型进行了验证:弗吉尼亚州的稀疏森林;亚利桑那州的沙漠灌木丛中有沟壑、沟壑和壁架;加利福尼亚有松林的山坡;在路易斯安那州，茂密的树林里长满了高大的草和其他植被。在测试过程中，该团队展示了完全集成的无人驾驶、空中/地面传感系统，用于探测和避开负面障碍物和其他危险。它们还能通过仅使用被动感应的复杂地形。此外，他们通过融合几何和颜色传感器数据对困难地形类型(地面覆盖、米高植被、沙漠灌木)进行分类。
在第三阶段，NREC团队继续通过额外的开发和现场试验来提高感知系统的性能和可靠性。该团队改进了UGV的自主操作能力，可以在次优条件下运行，例如在遮挡物(灰尘、烟雾或雨水)、GPS覆盖范围下降和通信带宽减少的情况下。
应用程序
这个问题
高尔夫球场需要持续的维护，并且通常要为半熟练的操作员团队承担高昂的人工成本来修剪球道，而且经常是在高尔夫球的高峰期。割草机操作人员必须避开高尔夫球手，保持整洁的外表，对抗疲劳，安全操作割草机。
解决方案
NREC的自动割草机系统满足了这些需求，提供了一个系统，需要最少的监督，可以在夜间和其他非高峰时段运行。
自动割草机具有高度可靠的障碍物检测和定位系统。NREC开发了一种障碍物检测系统，该系统包括一个扫描激光测距仪，可以在割草机前面建立一个区域的3D地图。它“学习”并使用这张地图来探测沿途的障碍物。机器人割草机的定位系统结合了GPS和惯性数据，提供了准确而稳健的位置估计。
描述
为了在高尔夫球场和运动场上实现完全自动化，NREC的科学家和工程师开发了可靠的障碍物检测、精确导航和有效覆盖的能力。
可靠的障碍物检测:
精确的导航:
有效的报道:
应用程序
这个问题
农民们一直在努力降低成本，提高生产率。机械收割机和许多其他农业机械需要熟练的驾驶员才能有效地工作。然而，劳动力成本和操作员疲劳增加了费用，限制了这些机器的生产率。
解决方案
NREC与项目赞助商美国国家航空航天局(NASA)和纽荷兰公司(New Holland, Inc.)合作，建造了一台机器人收割机，通过结合基于软件的教学/回放系统和基于gps的卫星定位技术，收割农作物的精度达到10厘米。该机器人能够昼夜工作，收割庄稼的速度和质量都超过人类操作人员的水平。
在加利福尼亚州El Centro进行的大量现场测试的实际结果表明，自动化收割机可以提高效率;降低成本，以更少的努力获得更好的作物产量。
描述
对于机器人定位和导航，NREC实现了一个基于gps的差分教学/播放系统。差分GPS包括两个接收器的合作，一个是固定的，另一个是移动的，进行位置测量。固定接收器是关键。它将所有的卫星测量结果与一个可靠的本地参考数据联系起来。
有了教学/回放系统，Windrower“学习”它正在切割的领域，将路径存储在内存中，然后被编程为自己重复路径。
在项目早期，NREC团队使用颜色分割来确定机器伺服的切割线。该方法区分了代表直立作物的绿色百分比和代表收割作物的棕色残茬的百分比。系统的计算机扫描切割线以确定机器方向。Windrower以4-8英里/小时的速度引导，与作物线相差约3英寸。
其他制导和安全仪器包括一个倾角计，以保护机器免受侧翻和倾斜，以及一个陀螺仪，用于冗余制导。
应用程序
泥炭苔通常用于园艺和植物种植。它是在沼泽中发现的部分腐烂的植物物质。一个活跃的泥炭沼泽被分成较小的矩形田地，这些田地三面被排水沟包围。当最上面一层泥炭干了，田地就可以收割了。如果天气允许，每天都要收割。
泥炭是用拖拉机牵引的真空收割机收割的。真空收割机在穿过泥炭田时，会吸走最上层的干泥炭。当收割机满了，它的操作员将收获的泥炭倾倒到储存堆上。储存的泥炭随后被运走进行加工和包装。
泥炭苔藓收获是自动化的好选择，原因如下:
描述
NREC的附加感知系统执行三项对安全自主操作至关重要的任务。
探测泥炭储存桩
在将收获的泥炭倾倒到储存堆上之前，机器人需要找到堆的边缘。然而，它不能依赖GPS，因为随着收获的泥炭的加入，储存堆会改变形状、大小和位置。为了定位存储桩的边缘，感知系统在感知的三维地面上找到连续的高边坡区域。地面的概率空间模型生成平滑的地面高度估计值，并处理传感器噪声。
检测障碍
虽然泥炭田通常没有障碍物，但收割机必须检测障碍物(如人、其他收割机和其他车辆)的存在，以确保无人操作的安全。为了检测不同类型的物体，感知系统使用了一系列算法，利用3D雷达数据来寻找地面上方的密集区域、高物体和热区域。
检测沟渠
沟渠位置用GPS定位。然而，作为额外的安全预防措施，它们也会被感知系统检测到。感知系统在地面高度的平滑估计中搜索沟渠形状。
应用程序
RVCA为FCS提供以下好处:
描述
RVCA由以下部分组成:
现场工程评估的重点是航路点跟踪、远程操作、系统与ANS和其他软件组件的整体性能，以及士兵在现场的使用情况。该项目将于2010年以士兵操作实验结束。
应用程序
这个问题
随着天然气管道基础设施的老化，公用事业公司面临着越来越频繁的配电网检查需求。传统的管道检查方法需要使用推拉系绳系统进行频繁的通道挖掘，每次挖掘的检查范围不超过100至200英尺。这就导致了对几英里长的管道进行多次、昂贵和漫长的检查，以寻找管道修复决策所需的数据。
解决方案
“探索者”系统可以通过一次挖掘进入数千英尺的管道。它收集实时视觉检测数据，并向操作人员提供即时远程反馈，以决定是否存在水侵或其他缺陷。与传统方法相比，这种信息的收集速度更快，成本更低。
机器人的结构是对称的。七元素铰接体设计包含运动/相机模块，电池携带模块和运动支持模块的镜像排列，中间有计算和电子模块。机器人的计算机和电子设备被保护在净化和加压的外壳中。关节连接每个模块到下一个模块。运动模块通过俯仰-滚动连接到相邻模块，而其他模块通过俯仰-滚动连接。这些特殊设计的接头允许机器人在管道内的方向，在任何需要的方向。
移动模块包含一个迷你鱼眼相机，以及它的镜头和照明元件。摄像机具有190度的视野，可提供管道内部的高分辨率彩色图像。该移动模块还包含双驱动执行器，设计用于部署和收回配备定制驱动轮的三条腿。这个机器人可以维持高达每秒4英寸的速度。然而，检查速度通常低于为了使操作员获得可以处理的图像。
考虑到每个机车都有自己的摄像头，系统在两端提供视图，以便在两个方向上行驶时进行观察。图像管理系统允许操作员在他或她的屏幕上同时观察两种视图中的任何一种或两者。
描述
在开发Explorer的过程中，NREC进行了需求分析、系统仿真、设计和工程、原型制造和现场测试。NREC与全国各地的天然气分配公用事业公司密切合作，得出了一个多功能和合适的设计。该机器人在两年半的开发期间进行了广泛的测试。该测试包括在美国东北部的铸铁和钢铁管道中进行为期一周的连续8小时的爆炸环境测试
该系统目前正处于升级阶段，其中正在添加NDE传感器，并根据现场试验结果对系统进行改进。这些新检测方法的不断发展将有助于保持国家天然气管道基础设施的高完整性和运行可靠性。
应用程序
这个问题
美国的观赏园艺是一个年收入110亿美元的产业，与不断减少的移民劳动力有关。不熟练的季节性劳动力正变得越来越昂贵，越来越难找到，但每年仍需要几次将盆栽植物从田地和棚子里搬运出来。苗圃产业如果要生存并继续蓬勃发展，就必须解决这个问题。目前面临的挑战是开发一种适应性强的集装箱处理解决方案，该解决方案既具有成本效益，又易于操作和维护，只需最少的技术技能，并且易于适应各种集装箱和现场条件。
解决方案
NREC与美国国家航空航天局(NASA)和项目赞助商园艺研究所(HRI)合作，开发了有效处理各种不同容器尺寸和各种植物材料的解决方案。
自动化容器处理系统旨在有效地管理以下过程:将容器从灌封机/棚子移动到现场;协调现场集装箱间距;搬运集装箱进出越冬房屋。
原型和现场测试系统设计为每天8小时处理35,000个集装箱，由一到两名操作人员完成。由此产生的好处包括:
在现场，该系统可以很容易地重新配置，以适应不断变化的条件，容器尺寸和最终用户的需求。
描述
Junior (JR)集装箱搬运系统是一个由内燃机驱动的自主移动户外平台，通过激光测距仪感知集装箱，通过机载PLC计算机控制，并通过一套电液和机电驱动系统驱动。
在JR的现场试验中获得了性能和操作数据，并提交给了赞助商。JR有足够的性能，但没有在一个价格点，使其在行业中容易接受。
项目发起人HRI随后要求NREC将JR技术应用于成本更低的附件。该附件必须连接到现有的原动机，并处理更大尺寸的容器。
NREC团队采用了在JR开发和测试的关键技术，并将其直接应用于小型挖掘机(PotCLAW)的附件。这些技术包括基于激光的锅位置传感和解释，以及可靠和稳健地“抓取”锅所需的机制设计。PotCLAW执行与JR相同的功能，除了操作员处理装载和卸载操作中抓取头的所有粗定位。所有的精细定位和锅的位置传感都是自动进行的，与JR系统完全相同。
PotClaw在NREC设施向赞助商进行了演示，并交付给当地的苗圃进行现场测试并向最终用户进行演示。
该系统是一种商业上可行的产品，可用于许可。
应用程序
这个问题
传统的喷砂方法在喷砂过程中产生有毒的空气粉尘以及每平方英尺清理40磅的有毒废物。这危及造船厂工人，并造成昂贵的处置问题。基于砂砾的方法还会将砂砾带入船体表面，从而降低油漆的粘合性能。虽然也使用单流高压水枪，但它们去除油漆的速度非常慢，对有毒的船用油漆径流没有任何作用。
解决方案
的EnvirobotTM机器人系统使用超高压水射流(55,000 psi)将船体剥离成裸露的金属。在一个纺丝头中有多个喷嘴，可以广泛地去除涂层，而不是一英寸一英寸地去除。它可以以每小时500到3000平方英尺的速度去除涂层，这取决于涂层被去除的层数。
磁铁牢牢地固定住它，使它几乎可以滚动到任何地方。所有用于汽提的水都被一个强大的真空系统回收并循环使用。清洗后的唯一残留物是油漆本身，它被自动倾倒到容器中进行适当的处理。
此外，水基剥离工艺产生更清洁的金属表面，这大大增加了涂在船上的油漆的寿命。与任何形式的喷砂或喷砂相比，水喷砂表面很容易被证明不生锈，并且可以使油漆更好地粘附。
描述
开发环境机器人TM， NREC进行需求分析，系统仿真，设计和工程，原型制造和现场测试。面对不完整和动态的需求，NREC开发了三个版本的机器人，每个版本都提供了更高的性能、灵活性和可靠性。
在两年的开发期间，这些机器人进行了广泛的测试。该测试包括在真实条件下，由经验不足的操作人员每天24小时进行为期一周的测试。NREC团队在由平、凹、凸、下表面和连接焊珠组成的特别设计的测试墙上进行了测试。在这些测试之后，该团队在几个造船厂进行了现场试验，并根据这些经验实施了十几个工程项目，以提高机器人的可靠性和可支持性。
应用程序
老鼠通过按顺序驱动腿来移动。通过在控制模式下发射一条或多条腿，它可以在地面上滚动，跳过岩石、洞和其他障碍物。这种跳跃能力使它能够克服障碍，这对于一个类似大小的有轮子或履带的机器人来说是很难或不可能处理的。
RATS的对称设计和球形形状允许它向任何方向移动，自由翻滚和弹跳。它的多条腿的精确协调使它在狭窄的空间中具有非常好的运动控制和机动性。
描述
NREC的研究人员已经建造了两个rat原型。
平面原型
平面原型是球形rat的简化版本。它的五个对称腿是由电磁阀的压缩空气气动驱动的。这个机器人被拴在一根吊杆上，通过它的中心绕圈运动。
利用平面原型对大鼠的控制策略和步态进行了研究。通过控制其腿的射击顺序，研究人员能够开发出可持续的跑步步态和跳跃步态，以克服障碍。它使用一个反馈控制器来保持最大速度。
球形的原型
球形原型是完整的球形rat的初步版本。它的12条对称腿由伺服器驱动。
该球形原型可以在地面上自由移动，并用于开发老鼠的行走步态。它使用开环模式的离散排序控制器来跟踪路径。
应用程序
这个问题
在城市环境中的侦察和放哨任务是危险的军事行动。一小群作战人员使用隐身和快速机动来定位和收集敌人的信息。遥控机器人系统能够在前方和小型武器射程之外进行侦察，将提供更广泛和更安全的侦察能力，而不会使作战人员暴露在潜在的致命情况下。
解决方案
Dragon Runner提供了一种外形小、隐身、轻量级的解决方案，使作战人员能够快速收集情报并执行哨兵监视操作。
这种四轮装置体积小，重量轻，可以装在士兵的背包里，也足够坚固，可以扔过栅栏，上下楼梯井。它的低重量和紧凑的尺寸对战士的速度，战斗能力和装载需求(食物，水，弹药)几乎没有影响。这些属性是区别于其他更重、更笨重、更慢、部署时间更长的机器人系统的关键。
描述
目的:
Dragon Runner是一种低成本的坚固型机器人，可以替代市场上已经存在的笨重、笨重、缓慢和昂贵的机器人侦察兵。Dragon Runner推动了动力传动系统、电子技术、小型化和集成化、便携式集成(背包)、小型沙漠可用显示器、界面和生产就绪的注塑材料和低成本组装部件等领域的最新技术。NREC满足了所有目标，包括开发和测试几个模块化有效载荷。
系统描述:
原型龙跑者移动地面传感器系统由一个车辆、一个小型操作员控制系统(OCS)和一个简单的双灵巧手持控制器组成，用于单手操作，所有这些都放在一个定制的背包中。
这种四轮、全轮驱动的机器人车辆具有高速行驶的能力，也可以通过缓慢、慎重、有限的控制进行操作。该系统易于操作，几乎不需要正式的操作员培训，并且可以在不到三秒的时间内从包中部署。机载红外功能可实现夜间操作。
NREC向OIF交付了几个单元，用于海军陆战队评估有效性并开发技术、战术和程序。
应用程序
下一代自主军用车辆必须具有非凡的克服地形障碍的能力，以及在障碍物和不可预测地形的影响下生存和恢复的能力。它们还必须具有燃油效率和高度可靠性，以便能够在最少的后勤支助下执行长期任务。
随着UGCV项目的发展，弹性，或车辆在任务期间承受相当大的滥用并继续前进的能力，成为关键驱动因素。这种滥用在由远程操作员或半自动传感器和软件控制的无人驾驶车辆中很常见。
为了专注于原型开发，DARPA建立了主要设计指标:
Spinner在极端崎岖的地形中进行了两年的激烈测试，其表现超出了这些指标。
Spinner通过其倒置设计和独特的船体结构，最大限度地利用了无人驾驶UGCV方面的优势，以适应其大型连续有效载荷舱，其旋转可使有效载荷垂直或向下定位。除了具备侧翻碰撞的生存能力外，车身、悬架和车轮的设计还能承受高速撞击树木、岩石或看不见的沟渠等极端正面冲击。尽管它的体积很大，由于它的低调和安静的混合操作，Spinner是非常隐形的。
描述
作为主承包商，NREC管理了30多个贸易研究、风险降低活动、子系统设计和测试活动的绩效。NREC还领导所有的集成和装配操作，并执行所有的性能测试。此外，NREC负责许多子系统，包括热管理、主要动力、驾驶高度控制、制动、安全、指挥站、OCU、通信和远程操作。此外，NREC开发了所有车辆定位、自动化、数据收集和数据分析系统，这些系统用于连续测试车辆。
在设计、制造和组装之后，Spinner完成了为期两年的高强度测试，以评估其在各种地形、天气条件和操作场景下的能力。例如，在亚利桑那州尤马试验场进行的政府控制的现场测试中，Spinner在非常崎岖的越野地形上行驶了近100英里。
总的来说，在自动导航和人类直接控制下，Spinner已经在各种越野地形上行驶了数百英里。结果继续表明，Spinner中使用的许多技术和方法在未来都是ugv的可行选择。
应用程序
TUGV为步兵提供了一种远程执行战斗任务的方法，从而降低了风险并消除了威胁。它的设计目的是在跨越军事行动范围的任务中支持下马步兵。TUGV可以执行的任务包括:
TUGV的操作人员和支撑装置在工作时可以保持隐蔽，提高了安全性。
描述
TUGV能够在极端地形下快速越野行驶，能够承受恶劣环境和高海拔。它的全轮驱动和跑平轮胎确保在危险条件下的机动性。TUGV安静的混合动力驱动支持长达24小时的任务(仅电池供电4小时)。
多功能有效载荷模块、开放硬件和jus兼容的模块化软件允许快速任务重新配置。TUGV采用通用战术安装M249和M240G机枪、士兵发射的多用途突击武器(SMAW)、轻型车辆遮蔽烟雾系统(LVOSS)和反人员障碍物突破系统(APOBS)。
TUGV的操作员控制单元(OCU)有一个坚固的头盔显示器，带有一个游戏控制器式的手控制器和轻量级的CPU，所有这些都可以装在一个背包里。OCU也有一个内置的全向天线，喉式麦克风和耳机。远程数据终端可以作为备用OCU。
视图新闻链接
NREC设计并开发了破碎机车辆，以支持UPI计划严格的现场实验时间表。
UPI项目的特点是每季度进行一次实地试验，评估大规模无人地面车辆(UGV)在各种复杂的越野地形中自主运行的能力。UPI积极的机动性、自主性和任务性能目标需要两个额外的测试平台，以适应各种任务有效载荷和最先进的自主技术。
Crusher代表了新一代的原版Spinner平台，这是世界上第一个大于6吨的越野UGV，从头开始设计。破碎机提供更多的机动性，可靠性，可维护性和灵活性比旋转，在29%的重量减轻。
应用程序
作为陆军未来部队的核心组成部分，战术ugv能够在减少士兵伤亡的同时实现新的作战能力。这种新能力的全部优势只能通过对UGV技术限制的实地验证和对陆军理论、人员、平台和基础设施的影响的考虑来实现。
UPI实验包括车辆安全性，有限通信带宽和GPS基础设施对车辆性能的影响，以及如何有效地操作和监督车辆及其有效载荷。
到2006年中期，NREC将把其最新的自动化技术集成到这两种破碎机车辆上。雷达和摄像系统的组合允许车辆对障碍物做出动态反应，并通过间隔超过一公里的任务航路点。通过地形数据分析使用架空数据将继续用于全球规划。在接下来的一年里，这两辆车将在没有任何人类干预的情况下，在极端地形上分析、计划和执行机动任务。破碎机的悬挂系统使其能够在极端地形上保持高速越野。
描述
破碎机采用CTC技术设计的新型空间框架船体，采用高强度铝管和钛节点制成。由高强度钢制成的悬挂式防震滑板使破碎机能够摆脱来自巨石和树桩的巨大撞击。粉碎者的鼻子完全重新设计，以维持与树木和灌木的正常撞击，同时也吸收重大碰撞的影响。
Timoney设计的悬架支持30英寸。行程具有可选择的刚度和可重新配置的行驶高度。破碎机可以轻松地承载超过8000磅。有效载荷和装甲。Crusher的混合动力系统允许车辆在一次充电后无声地行驶在数英里的极端地形上。一台60kW涡轮增压柴油发动机为高性能saft制造的锂离子电池模块充电。发动机和电池智能工作，为Crusher的6轮电机轮毂驱动系统提供动力，该系统围绕UQM牵引电机构建。
应用程序
APD项目将继续UGV核心机动性技术的发展和成熟。这项工作将有利于所有无人平台的移动性、子系统和控制的发展。
APD最终将作为RVCA项目的高机动UGV平台演示，取代Crusher UGV。
APD的主要性能参数包括最高时速80公里，以及自动换道能力。它的尺寸要求包括在C-130运输机上部署两辆车的能力。
描述
对于NREC设计人员来说，每小时80公里的速度要求是滑移驾驶车辆面临的最大挑战。为了满足这一要求，NREC团队在悬架技术和配置、船体结构、车辆驱动架构、电池技术、冷却方法和发动机等方面完成了深入的行业研究。
设计小组于2008年8月成功完成初步设计评审。他们计划在2009年8月推出车辆。在推出之后，APD将进行广泛的机动性测试，并最终取代Crusher成为主要的RVCA测试平台。该项目在2010年的士兵操作实验中达到高潮。
应用程序
这个问题
在建造长崎湾大桥的早期阶段，鹿岛面临着在水下沉没沉箱和在坚实的基岩中进行水下开挖的挑战。在这样的条件下部署工人是极其危险和昂贵的。地面上的工作人员远程操作三个大型切割臂，依靠安装在下面的摄像机的图像。摄像机无法穿透灰尘，也无法为有效的远程挖掘提供足够的深度感知。
解决方案
NREC的科学家们开发了一种基于结构光技术的3D传感器和显示系统，鹿岛成功地利用该系统提供了挖掘区域的3D地图。移动系统每5分钟提供新的图像，并集中在关键的周边区域，同时有效地穿透灰尘。
描述
INREC的3D成像系统可以测量整个沉箱作业区域，并专注于挖掘区域的周边，在那里切割器可能会损坏沉箱或被困在岩石和沉箱边缘之间。该系统利用:
交互式显示器作为操作员的虚拟摄像机，显示切割臂的位置和要去除的材料的分布。传感器数据在三个独立的操作站进行处理和显示。每个操作员可以独立操作和查看数据，以满足他或她的查看需求。
应用程序
这个问题
计算机辅助手术的患者登记是一个具有挑战性的问题，要求登记时间短，准确性高。注册算法通常需要在执行速度、准确性和应用程序易用性之间进行权衡。基于图像的配准算法从图像的大部分收集数据以提高准确性，这种算法需要大量计算，当输入图像包含杂波时，通常会导致性能下降。
解决方案
CMU开发了一种局部归一化相关方差加权和(Variance-Weighted Sum of Local Normalized Correlation)图像比较算法，大大降低了输入x线照片中杂波和不相关物体的影响。这种图像比较方法与模拟x射线图像的硬件加速渲染相结合，允许以亚毫米精度注册噪声，杂乱的图像。
描述
这个项目最初是为了将校园研究的技术商业化。NREC与发起人一起定义项目需求，并确保CMU的活动符合发起人对产品设计、审查和测试的严格流程。
为了最小化厂商锁定的风险，最终的产品被构建为在开源LINUX操作系统下运行，并且只使用现成的商品硬件。
项目可交付成果，包括超过2000页的设计、可追溯性、测试、参考和风险分析文档，已经转移给发起人。该软件目前正在赞助商站点进行额外的测试和产品集成。
应用程序
这个问题
在地下矿井中，传送带系统运输煤和其他材料。一个典型的煤矿可能有多达20条传送带，其中一些可能长达20,000英尺。
传送带通常由橡胶/织物层压板制成，通过将几个带段端到端紧固在一起，形成一个连续的系统。皮带系统的各部分通常由机械或硫化接头连接。机械接头使用金属夹和钢缆连接在一起来连接皮带的各个部分。硫化接头通过材料的化学粘合将皮带的各部分连接在一起。
当接头磨损时，皮带会自行分开。断裂的皮带很危险，可能会导致大量材料溢出，导致生产停工，需要昂贵的清理和维修。在长壁矿井中，机械断裂的传送带需要一个轮班才能修复，并造成25万美元的收入损失。硫化接头的断裂可能需要两班才能修复。
如果没有皮带视觉系统，煤矿工人必须手动检查每个接头，因为它沿着皮带移动。这是一项既费力又困难的任务，因为传送带的平均移动速度为每小时8-10英里，接头处经常被泥土和煤覆盖。通常，许多失败的接头没有被检测到，导致皮带故障，停机，以及数百万美元的收入损失。
解决方案
获得专利的传送带视觉系统由两个高分辨率的线扫描摄像机组成，当传送带以每分钟800英尺的速度通过系统时，这些摄像机可以对传送带进行成像。线扫描图像以每秒9000线的速度捕获，并提供清晰，无模糊的带图像。这些图像被输入高速机器视觉算法，该算法计算每条扫描线的特征，并自适应地调整阈值，以考虑组成传送带的众多部件的不同特征。然后，该机器视觉算法检测并提取传送带上每个机械接头的图像。它通过其独特的齿形图案检测机械接头，并通过对传送带图像中的边缘进行统计分析来检测硫化接头。
每个检测到的拼接图像可供传送带操作员在带视觉系统站检查。操作员可以放大每张图像，并非常详细地分析每个拼接，以找到最细微的缺陷(销钉断裂，铆钉缺失，皮带撕裂等)。失败的接头可以在预定的皮带停机期间修复，从而节省大量成本。
描述
在开发皮带视觉系统的过程中，NREC进行了需求分析、系统设计和工程、原型制造和现场测试。
NREC开发了一个快速原型系统，部署在煤矿，其唯一目的是收集不同传送带的真实图像。从该原型系统捕获的图像允许软件工程师设计，实现，测试和分析许多机器视觉算法的性能，以检测机械拼接。通过对真实数据的操作，软件工程师可以设计出一种强大的算法来检测机械接头。
随着算法的发展，NREC的工程师们建立了一个微型的模拟传送带系统，包括滚轮和接头。这使得NREC工程师可以测试原型系统，确定其问题，并在将系统部署到地下矿井之前解决任何问题。然后，他们对照明和矿山安全法规要求进行了详细分析。
光线是一个问题，因为这项任务涉及到在相机快门速度只有万分之一秒的情况下拍摄黑带。这迫使NREC对地下矿山的照明要求进行详细分析，并最终产生了一个强大的定制led照明解决方案。
此外，一个系统要在矿井中进入地下，必须通过矿井安全监管认证程序。NREC设计并建造了该系统，以满足这些严格的安全要求。
NREC开发了三个原型版本的皮带视觉系统，每个后续版本提供更高的性能，灵活性和可靠性。在两年的开发期间，广泛的测试包括在地下煤矿中每天24小时，长达一个月的运行，在那里，真正的矿工依靠该系统来监测传送带的状况。该系统的初始版本仅检测到机械拼接。最新的版本扩展了系统，以检测硫化接头，这是更难以发现在带图像。
NREC、CONSOL和Beitzel公司将继续合作设计、建造和测试低成本版本的系统。在全球范围内，具有成本效益的潜在安装量超过7000条。美国能源部正在为这个新阶段提供资金。
应用程序
SMS可用于任何类型的手持式地雷探测棒的培训。它特别设计用于AN/PSS-14地雷探测集，AN/PSS-12和Minelab F1A4探测器。其坚固的结构和易于组装和校准使其能够在各种室内和室外的培训场景中使用。它可以与物理或虚拟地雷阵列一起使用。SMS目前在美国陆军训练中心使用。它帮助训练士兵在阿富汗和其他雷区进行排雷工作。在训练期间使用SMS显著提高了受训者使用AN/PSS-14(陆军和海军陆战队下一代手持地雷探测系统)探测地雷的能力。
描述
SMS由一对立体摄像机组成，用于跟踪排雷传感器头部的目标。目标是一个颜色鲜艳的球，安装在地雷探测器的顶部。当受训者将探测器扫过模拟雷区时，SMS每秒记录目标位置30次。
根据这些位置数据，SMS测量受训人员在成功探测地雷的关键领域的表现:传感器头部的移动速度、传感器在地面上的高度、覆盖区域和扫描区域的间隙。这些信息显示在由训练主管监控的电脑显示屏上，通过颜色、覆盖范围和速度与高度图提供即时反馈。
SMS还向受训者提供实时音频反馈，在探测到地雷时发出蜂鸣声，并就总体表现给出口头信息(如“太快”或“太慢”)。这种反馈有助于提高受训者探测地雷的技能。
在每节课结束时，SMS从覆盖率、覆盖面积和地雷目标位置等方面总结受训人员的表现。在培训期间记录的数据可以保存起来，以后可以查看。
应用程序
人口老龄化和道路上车辆数量的增加是驾驶辅助和其他车辆安全产品发展的背后原因。智能辅助系统可以感知汽车或卡车周围的环境，并向驾驶员提供反馈，有助于在事故发生之前预防事故，使驾驶更安全、更容易、更少疲劳。
当前的驾驶员辅助系统使用视觉、雷达或雷达来感知车辆的环境。然而，这些传感器都有缺点。基于雷达的系统探测到其他车辆的接近，但不能给出周围环境的详细图像。基于雷达的系统也能探测到距离，但在恶劣天气下可能效果不佳。基于视觉的系统提供了详细的信息，但在短时间内处理和解释图像以做出驾驶决策是具有挑战性的。
大陆汽车系统公司正在开发基于视觉的驾驶员辅助系统，以帮助驾驶员避免事故。大陆集团正在利用NREC在机器视觉和机器学习方面的专业知识开发一种分类器，该分类器可以快速有效地检测道路上其他车辆的存在。NREC的车辆分类器旨在从车道偏离预警系统的摄像头实时视频图像中识别和定位车辆。
描述
车辆分类器使用快速，计算效率高的分类算法来识别哪些图像包含车辆，哪些图像不包含车辆。它被设计在一个便宜的数字信号处理器(DSP)上运行，它的功能比奔腾4略弱。它的输入是车道偏离预警系统的摄像头拍摄的视频，该摄像头位于驾驶员的后视镜后面。
分类算法是在包含汽车、卡车和其他车辆的道路视频图像的数据集上进行训练的。在训练数据集的每个视频帧中，手工标记每辆车的位置。从这个数据集，算法学习哪些图像特征代表其他车辆，哪些不是。NREC开发的算法将训练时间从以前发表的结果减少了一个数量级以上。
分类算法扫描原始输入图像，以识别图像中包含汽车的区域。该算法的一个重要特点是它的工作速度非常快，允许以视频帧速率处理图像的大部分区域。