描述
遥操作系统由四个部分组成:
应用程序
糟糕的态势感知使得间接驾驶(驾驶员被密封在无窗户的车辆内进行保护)和远程驾驶(驾驶员远程操作无人驾驶车辆)更加困难。在这两种情况下，驾驶员所依赖的摄像机视野有限，显示的图像相互矛盾或令人困惑，而且无法显示车辆的外部视角。这限制了车辆速度并导致事故。
驾驶员需要知道车辆环境中正在发生什么，并能够预测接下来会发生什么。然而，如果不能看到整个车辆，这是很难做到的。驾驶员可能需要几分钟的时间来充分了解遥控UGV的周围环境，而在执行任务时，他或她可能没有这样的时间!
SACR(士兵感知彩色测距)使用3D视频来提高驾驶员对环境的感知能力。它提供了几个功能，以辅助间接和远程驾驶:
描述
传感器
SACR传感器舱包括一个高清摄像机和激光测距仪。一个或多个传感器吊舱可以安装在车辆上。
三维视频
SACR实时融合来自传感器吊舱的视频和距离输入，构建车辆周围环境的3D计算机图形模型。
应用程序
这个问题
美国在煤炭生产方面处于世界领先地位，但利润却不断受到挤压。公用事业的放松管制压低了价格，而更小和更短的煤层限制了生产力，同时增加了采矿成本。地下能见度低限制了效率，必要的安全预防措施也限制了效率，但这些措施未能防止事故、伤害和死亡。
解决方案
NREC与合作伙伴NASA和Joy Mining Machinery合作，开发了半自动连续矿工和用于地下采矿的其他设备的机器人系统。
NREC在一台Joy连续式采矿机上安装了传感器，以精确测量机器的位置、方向和运动。这些传感器帮助站在安全距离的操作员精确控制机器。操作精度的提高提高了地下煤矿开采的生产率，减少了对矿工的健康和安全危害。
描述
NREC开发团队开发了两个测试系统来改善设备定位，包括:
在地面测试中，该团队证明了测量水池深度的误差不超过距离的2%。该团队还展示了跟踪激光参考的能力，在1厘米的横向偏移和1/3度的航向误差。
在地面测试之后，该小组在宾夕法尼亚州的坎伯兰矿和伊利诺伊州的Rend Lake矿进行了地下测试。更广泛的地下测试继续作为DoE- fetc资助的项目的一部分，该项目增加了DoE INEEL和CONSOL作为合作伙伴。
应用程序
这个问题
农业设备每年发生大量事故，经常造成严重伤害或死亡。这些事故大多是由于操作人员的失误造成的，如果能够就车辆路径或操作环境中的危险向操作人员发出警告，这些事故是可以避免的。
与此同时，完全自动化在农业领域只有几步之遥。约翰迪尔公司在AutoTrac的商业化方面取得了巨大的成功，这是约翰迪尔公司开发的一种基于GPS定位的自动转向系统。AutoTrac目前作为操作员辅助产品销售，不具有任何障碍检测功能。例如，添加机器感知功能可以为AutoTrac这样的产品提供安全保障，这将是全面车辆自动化的重要推动因素。
用于该领域的任何感知系统都应该具有非常高的检测危险的概率，并且虚警率较低，不会显著影响机器的生产力。
解决方案
NREC开发了一种基于多种传感形式(颜色、红外和距离数据)的感知系统，可以很容易地适应农业设备所暴露的不同环境和操作条件。
我们选择了基于颜色和红外图像以及激光测距仪的距离数据来探测障碍物和危险。这些传感模式是互补的，具有不同的失效模式。通过融合所有传感器产生的信息，整个系统的鲁棒性大大提高，超过了单个感知传感器的能力。
一个重要的设计选择是将现代机器学习技术嵌入我们感知系统的几个模块中。这使得系统能够快速适应新环境和新类型的操作，这对于农业领域的环境复杂性是很重要的。
描述
为了达到感知系统所需的高度可靠性，我们选择了传感器，以便它们提供可以被我们的高级推理系统利用的补充信息。为了正确地融合来自相机、激光测距仪和位置估计系统的信息，我们开发了精确的多传感器校准和时间同步程序。
我们实现了特征提取器，实时分析图像并提取颜色、纹理和红外信息，这些信息与激光的距离估计相结合，以构建系统运行环境的精确地图。
由于我们的感知系统必须容易地适应新的环境和操作条件，硬编码的基于规则的系统不适用于我们正在分析的障碍检测问题。因此，我们开发了机器学习，将车辆周围的区域分类为几个不同的类别，如障碍物与非障碍物或固体与可压缩。我们开发了新的算法，用于在估算有植被存在的权重支撑面高度的过程中纳入平滑约束，并用于从非常大的数据集有效地训练我们的学习算法。
安装在6410 John Deere拖拉机上的初始系统已经在几次现场测试中进行了演示。我们目前专注于一种小型独立的感知系统，该系统使用更便宜的传感器，有可能被用作几种现有农业机械类型的附加模块。
应用程序
这个问题
对于在斜坡上运行的车辆，固有的“稳定裕度降低”显著增加了侧翻或翻车的可能性。
无人地面车辆(ugv)并不是唯一可以穿越崎岖地形和陡坡的轮式车辆。当代的驾驶采矿、林业、农业和军用车辆也可以这样做，而且经常在很长一段时间内高速行驶。起重机、挖掘机和其他起重机械在斜坡上作业时，不稳定性也会急剧增加。斜率只是要考虑的一个因素。防止车辆在平面上翻车(例如在仓库内)也同样重要，尤其是考虑到市场力量对叉车制造商的奖励是更小、更重的负载，并将这些负载抬得比以前更高。
解决方案
NREC的专家们设计了一种解决方案，该方案结合了复杂的软件和硬件，包括惯性传感器和位于车辆重心的倾角计式摆锤。
在车辆运行期间，系统连续主动地计算稳定裕度测量值，以触发警报，驱动“调速器”装置或改变悬挂。它计算横向加速度为曲率或速度增加。当运动状态活动达到翻转/翻车漏洞时，系统识别这种情况并触发所需的操作。
该系统可以部署在机器人和驾驶员操作的车辆(包括汽车)和机械(起重机、挖掘机、起重卡车、托盘千斤顶等)上。
描述
NREC的研究人员开发了稳定裕度估计系统的算法。这些算法考虑了不同的变量，如重力的聚合效应和变化的运动学力。NREC的科学家随后开发了动画模拟，以测试车辆和机械(起重卡车、挖掘机、起重机等)在不同斜坡、速度和有效载荷关节下的机动稳定性模型。
进一步的测试包括使用试验台硬件，包括一台叉车。升降机进行了重大改装，以纳入传感器，(陀螺，轴加速度计和倾角计)，稳定设备，计算机硬件和控制软件。作为硬件平台的一部分，NREC创建了一个用于模拟场景的数据记录器系统。NREC测试人员校准了用于模拟的模型，以最大限度地降低实际测试车辆的翻车风险。
传感/驾驶员控制系统是在Matlab/Simulink中开发的，包括惯性传感器模型和用户界面，用于模拟输入驾驶员对叉车的命令，包括转向、速度、升降机高度、侧移和倾斜。此外，定义了一个软件接口层来连接稳定性预测算法和传感系统。通过驾驶员控制界面，用户可以向卡车输入驱动命令，从而生成响应这些命令的动态模型。当车辆执行用户命令时，传感系统监测车辆的稳定性。
应用程序
这个问题
在复杂地形中快速导航，并在最少的人力监督下一直是水下潜航器面临的主要挑战。识别障碍的需要需要感知能力的显著提高。此外，持续遇到障碍物的可能性要求车辆足够坚固，以在碰撞中承受可承受的损伤后继续运行。
解决方案
基于PerceptOR的成功成果，UPI项目的感知和自动化系统正在得到扩展，以更快的速度提高自动化能力。
作为UPI的一部分，NREC设计了一款新的车辆，Crusher，其特点是新的高度耐用的车体，增加了旅行悬挂，并利用了Spinner车辆的许多发展和改进。
增强的感知能力包括新的“学习”技术，使车辆能够从地形数据中学习。然后，它可以在新的、高度变化的地形上导航，并提高自主性。该团队还应用机器学习技术来提高Crusher在没有GPS的情况下的定位估计。
有效载荷的开发、集成和测试计划持续到2008年。UPI将汇集技术和人员，生产能够在最小干预下执行任务的自动驾驶汽车平台。
描述
随着两辆新车的加入，该项目将能够在不同的地形地点进行三个并行的现场测试议程:
应用程序
60英里的城市挑战赛在拥挤的街道、建筑、交通、路标、车道标志和红绿灯的城市地区蜿蜒而行。确切的路线直到比赛早上才知道。每辆车都试图在6小时的时限内完成一系列3次任务。比赛过程中不允许任何人为干预。每辆车都利用其车载传感和推理能力在交通中安全驾驶，在繁忙的街道上规划路线，通过十字路口和交通圈，遵守速度限制和其他交通法规，避开静止和移动的障碍物——包括其他城市挑战赛的参赛者。
Tartan Racing参加了城市挑战赛，将智能自动驾驶从科幻小说的页面带到你所在城镇的街道上。为这场比赛开发的技术将为每个人更安全、更高效、更便捷的交通奠定基础。
老龄化的人口、基础设施和日益增长的交通量使驾车者面临危险。如果没有技术创新，到2020年，车祸将成为第三大死亡原因。集成的自动驾驶辅助系统和相关安全技术将防止事故和伤害，挽救生命。它们还将帮助人们在变老时保持行动自由和独立。
自动驾驶技术还可以用于提高工作场所的安全和生产力。重型机械和卡车的辅助系统将使它们更有效地运行，并降低司机和旁观者的风险。
描述
《Tartan Racing》采用多管齐下的方法来应对在城市动态环境中导航的艰巨挑战:
NREC的教职员工在克服这些技术挑战方面发挥了关键的领导作用。
应用程序
这个问题
在NREC的科学家和工程师开发出AMTS解决方案之前，公司在工厂和仓库中运输材料和堆放托盘时，只能依靠司机操作的叉车和拖船来选择。
目前的自动引导车辆(agv)由于无法“看到”周围环境而受到限制。而且，为了发挥作用，它们需要对设施基础设施进行复杂的设置和昂贵的更改。例如，使用传统agv的公司必须为自动叉车安装特殊的传感器、夹具和附件，以拾取一托盘材料。
解决方案
NREC的科学家和工程师设计了一种可以用于任何移动机器人应用的计算机视觉系统。如今，具有成本效益的AMTS解决方案全天候有效工作，在许多情况下不熄灯，对车辆的损害小于人为造成的损害。通常不需要改造设施基础设施以适应agv。这些配备amts的自动化车辆——机器人叉车和拖船——依靠NREC开发的低成本、高速定位系统找到自己的方向。
NREC为每辆车配备了摄像头和激光测距仪的组合，用于导航和控制。通过安装在叉车底部的向下摄像头，机器人捕捉视觉线索，并将其与预先存储的地板图像数据库进行匹配，从而成为其在地板上导航的地图。
使用前视摄像头系统，叉车对拖车的侧面进行成像，以找到用于转移到拖曳车辆货车上的托盘。叉车将叉车叉插入托盘孔中，抬起托盘。当它从拖车中倒车时，机器人叉车依靠其激光测距仪安全地将紧密的托盘从拖车中移除。机器人拖车使用同样的向下视觉技术来移动和定位其货车，以便装卸货物。
描述
NREC的科学家和工程师开发了四种新型视觉系统和相关的视觉伺服控制系统，以及工厂级车辆交通协调软件。
AMTS解决方案的开发始于位置估计技术和托盘采集视觉系统的原型。在将NASA技术集成到这些系统中后，NREC提供了简化的自动化拖车装卸和自动化托盘堆叠的演示。
随后，在一家汽车装配厂的AGV试点项目中，几辆拖轮AGV使用了AMTS向下视觉技术，并证明了其可行性。
今天，AMTS是一种实用的解决方案，可用于制造设施、工业工厂和仓库中高效、经济的材料运输。由于不需要改变设施基础设施，它使自动化材料处理比以往任何时候都更加实用和负担得起。
应用程序
“黑骑士”可用于白天或夜间执行对载人地面车辆来说风险太大的任务(包括前方侦察、侦察监视和目标获取(RSTA)、情报收集和调查危险区域)，并可与现有的有人驾驶和无人驾驶系统集成。它使操作人员能够从无人前方阵地获取态势数据，并通过使用地图数据确认地形假设来验证任务计划。
“黑骑士”展示了使用当前技术为无人地面战斗车辆(ugcv)提供的先进能力。其300马力的柴油发动机使其速度高达48英里/小时，越野自动驾驶和遥操作速度可达15英里/小时。它的带轨驱动使其在极端越野地形中高度机动，同时降低了其声学和热信号。“黑骑士”重达12吨，可由C-130运输机运输，大量使用布莱德利战斗系统项目的部件，以降低成本并简化维护。
“黑骑士”可以从另一辆车(例如，从布雷德利战车的指挥官站)或由下马的士兵远程操控。它的机器人操作员控制站(ROCS)为远程操作车辆提供了一个易于使用的界面。“黑骑士”的自主和半自主能力有助于其操作员规划有效的路径，避免障碍物和地形危险，并在航路点之间导航。辅助遥操作将人类驾驶与自动防护相结合。
“黑骑士”在2007年的空中突击远征部队(AAEF)螺旋D野外演习中进行了广泛的越野和公路测试，在那里它成功地执行了前方观察任务和其他任务。黑骑士在白天和夜间作战中都给了士兵很大的优势。在超过200小时的持续使用中，该车辆没有错过任何一天的操作。
描述
NREC开发了黑骑士的车辆控制器、远程操作、感知和安全系统。
“黑骑士”的感知和控制模块包括激光雷达(LADAR)、高灵敏度立体摄像机、前视红外热成像摄像机和GPS。通过无线数据链，传感器套件既支持全自动驾驶，也支持辅助(或半自动)驾驶。
“黑骑士”的自主导航功能包括全自动路线规划和任务规划功能。它可以规划路径点之间的路线，可以是直接的直线路径，也可以是地形成本最低的路径(也就是说，对车辆的风险最低)。“黑骑士”的感知系统融合了LADAR距离数据和相机图像，以检测周围的正面和负面障碍物，使其自主导航系统能够避开它们。
这些自主功能也可以在远程操作时协助黑骑士的司机。“黑骑士”可以规划路径，由操作员手动驾驶。在“受保护遥操作”模式下，感知系统检测到的物体被覆盖在驾驶地图上，使驾驶员能够绕过它们。当探测到道路上有致命障碍时，车辆也会停下来。“黑骑士”由位于另一辆车内的机器人操作员控制站(ROCS)驾驶。它还可以通过安全控制器驶离飞机。ROCS显示来自车辆彩色和FLIR驾驶摄像头的图像，并包括一个用于转向车辆和操作传感器的手动控制器。它还允许司机控制和查看各种车辆和传感器系统的状态。地图和路线显示帮助司机在不熟悉的地形中导航。
ROCS还允许操作员控制“指挥官独立视图”(CIV)传感器套件。CIV用于远程监视和目标捕获(RSTA)，包括彩色视频和前视红外摄像机。
应用程序
这个问题
金属的露天开采、岩石的采石和高速公路的建设都需要有效地清除大量的土壤、矿石和岩石。人工操作的挖掘机将材料装载到卡车上。每辆卡车通常需要通过几次，每一次都需要15-20秒。操作员的工作表现在轮班初期达到顶峰，但随着疲劳而下降。预定的空闲时间，如午餐和其他休息时间，也会降低整个班次的产量。
安全是另一个重要的考虑因素。挖掘机操作人员在安装或拆卸机器时最容易受伤。操作人员往往专注于手头的任务，可能没有注意到其他现场人员或设备进入装载区。
解决方案
挖掘和装载过程的自动化将提高生产率，并通过将操作员从机器上移除，并通过提供完整的传感器覆盖来监视进入工作区域的潜在危险，从而提高安全性。
NREC的科学家和工程师认识到这个机会，开发了一个完全自动化卡车装载过程的系统。
描述
在设计ALS和进行实验试验时，ALS团队在感知、规划和控制方面结合了硬件、软件和算法。
ALS硬件子系统由伺服控制挖掘机、车载计算系统、感知传感器和相关电子设备组成。在系统开发过程中，NREC团队开发了一种基于激光的扫描系统，该系统能够穿透空气中合理数量的灰尘和烟雾。此外，该团队还开发了两种不同的飞行时间扫描雷达系统，不受环境粉尘条件的影响。
NREC团队设计了包含多个模块的软件子系统，用于处理传感器数据、识别卡车、选择挖掘和倾倒位置、移动挖掘机关节以及防止碰撞。
规划和控制算法决定了如何在挖掘面工作，如何在卡车上存放材料，以及如何在两者之间移动铲斗。感知算法处理传感器数据，并向系统的规划算法提供有关工作环境的信息。
专家操作员知识被编码到称为脚本的模板中，使用简单的运动学和动态规则进行调整，以生成非常快速的机器运动。该系统在一台25吨的液压挖掘机上进行了全面实施和演示，并成功地以约80%的专家操作员速度装载卡车。
应用程序
LAGR项目的目标是开发新一代学习感知和控制算法，通过强调学习自主导航，解决当前机器人地面车辆自主导航系统的不足之处。DARPA希望他们选择的10个独立研究团队立即专注于算法开发，而不是在项目早期就投入到获得一个基线机器人平台的工作中。DARPA还想要一个公共平台，这样软件就可以很容易地在团队之间共享，这样政府就可以客观地评估团队的成果。
在短短7个月的时间里，NREC设计并制造了12个LAGR机器人，使DARPA能够按时举行LAGR启动会议，并为每个研究团队提供一个功能齐全的自主开发平台。
团队在开球时接受了4小时的训练，并能够在同一天编程基本的避障能力。开发人员能够立即专注于学习算法的研究，因为交付时提供了所有基本的自治功能以及良好记录的api。
对所有平台进行仔细的配置控制，使开发人员能够在他们的主工作站开发软件，将软件加载到记忆棒上，并将记忆棒运送到DARPA，然后在他们的LAGR机器人上运行软件。
描述
LAGR机器人包括三台2.0 GHz奔腾- m计算机、立体摄像机、红外测距仪、GPS、IMU、编码器、无线通信链路和操作员控制单元。NREC将其感知器软件移植到平台上，以提供基线自主能力。
通信工具包括用于车载通信的千兆以太网;无线(802.11b)以太网通信链路;可以在笔记本电脑上运行的远程监控软件;还有一个独立的射频遥控器。
用户可以通过三种不同的模式在机器人上记录数据:使用射频遥控器远程操作;从机载计算机系统(OCS)遥操作;在自动操作过程中。
对于每个机器人，NREC都提供了一个全面的用户手册，其中记录了机器人的能力、基线自治软件和api(带示例)，使开发人员能够轻松地将机器人传感器数据与他们的感知和规划算法连接起来。
应用程序
这个问题
对驾驶喷洒设备的操作人员来说，作物喷洒本身就是危险的。将司机从机器上移除将提高安全性并降低医疗保险成本。此外，如果一个系统可以支持夜间作业，那么为了达到同样的效果，就不需要喷洒那么多化学物质，因为会增加虫子的活动。这可以提高作物质量，减少喷洒费用。
解决方案
NREC开发了一种无人拖拉机，可用于多种农业操作，包括喷洒。该系统使用GPS接收器、车轮编码器、地面速度雷达单元和惯性测量单元(IMU)，以便精确记录和跟踪穿过田野或果园的路径。NREC团队在车上安装了两个彩色摄像头，以实现基于颜色和范围的障碍物检测。
该教学/回放系统在佛罗里达州的橘子林进行了测试，它以5至8公里/小时的速度沿着7公里的路径自动喷洒。
描述
该项目的最初重点是设计将6410拖拉机改装为自动驾驶汽车的改装套件。其中一个关键要求是，在改造后，车辆仍然可以像普通拖拉机一样由人驾驶，以促进路径记录过程。由于车辆不是有线驾驶，NREC开发了制动、转向和速度控制的执行器。
为了实现路径教学/回放能力，NREC开发了一种定位系统，该系统使用扩展卡尔曼滤波器来融合里程计、GPS信息和IMU测量。路径跟踪系统基于纯追踪算法。关于该系统性能的更多信息可以在我们的“自主机器人”论文中找到。
应用程序
大多数建设性和虚拟仿真都对机器人系统进行了非常简化的表示，特别是在机动性、目标捕获、交互和协作方面。军事仿真规划算法通常将机器人车辆视为速度和传感能力降低的载人实体。模型很少包含诸如自主计划、感知和协调等方面的表示。研究地面和空中机器人系统未来应用的方案往往集中于载人系统任务，很少开发独特的机器人能力。
通过将经过现场验证的NREC机器人技术直接连接到模拟器，分析人员可以获得更高保真度的机器人系统行为模拟。这样可以更好地理解这些系统的效用和改进的最佳方向。通过比以往任何时候都更快地关闭像NREC这样的机器人系统开发人员和这些系统的用户之间的循环，可以在开发周期的早期进行增强，因此成本更低。
描述
在项目的第一阶段，NREC开发了一个高度可重用的机器人仿真支持模块，用于将现场D*规划器与力模拟器上的Janus Force连接起来。由于Janus地形的基本分辨率低于精确模拟机器人行为所需的分辨率，我们使用分形地形生成器为每种地形类型添加适当的粗糙度。
确保生成器生成的附加内容准确反映地形的真实难度;我们还开发了一个易于使用的基于gui的工具，允许RAND分析师调整地形生成器的输入参数，确保模拟的有效性。在开发之后，在兰德公司的设施中对相关模拟场景进行了成功的集成测试。
在第二阶段，NREC调整了软件模块以连接到JCATS模拟器。NREC和RAND再次成功地在相关模拟场景中测试了集成。NREC还开始设计一个系统，为模拟器带来新的协作机器人行为。
目前，我们正在开发并将这些行为与兰德公司的模拟器集成在一起。
应用程序
这个问题
今天的无人地面车辆(ugv)需要持续的人力监督和广泛的通信资源，特别是在穿越复杂的越野地形时。在无人潜航车能够在无人监督的情况下自行安全航行之前，它们无法大规模地支持战术军事行动。在所有类别的障碍物之外，ugv特别容易受到洞或沟渠等“负障碍”的影响，由于车载传感器的范围和高度有限，地面车辆很难感知这些障碍。
解决方案
nrec领导的团队开发了一种创新的感知器“闪电战”概念——一种集成的空中/地面车辆系统，为无人地面车辆集成了重要的自主感知、推理和规划。
自主UGV包括LADAR、三个立体摄像头对、车内和车间传感器融合、地形分类、避障、航路点导航和动态路径规划。无人驾驶飞行器“飞眼”从上方观察地形，这是探测车辙、沟渠和死胡同等障碍物的最佳有利位置。
该团队成功演示了UGV和飞行眼协同工作以提高导航性能。UGV根据所有可用数据规划初始路线，并将路线传送给飞行之眼。“飞眼”在这条路线上飞向无人机前面的一个点。当“飞眼”机动时，它向下的传感器探测地面上的障碍物。这些障碍物的位置会根据UGV的位置传送回UGV。UGV会重新规划其预定路径以避开障碍物，并指挥飞眼侦察新的路径。
改进的障碍感知能力(由于双视角，分离良好的视角)和优化的路线规划(通过飞行眼的侦察实现)通过降低车辆被禁用或被困的风险，并通过减少操作员干预和通信系统带宽的需要，提高了UGV的自主速度。
描述
NREC与其分包商合作开发了感知器闪电战解决方案。
在第一阶段，该团队开发了一个车辆感知系统原型，包括三种传感模式、传感器融合、地形分类软件、路点导航和路径规划软件。一辆改装了计算机控制的商用全地形车充当了感知系统平台。
在第二阶段，团队在跨越四种明显不同类型地形的测试地点的未经排练的课程上验证了PerceptOR原型:弗吉尼亚州的稀疏树林;亚利桑那州有冲刷、沟壑和壁架的沙漠灌木;加州有松树林的山坡;还有路易斯安那州茂密的森林，长着高草和其他植被。在测试运行期间，该团队演示了完全集成的无人空中/地面传感，用于探测和避免负面障碍和其他危险。他们还只使用被动感知来适应复杂的地形。此外，他们通过融合几何和颜色传感器数据，对困难的地形类型(地面覆盖、一米高的植被、沙漠灌木丛)进行了分类。
在第三阶段，NREC团队继续通过额外的开发和现场试验来提高感知系统的性能和可靠性。该团队提高了UGV在次优条件下运行的自主能力，例如在遮蔽物(灰尘、烟雾或雨水)、GPS覆盖范围下降和通信带宽减少的情况下。
应用程序
这个问题
高尔夫球场需要持续的维护，而且通常需要半熟练的操作员团队来修剪球道，而且通常是在高尔夫球的高峰期。割草机操作人员必须避开高尔夫球手，保持整洁的外观，克服疲劳，并安全操作割草机。
解决方案
NREC的自动割草机系统满足了这些需求，提供了一个系统，需要最少的监督，可以在夜间和其他非高峰时段操作。
自动割草机具有高度可靠的障碍物检测和定位系统。NREC开发了一种障碍探测系统，其中包括一个扫描激光测距仪，它可以在割草机前面建立一个区域的3D地图。它“学习”并使用这张地图来检测沿途的障碍物。机器人割草机的定位系统结合了GPS和惯性数据，提供了准确而可靠的位置估计。
描述
为了实现高尔夫球场和运动场的完全自动化，NREC的科学家和工程师开发了可靠的障碍物检测、精确导航和有效覆盖的能力。
可靠的障碍物检测:
精确的导航:
有效的报道:
应用程序
这个问题
农民们一直在努力降低成本，提高生产率。机械收割机和许多其他农业机械需要熟练的司机才能有效地工作。然而，人工成本和操作人员疲劳增加了费用，限制了这些机器的生产率。
解决方案
NREC与项目赞助商美国国家航空航天局(NASA)和新荷兰公司(New Holland, Inc.)合作，制造了一台机器人收割机，通过结合基于软件的教学/回放系统和基于gps的卫星定位技术，该收割机的收获精度为10厘米。该机器人能够昼夜工作，以超过人类操作员所能保持的速度和质量持续收割作物。
在加州El Centro进行的大量现场测试的实际结果表明，自动化收割机将提高效率;降低成本，事半功倍。
描述
对于机器人定位和导航，NREC实现了基于gps的差分教学/回放系统。差分GPS涉及两个接收器的合作，一个是静止的，另一个是四处走动进行位置测量。固定接收器是关键。它将所有的卫星测量数据绑定到一个可靠的本地参考数据中。
通过教学/回放系统，Windrower“学习”它正在切割的字段，将路径存储在内存中，然后编程重复路径。
在项目早期，NREC团队使用颜色分割来确定机器伺服的切线。该方法区分代表直立作物的绿色百分比和代表被切割作物的棕色茬。该系统的计算机扫描切割线，以确定机器方向。Windrower以4-8英里每小时的速度引导到大约3英寸的差异从这条作物线。
其他引导和安全仪器包括一个倾斜仪，以防止机器翻倒和翻倒，以及一个陀螺仪，用于冗余引导。
应用程序
泥炭苔藓通常用于园艺和植物种植。它是在沼泽中发现的部分腐烂的植物物质。活跃的泥炭沼泽被分成更小的矩形区域，三面被排水沟包围。当表层泥炭干了，就可以收割了。天气允许的话，每天都要收割。
泥炭是用牵引式真空收割机收割的。当真空收割机被拉过泥炭田时，它们会吸走最上层的干泥炭。当收割机装满时，它的操作员将收获的泥炭倾倒在储存桩上。储存的泥炭随后被拖走进行加工和包装。
泥炭苔藓收获是自动化的一个很好的候选者，原因如下:
描述
NREC的附加感知系统执行三项任务，这对安全自主运行非常重要。
检测泥炭储存桩
在将收获的泥炭倾倒到存储堆上之前，机器人需要找到堆的边缘。然而，它不能依赖GPS，因为随着收获的泥炭添加到存储桩中，存储桩的形状、大小和位置都会发生变化。为了定位堆积桩的边缘，感知系统在感知的三维地面上寻找连续的高坡区域。地面的概率空间模型生成地面高度的平滑估计并处理传感器噪声。
检测障碍
虽然泥炭田通常没有障碍物，但收割机必须检测到障碍物的存在，如人、其他收割机和其他车辆)，以确保无人操作的安全。为了检测不同类型的物体，感知系统使用了一种结合算法，利用3D雷达数据来发现密集区域、高物体和地表以上的热区域。
检测沟渠
沟渠的位置是用GPS绘制的。然而，作为一个额外的安全预防措施，它们也会被感知系统检测到。感知系统在地面高度的平滑估计中搜索沟渠形状。
应用程序
RVCA为FCS提供以下好处:
描述
RVCA由以下部分组成:
战场上的工程评估集中在诸如航路点跟踪、远程操作、系统与ANS和其他软件组件的整体性能以及战场上士兵的使用等能力上。该计划在2010年以士兵操作实验结束。
应用程序
这个问题
随着天然气管道基础设施的老化，公用事业公司面临着越来越频繁地检查配电网络的需求。传统的管道检查方法需要经常进行通道挖掘，使用推挽系索系统，每次挖掘的检查范围不超过100至200英尺。这就导致需要对数英里长的管道进行多次、昂贵和漫长的检查，以寻找管道修复决策所需的数据。
解决方案
Explorer系统可以从一次挖掘中访问数千英尺长的管道。它可以收集实时视觉检测数据，并为操作员提供即时远程反馈，以便对水入侵或其他缺陷进行决策。与传统方法相比，收集这些信息的速度更快，成本更低。
机器人的结构是对称的。七元素铰接式车身设计包含了移动/摄像模块、电池携带模块和移动支撑模块的镜像布置，中间是计算和电子模块。机器人的计算机和电子设备被保护在经过净化和加压的外壳中。铰接接头将每个模块连接到下一个模块。移动模块通过俯仰-滚转关节与相邻模块连接，而其他模块则通过俯仰-滚转关节连接。这些特殊设计的接头允许机器人在管道内任意方向移动。
移动模块包含一个迷你鱼眼相机，以及它的镜头和照明元件。该摄像机具有190度的视野，并提供管道内部的高分辨率彩色图像。机车模块还设有双驱动驱动器，设计允许部署和缩回三个腿，配备定制成型的驱动轮。该机器人的速度可达每秒4英寸。然而，为了让操作员获得可处理的图像，检查速度通常低于此速度。
考虑到每个机车都有自己的摄像头，该系统在两端提供视图，以便在两个方向的行驶中进行观察。图像管理系统允许操作员在他或她的屏幕上同时观察两种视图中的任何一种。
描述
在开发Explorer的过程中，NREC进行了需求分析、系统仿真、设计和工程、原型制造和现场测试。NREC与全国各地的天然气分配公用事业公司密切合作，以达到一个多功能和合适的设计。该机器人在2.5年的开发期内进行了广泛的测试。该测试包括在美国东北部的铸铁和钢铁管道中进行为期一周、每天8小时的实时爆炸环境测试
该系统目前正处于升级阶段，正在添加无损检测传感器，并根据现场试验结果对系统进行改进。这些新的检测方法的持续发展将有助于保持国家天然气管道基础设施的高度完整性和运行可靠性。
应用程序
这个问题
美国观赏园艺是一个年收入110亿美元的产业，与日益减少的移民劳动力有关。不熟练的季节性劳动力正变得越来越昂贵，也越来越难找，但每年仍需要几次将盆栽从田间和棚里搬出来。苗圃产业要想生存和继续繁荣，就必须解决这个问题。目前面临的挑战是开发一种适应性强的集装箱装卸解决方案，该解决方案具有成本效益，易于操作和维护，只需最少的技术技能，并且易于适应各种集装箱和现场条件。
解决方案
NREC与NASA和项目赞助商园艺研究所(HRI)合作，开发了有效处理各种不同容器尺寸的各种植物材料的解决方案。
自动化集装箱装卸系统的设计是为了有效地管理以下过程:将集装箱从盆栽机/棚移动到现场;协调现场集装箱间距;把集装箱运进运出过冬的房子。
原型和现场测试的系统设计为每天8小时处理35,000个集装箱，只需一到两名操作员。由此产生的好处包括:
在现场，该系统可以轻松地重新配置，以最佳地适应不断变化的条件、容器尺寸和最终用户的需求。
描述
Junior (JR)集装箱装卸系统是一种由内燃机驱动的自移动室外平台，通过激光测距仪感知集装箱，通过机载PLC计算机控制，并通过一组电液和机电驱动系统进行驱动。
在JR的现场试验中获得了性能和运行数据，并将其提交给赞助商。JR具有足够的性能，但价格不高，不容易被业界接受。
项目发起人HRI随后要求NREC采用JR技术以降低成本。这个附件必须接口到现有的原动机和处理较大尺寸的容器。
NREC团队采用了JR开发和测试的关键技术，并将其直接应用于小型挖掘机(PotCLAW)的附件。这些技术包括基于激光的锅位置传感和解释，以及可靠而可靠地“抓取”锅所需的机构设计。PotCLAW的功能与JR相同，只是由操作员负责抓取头在装卸作业中的所有粗定位。所有精细定位和锅位传感均与JR系统一样自动执行。
PotClaw在NREC设施向赞助商进行了演示，并交付给当地的托儿所进行现场测试并向最终用户进行演示。
该系统是一个商业上可行的产品，可获得许可。
应用程序
这个问题
传统的砂砾爆破方法在爆破过程中会产生有毒的空气粉尘，每平方英尺清理后会产生40磅的有毒废物。这不仅危及船厂工人的安全，而且造成了昂贵的处置问题。基于砂砾的方法还将砂砾推入船体表面，从而降低涂料的粘附性能。虽然也使用单流高压水枪，但它们清除油漆的速度非常慢，对控制有毒的海洋油漆径流毫无作用。
解决方案
的EnvirobotTM机器人系统使用超高压水射流(55,000 psi)将船体剥离至裸露的金属。旋转头中的多个喷嘴在宽条上去除涂层，而不是一寸一寸地去除。它可以以每小时500到3000平方英尺的速度去除涂层，这取决于要去除多少层涂层。
磁铁牢牢地固定住它，使它几乎可以在任何地方滚动。所有用于脱模的水都由强大的真空系统回收并循环使用。清洗后的唯一残留物是油漆本身，它会自动倾倒到容器中进行妥善处理。
此外，水基剥离工艺可以产生更清洁的金属表面，这大大增加了涂在船上的油漆的寿命。与任何形式的喷砂或喷砂相比，喷砂表面很容易被证明生锈较少，并允许油漆更好地粘附。
描述
开发EnvirobotTM， NREC进行需求分析、系统仿真、设计和工程、原型制造和现场测试。面对不完整和动态的需求，NREC开发了三个版本的机器人，每个版本都提供了更多的性能、灵活性和可靠性。
这些机器人在两年的开发期间进行了广泛的测试。该测试包括在真实条件下，由经验不足的操作人员每天24小时连续运行一周。NREC团队在一个特别设计的测试墙上进行了测试，该测试墙由平、凹、凸和底面组成，并连接焊接珠。在这些测试之后，该团队参加了几个造船厂的现场试验，并根据这些经验实施了十几个工程方案，以提高机器人的可靠性和可保障性。
应用程序
老鼠通过按顺序运动它的腿来移动。通过在可控模式下发射一条或多条腿，它可以在地面上滚动，并跳过岩石、洞和其他障碍物。这种跳跃能力使它能够克服具有轮子或踏板的类似大小的机器人难以或不可能处理的障碍。
RATS的对称设计和球形形状使其可以向任何方向移动，自由翻滚和反弹。它的多条腿的精确协调使它在狭小的空间内具有非常好的运动控制和机动性。
描述
NREC的研究人员已经建立了两个RATS原型。
平面原型
平面原型机是球形RATS的简化版本。它的五个对称腿由一个电磁阀的压缩空气气动驱动。机器人被拴在一根贯穿其中心的吊杆上，并绕着圆圈运动。
利用该平面样机对大鼠的控制策略和步态进行了研究。通过控制它腿的发射顺序，研究人员能够开发出一种可持续的跑步步态和跨越障碍的跳跃步态。它使用反馈控制器来保持最大速度。
球形的原型
球形原型是完整的球形RATS的初步版本。它的十二个对称腿由伺服系统激活。
球形原型可以在地面上自由移动，并被用于开发大鼠的行走步态。它使用开环模式下的离散序列控制器来跟踪路径。
应用程序
这个问题
在城市环境中的侦察和哨兵任务是危险的军事行动。小群作战人员使用隐形和快速机动来定位和收集敌人的信息。远程控制机器人系统能够在轻武器射程之外进行侦察，将提供更广泛和更安全的侦察能力，而不会使作战人员暴露在潜在的致命情况下。
解决方案
“龙跑者”提供了一种小型、隐形、轻量级解决方案，使作战人员能够快速收集情报并执行哨兵监视行动。
这种四轮装置体积小，重量轻，可以放在士兵的背包里，也足够坚固，可以翻越栅栏，上下楼梯井。它的低重量和紧凑的尺寸对作战人员的速度、作战能力和负重需求(食物、水、弹药)几乎没有影响。这些特性是与其他机器人系统的关键区别，其他机器人系统更重、更笨重、更慢、部署时间更长。
描述
目的:
Dragon Runner是作为一种低成本、坚固耐用的替代品开发的，以替代市场上已经存在的过于沉重、笨重、缓慢和昂贵的机器人侦察兵。“龙跑者”在动力传动系统、电子技术、小型化和集成、便携集成(背包)、小型沙漠显示器、接口和可生产注塑成型材料和低成本组装部件等领域推动了最先进的技术。NREC实现了所有目标，包括开发和测试了几个模块化有效载荷。
系统描述:
原型“龙跑者”移动式地面传感器系统包括一辆车、一个小型操作员控制系统(OCS)和一个简单的用于单手操作的双灵巧手持控制器，所有这些都装在一个定制的背包中。
四轮，四轮驱动机器人车辆具有高速能力，也可以通过缓慢，故意，有限控制来操作。该系统易于操作，几乎不需要正式的操作员培训，并且可以在不到3秒的时间内从包中部署。机载红外功能使夜间操作成为可能。
NREC向OIF交付了几个部署单位，供海军陆战队评估效果并开发技术、战术和程序。
应用程序
下一代自动驾驶军用车辆必须具备超越地形障碍的非凡能力，以及从障碍物和不可预测地形的冲击中生存和恢复的能力。它们还必须具有燃油效率和高度可靠性，以便能够在最少的后勤支持下执行长期任务。
随着UGCV项目的发展，弹性，即车辆在执行任务期间能够承受相当大的滥用并继续取得进展的能力，成为了一个关键驱动因素。这种滥用在由远程操作员或半自动传感器和软件控制的无人驾驶车辆上很常见。
为了专注于原型开发，DARPA建立了主要设计指标:
Spinner在极其崎岖的地形上进行了两年的高强度测试，其表现超过了这些指标。
Spinner通过其反转设计以及独特的船体配置最大限度地利用了无人驾驶UGCV方面，以适应其大型连续有效载荷舱，可旋转以垂直或向下放置有效载荷。除了翻滚碰撞的生存能力外，车体、悬挂系统和车轮的设计还可以应对高速撞击树木、岩石或看不见的沟壑时的极端正面冲击。尽管它的大尺寸，Spinner是非常隐蔽的，由于它的低调和安静的混合操作。
描述
作为主承包商，NREC管理了30多项贸易研究、风险降低活动、子系统设计和测试活动。NREC还领导了所有的集成和组装操作，并执行了所有的性能测试。此外，NREC还负责许多子系统，包括热管理、主电源、行驶高度控制、制动、安全、指挥站、OCU、通信和远程操作。此外，NREC开发了所有车辆定位、自动化、数据收集和数据分析系统，这些系统用于持续测试车辆。
在设计、制造和组装之后，Spinner完成了为期两年的高强度测试，以评估其在各种地形、天气条件和操作场景下的能力。例如，在政府控制的亚利桑那州尤马试验场的现场测试中，Spinner覆盖了近100英里非常崎岖的越野地形。
总的来说，Spinner在自动驾驶和人工直接控制的情况下，已经在各种越野地形上行驶了数百英里。结果继续表明，在Spinner中使用的许多技术和方法是未来ugv的可行选择。
应用程序
TUGV为步兵提供了一种远程执行作战任务的方法，从而降低了风险并消除了威胁。它的设计目的是在跨越军事行动范围的任务中支持下马步兵。TUGV可以执行的任务包括:
TUGV的操作人员和支持单位可以在行动时保持隐蔽，提高了他们的安全性。
描述
TUGV能够在极端地形下快速越野驾驶，并能承受恶劣环境和高海拔。它的全轮驱动与跑气轮胎确保在危险条件下的机动性。TUGV的安静混合动力驱动支持长达24小时的任务(仅电池供电4小时)。
多功能有效载荷模块、开放硬件和符合jaus的模块化软件允许快速任务重新配置。TUGV拥有通用战术支架，用于M249和M240G机枪，士兵发射的多用途突击武器(SMAW)，轻型车辆遮蔽烟雾系统(LVOSS)和杀伤人员突破障碍系统(APOBS)。
TUGV的操作控制单元(OCU)具有坚固的头盔显示器，带有游戏控制器风格的手动控制器和轻量级CPU，所有这些都适合装入背包。OCU还内置了全向天线、喉部麦克风和耳机。远程数据终端可以作为备用OCU。
视图新闻链接
NREC设计并开发了Crusher车辆，以支持UPI项目严格的现场实验计划。
UPI项目以季度实地试验为特色，评估大规模无人地面车辆(UGV)在广泛复杂的越野地形上自主运行的能力。UPI积极的机动性、自主性和任务性能目标需要两个额外的测试平台，可以容纳各种任务有效载荷和最先进的自主技术。
Crusher代表了原始Spinner平台的下一代，世界上第一个超过6吨的越野UGV从头开始设计。破碎机提供了更多的机动性，可靠性，可维护性和灵活性比纺纱机，在29%的重量。
应用程序
作为陆军未来部队的核心组成部分，战术ugv能够实现新的作战能力，同时使更少的士兵处于危险之中。只有通过实地验证，了解UGV技术的局限性，并考虑对陆军理论、人员、平台和基础设施的影响，才能充分发挥这种新能力的优势。
UPI实验包括车辆安全、有限的通信带宽和GPS基础设施对车辆性能的影响，以及如何有效地操作和监督车辆及其有效载荷。
到2006年中期，NREC将把其最新的自动化技术集成到两台破碎机上。雷达和摄像头系统的组合使车辆能够动态地对障碍物做出反应，并通过间隔超过一公里的任务路径点。通过地形数据分析使用架空数据将继续用于全球规划。在接下来的一年里，这两辆车将在没有任何人类互动的情况下，在极端地形上分析、计划和执行机动任务。破碎机的悬挂系统使它能够在极端地形上保持高越野速度。
描述
破碎机有一个新的空间框架船体由CTC技术公司设计，由高强度铝管和钛节点制成。由高强度钢制成的悬浮和防震滑板使破碎机可以摆脱来自巨石和树桩的巨大船体以下的打击。破碎机的机头完全重新设计，以承受与树木和灌木丛的正常碰撞，同时也吸收重大碰撞的影响。
悬挂由Timoney设计，支持30英寸。具有可选择的刚度和可重构的乘坐高度的旅行。破碎机可以轻松地携带超过8000磅。有效载荷和装甲。破碎机的混合电力系统可以让车辆在一次电池充电后无声无息地行驶在数英里的极端地形上。一台60kW涡轮增压柴油发动机在高性能saft制造的锂离子电池模块上保持充电。发动机和电池智能工作，为Crusher围绕UQM牵引电机构建的6轮轮毂电机驱动系统提供动力。
应用程序
APD项目将继续推动UGV核心机动技术的发展和成熟。这项工作将有利于所有无人平台机动、子系统和控制开发。
APD最终将被用作RVCA项目的高机动UGV平台演示机，取代“粉碎者”UGV。
APD的关键性能参数包括最高时速80公里和自主变道的能力。它的尺寸要求包括在C-130运输机上部署两辆车的能力。
描述
80公里/小时的速度要求是NREC设计人员应对橇控车辆的最大挑战。为了满足这一要求和其他要求，NREC团队在悬挂技术和配置、船体结构、车辆驱动架构、电池技术、冷却方法和发动机方面完成了深入的贸易研究。
设计小组于2008年8月顺利完成初步设计检讨。他们的目标是在2009年8月推出汽车。在推出后，APD将进行广泛的机动测试，并最终取代Crusher成为主要的RVCA测试平台。该计划在2010年的士兵行动实验中达到高潮。
应用程序
这个问题
在建造长崎湾大桥的初期，Kajima面临着在水下下沉沉箱和通过坚固的基岩进行水下挖掘的挑战。在这种条件下部署工人是极其危险和昂贵的。地面上的工作人员依靠安装在地下的摄像机拍摄的图像远程操作三个大型切割臂。摄像机无法穿透灰尘，也无法提供足够的深度感知来进行有效的远程挖掘。
解决方案
NREC的科学家们开发了一种基于结构光技术和显示系统的3D传感器，Kajima成功地使用该传感器提供了挖掘区域的3D地图。该移动系统每5分钟提供新的图像，并专注于关键的周边区域，同时有效地看穿灰尘。
描述
INREC的3D成像系统可以勘测整个沉箱工作区域，并集中在挖掘区域的周边，在这些区域，刀具可能会损坏沉箱或被困在岩石和沉箱边缘之间。本系统利用:
交互式显示器作为操作员的虚拟摄像机，显示切割臂的位置和要移除的材料的分布。传感器数据在三个独立的操作站进行处理和显示。每个操作员都可以独立地操作和查看数据，以满足其查看需求。
应用程序
这个问题
计算机辅助手术的病人登记是一个具有挑战性的问题，需要较短的登记时间和较高的准确性。注册算法通常涉及执行速度、准确性和应用便捷性之间的权衡。基于图像的配准算法从图像的大部分中收集数据，以提高精度，计算量很大，当输入图像包含杂波时，通常会遭受性能下降。
解决方案
CMU开发了一种图像比较算法，局部归一化相关的方差加权和，极大地降低了输入x线片中杂波和不相关物体的影响。这种图像比较方法与模拟x射线图像的硬件加速渲染相结合，允许以亚毫米精度对有噪声、杂乱的图像进行配准。
描述
这个项目最初是为了将校内研究的技术商业化。NREC与赞助商一起定义项目需求，并确保CMU的活动符合赞助商对产品设计、审查和测试的严格流程。
为了最大限度地减少厂商锁定的风险，最终的产品被构建为在开源LINUX操作系统下运行，并且只使用现成的商品硬件。
项目可交付成果，包括超过2000页的设计、可追溯性、测试、参考和风险分析文档，已经移交给赞助商。该软件目前正在赞助商现场进行额外的测试和产品集成。
应用程序
这个问题
在地下矿井中，传送带系统运送煤和其他材料。一个典型的煤矿可能有多达20条传送带，其中一些可能长达2万英尺。
传送带通常由橡胶/织物层压板制成，它是通过将几个带段端到端固定在一起，形成一个连续的系统。皮带系统的各部分通常由机械或硫化接头连接。机械接头使用金属夹和钢索一起连接皮带的部分。硫化接头通过材料的化学键合将带的各部分连接在一起。
当接头磨损时，皮带会自行断裂。断裂的传送带是很危险的，可能会导致成吨的材料泄漏，导致生产关闭，需要昂贵的清理和维修。在一个长壁矿井中，一个机械皮带断裂将需要一个轮班来修复，并损失25万美元的收入。硫化接头处的断裂可能需要两班的时间来修复。
如果没有皮带视觉系统，煤矿工人必须手动检查每个接头，因为它沿着皮带移动。这是一项疲劳而艰巨的任务，因为传送带的平均移动速度为每小时8-10英里，接头处经常覆盖着泥土和煤。通常情况下，许多失败的接头都没有被检测到，导致皮带故障、停机和数百万美元的收入损失。
解决方案
获得专利的传送带视觉系统由两个高分辨率的线扫描摄像机组成，当传送带以每分钟800英尺的速度通过系统时，它们会对传送带进行成像。线扫描图像以每秒9000行的速度捕获，并提供清晰、清晰的腰带图像。这些图像被输入高速机器视觉算法，该算法计算每条扫描线的特征，并自适应调整阈值，以考虑构成传送带的众多部件的不同特征。然后，该机器视觉算法检测并提取传送带上每个机械接头的图像。它通过其独特的齿形模式检测机械接头，并通过对传送带图像中的边缘进行统计分析来检测硫化接头。
每个检测到的拼接图像可供输送带操作员在输送带视觉系统站进行检查。操作员可以放大每个图像，并详细分析每个拼接，以找到最细微的缺陷(断了的销钉，缺失的铆钉，皮带撕裂等)。故障的接头可以在预定的皮带停机时间内进行修复，从而节省大量成本。
描述
在开发皮带视觉系统时，NREC进行了需求分析、系统设计和工程、原型制造和现场测试。
NREC开发了一个快速原型系统，部署在一个煤矿，其唯一目的是收集不同传送带的真实图像。从这个原型系统捕获的图像允许软件工程师设计、实现、测试和分析许多机器视觉算法的性能，以检测机械拼接。通过对真实数据的操作，软件工程师可以设计出一种检测机械接头的稳健算法。
在算法开发之后，NREC的工程师们建立了一个小型的模型传送带系统，包括托辊和接头。这允许NREC工程师测试原型系统，确定它们的问题，并在将系统部署到矿井地下之前解决任何问题。然后，他们对照明和矿山安全法规要求进行了详细分析。
灯光是一个问题，因为这项任务涉及到在相机的快门速度只有万分之一秒的情况下拍摄黑带。这迫使NREC对地下矿山的照明需求进行了详细的分析，并最终形成了一个强大的定制led照明解决方案。
此外，一个系统要进入矿井地下，必须通过矿山安全法规认证程序。NREC设计和建造的系统满足这些严格的安全要求。
NREC开发了三个原型版本的皮带视觉系统，每个后续版本都提供了更高的性能、灵活性和可靠性。在两年的开发期间进行了广泛的测试，包括在地下煤矿中每天24小时、持续一个月的运行，真正的矿工依靠该系统来监测传送带的状况。该系统的初始版本只检测到机械接头。最新版本扩展了系统，以检测硫化接头，这在皮带图像中很难找到。
NREC、CONSOL和Beitzel Corp.将继续合作设计、制造和测试低成本的系统版本。在全球范围内，具有成本效益的安装潜力超过7000个传送带。美国能源部正在为这一新阶段提供资金。
应用程序
SMS可用于任何类型的手持地雷探测棒的训练。它是专门设计用于AN/PSS-14地雷探测集，AN/PSS-12和Minelab F1A4探测器。其坚固的结构，易于组装和校准，使其能够在室内和室外的各种训练场景中使用。它既可以用于物理矿阵列，也可以用于虚拟矿阵列。该SMS目前在美国陆军训练中心使用。它帮助训练士兵在阿富汗和其他重雷地区进行排雷工作。在训练期间使用SMS显著提高了受训人员使用陆军和海军陆战队下一代手持地雷探测系统AN/PSS-14探测地雷的能力。
描述
SMS由一对立体摄像机组成，在排雷传感器的头部跟踪目标。目标是安装在地雷探测器上的一个颜色鲜艳的球。当受训者将探测器扫过模拟雷区时，SMS每秒记录目标的位置30次。
根据这些位置数据，SMS可以测量学员在成功探测地雷的关键区域的表现:传感器头穿过速度、传感器离地高度、覆盖区域和扫过区域的间隙。这些信息显示在计算机显示器上，由训练主管监控，通过颜色、覆盖范围和速度与高度的图表提供即时反馈。
短信还向学员提供实时音频反馈，当检测到地雷时发出嘟嘟声，并就整体表现发出口头信息(例如“太快”或“太慢”)。这种反馈有助于提高受训者探测地雷的技能。
在每节课结束时，SMS根据覆盖率、覆盖面积和地雷目标位置总结受训者的表现。在培训过程中记录的数据可以保存，以后可以查看。
应用程序
人口老龄化和道路上越来越多的车辆是辅助驾驶和其他车辆安全产品发展的背后原因。智能辅助系统能够感知汽车或卡车的周围环境，并向司机提供反馈，有助于在事故发生前预防事故，并使驾驶更安全、更容易、更少疲劳。
目前的驾驶辅助系统使用视觉、雷达或雷达来感知车辆环境。然而，这些传感器都有缺点。基于雷达的系统可以探测到其他车辆的靠近，但不能提供周围环境的详细图像。基于雷达的系统也能探测到距离，但在恶劣天气下可能不太好用。基于视觉的系统提供了详细的信息，但在短时间内处理和解释图像以做出驾驶决策是具有挑战性的。
大陆汽车系统公司正在开发基于视觉的驾驶辅助系统，以帮助司机避免事故。大陆集团正在利用NREC在机器视觉和机器学习方面的专业知识开发一个分类器，快速有效地检测道路上其他车辆的存在。NREC的车辆分类器旨在从车道偏离警告系统的摄像头实时视频图像中识别和定位车辆。
描述
车辆分类器使用一种快速、计算高效的分类算法来识别哪些图像包含车辆，哪些图像不包含车辆。它被设计在一个便宜的数字信号处理器(DSP)上运行，比奔腾4稍微弱一点。它的输入是来自车道偏离警告系统的摄像头的视频，摄像头位于司机的后视镜后面。
分类算法是在包含有汽车、卡车和其他车辆的道路视频图像的数据集上训练的。在训练数据集的每一视频帧中，每辆车的位置都被手工标记。从这个数据集中，算法学习哪些图像特征代表其他车辆，哪些不代表其他车辆。NREC已经开发出算法，可以将训练时间从之前公布的结果减少一个数量级以上。
分类算法扫描传入的原始图像，以识别图像中包含汽车的区域。该算法的一个重要特点是它的工作速度非常快，允许以视频帧率处理图像的大区域。
描述
遥操作系统由四个部分组成:
应用程序
糟糕的态势感知使得间接驾驶(驾驶员被密封在无窗户的车辆内进行保护)和远程驾驶(驾驶员远程操作无人驾驶车辆)更加困难。在这两种情况下，驾驶员所依赖的摄像机视野有限，显示的图像相互矛盾或令人困惑，而且无法显示车辆的外部视角。这限制了车辆速度并导致事故。
驾驶员需要知道车辆环境中正在发生什么，并能够预测接下来会发生什么。然而，如果不能看到整个车辆，这是很难做到的。驾驶员可能需要几分钟的时间来充分了解遥控UGV的周围环境，而在执行任务时，他或她可能没有这样的时间!
SACR(士兵感知彩色测距)使用3D视频来提高驾驶员对环境的感知能力。它提供了几个功能，以辅助间接和远程驾驶:
描述
传感器
SACR传感器舱包括一个高清摄像机和激光测距仪。一个或多个传感器吊舱可以安装在车辆上。
三维视频
SACR实时融合来自传感器吊舱的视频和距离输入，构建车辆周围环境的3D计算机图形模型。
应用程序
这个问题
美国在煤炭生产方面处于世界领先地位，但利润却不断受到挤压。公用事业的放松管制压低了价格，而更小和更短的煤层限制了生产力，同时增加了采矿成本。地下能见度低限制了效率，必要的安全预防措施也限制了效率，但这些措施未能防止事故、伤害和死亡。
解决方案
NREC与合作伙伴NASA和Joy Mining Machinery合作，开发了半自动连续矿工和用于地下采矿的其他设备的机器人系统。
NREC在一台Joy连续式采矿机上安装了传感器，以精确测量机器的位置、方向和运动。这些传感器帮助站在安全距离的操作员精确控制机器。操作精度的提高提高了地下煤矿开采的生产率，减少了对矿工的健康和安全危害。
描述
NREC开发团队开发了两个测试系统来改善设备定位，包括:
在地面测试中，该团队证明了测量水池深度的误差不超过距离的2%。该团队还展示了跟踪激光参考的能力，在1厘米的横向偏移和1/3度的航向误差。
在地面测试之后，该小组在宾夕法尼亚州的坎伯兰矿和伊利诺伊州的Rend Lake矿进行了地下测试。更广泛的地下测试继续作为DoE- fetc资助的项目的一部分，该项目增加了DoE INEEL和CONSOL作为合作伙伴。
应用程序
这个问题
农业设备每年发生大量事故，经常造成严重伤害或死亡。这些事故大多是由于操作人员的失误造成的，如果能够就车辆路径或操作环境中的危险向操作人员发出警告，这些事故是可以避免的。
与此同时，完全自动化在农业领域只有几步之遥。约翰迪尔公司在AutoTrac的商业化方面取得了巨大的成功，这是约翰迪尔公司开发的一种基于GPS定位的自动转向系统。AutoTrac目前作为操作员辅助产品销售，不具有任何障碍检测功能。例如，添加机器感知功能可以为AutoTrac这样的产品提供安全保障，这将是全面车辆自动化的重要推动因素。
用于该领域的任何感知系统都应该具有非常高的检测危险的概率，并且虚警率较低，不会显著影响机器的生产力。
解决方案
NREC开发了一种基于多种传感形式(颜色、红外和距离数据)的感知系统，可以很容易地适应农业设备所暴露的不同环境和操作条件。
我们选择了基于颜色和红外图像以及激光测距仪的距离数据来探测障碍物和危险。这些传感模式是互补的，具有不同的失效模式。通过融合所有传感器产生的信息，整个系统的鲁棒性大大提高，超过了单个感知传感器的能力。
一个重要的设计选择是将现代机器学习技术嵌入我们感知系统的几个模块中。这使得系统能够快速适应新环境和新类型的操作，这对于农业领域的环境复杂性是很重要的。
描述
为了达到感知系统所需的高度可靠性，我们选择了传感器，以便它们提供可以被我们的高级推理系统利用的补充信息。为了正确地融合来自相机、激光测距仪和位置估计系统的信息，我们开发了精确的多传感器校准和时间同步程序。
我们实现了特征提取器，实时分析图像并提取颜色、纹理和红外信息，这些信息与激光的距离估计相结合，以构建系统运行环境的精确地图。
由于我们的感知系统必须容易地适应新的环境和操作条件，硬编码的基于规则的系统不适用于我们正在分析的障碍检测问题。因此，我们开发了机器学习，将车辆周围的区域分类为几个不同的类别，如障碍物与非障碍物或固体与可压缩。我们开发了新的算法，用于在估算有植被存在的权重支撑面高度的过程中纳入平滑约束，并用于从非常大的数据集有效地训练我们的学习算法。
安装在6410 John Deere拖拉机上的初始系统已经在几次现场测试中进行了演示。我们目前专注于一种小型独立的感知系统，该系统使用更便宜的传感器，有可能被用作几种现有农业机械类型的附加模块。
应用程序
这个问题
对于在斜坡上运行的车辆，固有的“稳定裕度降低”显著增加了侧翻或翻车的可能性。
无人地面车辆(ugv)并不是唯一可以穿越崎岖地形和陡坡的轮式车辆。当代的驾驶采矿、林业、农业和军用车辆也可以这样做，而且经常在很长一段时间内高速行驶。起重机、挖掘机和其他起重机械在斜坡上作业时，不稳定性也会急剧增加。斜率只是要考虑的一个因素。防止车辆在平面上翻车(例如在仓库内)也同样重要，尤其是考虑到市场力量对叉车制造商的奖励是更小、更重的负载，并将这些负载抬得比以前更高。
解决方案
NREC的专家们设计了一种解决方案，该方案结合了复杂的软件和硬件，包括惯性传感器和位于车辆重心的倾角计式摆锤。
在车辆运行期间，系统连续主动地计算稳定裕度测量值，以触发警报，驱动“调速器”装置或改变悬挂。它计算横向加速度为曲率或速度增加。当运动状态活动达到翻转/翻车漏洞时，系统识别这种情况并触发所需的操作。
该系统可以部署在机器人和驾驶员操作的车辆(包括汽车)和机械(起重机、挖掘机、起重卡车、托盘千斤顶等)上。
描述
NREC的研究人员开发了稳定裕度估计系统的算法。这些算法考虑了不同的变量，如重力的聚合效应和变化的运动学力。NREC的科学家随后开发了动画模拟，以测试车辆和机械(起重卡车、挖掘机、起重机等)在不同斜坡、速度和有效载荷关节下的机动稳定性模型。
进一步的测试包括使用试验台硬件，包括一台叉车。升降机进行了重大改装，以纳入传感器，(陀螺，轴加速度计和倾角计)，稳定设备，计算机硬件和控制软件。作为硬件平台的一部分，NREC创建了一个用于模拟场景的数据记录器系统。NREC测试人员校准了用于模拟的模型，以最大限度地降低实际测试车辆的翻车风险。
传感/驾驶员控制系统是在Matlab/Simulink中开发的，包括惯性传感器模型和用户界面，用于模拟输入驾驶员对叉车的命令，包括转向、速度、升降机高度、侧移和倾斜。此外，定义了一个软件接口层来连接稳定性预测算法和传感系统。通过驾驶员控制界面，用户可以向卡车输入驱动命令，从而生成响应这些命令的动态模型。当车辆执行用户命令时，传感系统监测车辆的稳定性。
应用程序
这个问题
在复杂地形中快速导航，并在最少的人力监督下一直是水下潜航器面临的主要挑战。识别障碍的需要需要感知能力的显著提高。此外，持续遇到障碍物的可能性要求车辆足够坚固，以在碰撞中承受可承受的损伤后继续运行。
解决方案
基于PerceptOR的成功成果，UPI项目的感知和自动化系统正在得到扩展，以更快的速度提高自动化能力。
作为UPI的一部分，NREC设计了一款新的车辆，Crusher，其特点是新的高度耐用的车体，增加了旅行悬挂，并利用了Spinner车辆的许多发展和改进。
增强的感知能力包括新的“学习”技术，使车辆能够从地形数据中学习。然后，它可以在新的、高度变化的地形上导航，并提高自主性。该团队还应用机器学习技术来提高Crusher在没有GPS的情况下的定位估计。
有效载荷的开发、集成和测试计划持续到2008年。UPI将汇集技术和人员，生产能够在最小干预下执行任务的自动驾驶汽车平台。
描述
随着两辆新车的加入，该项目将能够在不同的地形地点进行三个并行的现场测试议程:
应用程序
60英里的城市挑战赛在拥挤的街道、建筑、交通、路标、车道标志和红绿灯的城市地区蜿蜒而行。确切的路线直到比赛早上才知道。每辆车都试图在6小时的时限内完成一系列3次任务。比赛过程中不允许任何人为干预。每辆车都利用其车载传感和推理能力在交通中安全驾驶，在繁忙的街道上规划路线，通过十字路口和交通圈，遵守速度限制和其他交通法规，避开静止和移动的障碍物——包括其他城市挑战赛的参赛者。
Tartan Racing参加了城市挑战赛，将智能自动驾驶从科幻小说的页面带到你所在城镇的街道上。为这场比赛开发的技术将为每个人更安全、更高效、更便捷的交通奠定基础。
老龄化的人口、基础设施和日益增长的交通量使驾车者面临危险。如果没有技术创新，到2020年，车祸将成为第三大死亡原因。集成的自动驾驶辅助系统和相关安全技术将防止事故和伤害，挽救生命。它们还将帮助人们在变老时保持行动自由和独立。
自动驾驶技术还可以用于提高工作场所的安全和生产力。重型机械和卡车的辅助系统将使它们更有效地运行，并降低司机和旁观者的风险。
描述
《Tartan Racing》采用多管齐下的方法来应对在城市动态环境中导航的艰巨挑战:
NREC的教职员工在克服这些技术挑战方面发挥了关键的领导作用。
应用程序
这个问题
在NREC的科学家和工程师开发出AMTS解决方案之前，公司在工厂和仓库中运输材料和堆放托盘时，只能依靠司机操作的叉车和拖船来选择。
目前的自动引导车辆(agv)由于无法“看到”周围环境而受到限制。而且，为了发挥作用，它们需要对设施基础设施进行复杂的设置和昂贵的更改。例如，使用传统agv的公司必须为自动叉车安装特殊的传感器、夹具和附件，以拾取一托盘材料。
解决方案
NREC的科学家和工程师设计了一种可以用于任何移动机器人应用的计算机视觉系统。如今，具有成本效益的AMTS解决方案全天候有效工作，在许多情况下不熄灯，对车辆的损害小于人为造成的损害。通常不需要改造设施基础设施以适应agv。这些配备amts的自动化车辆——机器人叉车和拖船——依靠NREC开发的低成本、高速定位系统找到自己的方向。
NREC为每辆车配备了摄像头和激光测距仪的组合，用于导航和控制。通过安装在叉车底部的向下摄像头，机器人捕捉视觉线索，并将其与预先存储的地板图像数据库进行匹配，从而成为其在地板上导航的地图。
使用前视摄像头系统，叉车对拖车的侧面进行成像，以找到用于转移到拖曳车辆货车上的托盘。叉车将叉车叉插入托盘孔中，抬起托盘。当它从拖车中倒车时，机器人叉车依靠其激光测距仪安全地将紧密的托盘从拖车中移除。机器人拖车使用同样的向下视觉技术来移动和定位其货车，以便装卸货物。
描述
NREC的科学家和工程师开发了四种新型视觉系统和相关的视觉伺服控制系统，以及工厂级车辆交通协调软件。
AMTS解决方案的开发始于位置估计技术和托盘采集视觉系统的原型。在将NASA技术集成到这些系统中后，NREC提供了简化的自动化拖车装卸和自动化托盘堆叠的演示。
随后，在一家汽车装配厂的AGV试点项目中，几辆拖轮AGV使用了AMTS向下视觉技术，并证明了其可行性。
今天，AMTS是一种实用的解决方案，可用于制造设施、工业工厂和仓库中高效、经济的材料运输。由于不需要改变设施基础设施，它使自动化材料处理比以往任何时候都更加实用和负担得起。
应用程序
“黑骑士”可用于白天或夜间执行对载人地面车辆来说风险太大的任务(包括前方侦察、侦察监视和目标获取(RSTA)、情报收集和调查危险区域)，并可与现有的有人驾驶和无人驾驶系统集成。它使操作人员能够从无人前方阵地获取态势数据，并通过使用地图数据确认地形假设来验证任务计划。
“黑骑士”展示了使用当前技术为无人地面战斗车辆(ugcv)提供的先进能力。其300马力的柴油发动机使其速度高达48英里/小时，越野自动驾驶和遥操作速度可达15英里/小时。它的带轨驱动使其在极端越野地形中高度机动，同时降低了其声学和热信号。“黑骑士”重达12吨，可由C-130运输机运输，大量使用布莱德利战斗系统项目的部件，以降低成本并简化维护。
“黑骑士”可以从另一辆车(例如，从布雷德利战车的指挥官站)或由下马的士兵远程操控。它的机器人操作员控制站(ROCS)为远程操作车辆提供了一个易于使用的界面。“黑骑士”的自主和半自主能力有助于其操作员规划有效的路径，避免障碍物和地形危险，并在航路点之间导航。辅助遥操作将人类驾驶与自动防护相结合。
“黑骑士”在2007年的空中突击远征部队(AAEF)螺旋D野外演习中进行了广泛的越野和公路测试，在那里它成功地执行了前方观察任务和其他任务。黑骑士在白天和夜间作战中都给了士兵很大的优势。在超过200小时的持续使用中，该车辆没有错过任何一天的操作。
描述
NREC开发了黑骑士的车辆控制器、远程操作、感知和安全系统。
“黑骑士”的感知和控制模块包括激光雷达(LADAR)、高灵敏度立体摄像机、前视红外热成像摄像机和GPS。通过无线数据链，传感器套件既支持全自动驾驶，也支持辅助(或半自动)驾驶。
“黑骑士”的自主导航功能包括全自动路线规划和任务规划功能。它可以规划路径点之间的路线，可以是直接的直线路径，也可以是地形成本最低的路径(也就是说，对车辆的风险最低)。“黑骑士”的感知系统融合了LADAR距离数据和相机图像，以检测周围的正面和负面障碍物，使其自主导航系统能够避开它们。
这些自主功能也可以在远程操作时协助黑骑士的司机。“黑骑士”可以规划路径，由操作员手动驾驶。在“受保护遥操作”模式下，感知系统检测到的物体被覆盖在驾驶地图上，使驾驶员能够绕过它们。当探测到道路上有致命障碍时，车辆也会停下来。“黑骑士”由位于另一辆车内的机器人操作员控制站(ROCS)驾驶。它还可以通过安全控制器驶离飞机。ROCS显示来自车辆彩色和FLIR驾驶摄像头的图像，并包括一个用于转向车辆和操作传感器的手动控制器。它还允许司机控制和查看各种车辆和传感器系统的状态。地图和路线显示帮助司机在不熟悉的地形中导航。
ROCS还允许操作员控制“指挥官独立视图”(CIV)传感器套件。CIV用于远程监视和目标捕获(RSTA)，包括彩色视频和前视红外摄像机。
应用程序
这个问题
金属的露天开采、岩石的采石和高速公路的建设都需要有效地清除大量的土壤、矿石和岩石。人工操作的挖掘机将材料装载到卡车上。每辆卡车通常需要通过几次，每一次都需要15-20秒。操作员的工作表现在轮班初期达到顶峰，但随着疲劳而下降。预定的空闲时间，如午餐和其他休息时间，也会降低整个班次的产量。
安全是另一个重要的考虑因素。挖掘机操作人员在安装或拆卸机器时最容易受伤。操作人员往往专注于手头的任务，可能没有注意到其他现场人员或设备进入装载区。
解决方案
挖掘和装载过程的自动化将提高生产率，并通过将操作员从机器上移除，并通过提供完整的传感器覆盖来监视进入工作区域的潜在危险，从而提高安全性。
NREC的科学家和工程师认识到这个机会，开发了一个完全自动化卡车装载过程的系统。
描述
在设计ALS和进行实验试验时，ALS团队在感知、规划和控制方面结合了硬件、软件和算法。
ALS硬件子系统由伺服控制挖掘机、车载计算系统、感知传感器和相关电子设备组成。在系统开发过程中，NREC团队开发了一种基于激光的扫描系统，该系统能够穿透空气中合理数量的灰尘和烟雾。此外，该团队还开发了两种不同的飞行时间扫描雷达系统，不受环境粉尘条件的影响。
NREC团队设计了包含多个模块的软件子系统，用于处理传感器数据、识别卡车、选择挖掘和倾倒位置、移动挖掘机关节以及防止碰撞。
规划和控制算法决定了如何在挖掘面工作，如何在卡车上存放材料，以及如何在两者之间移动铲斗。感知算法处理传感器数据，并向系统的规划算法提供有关工作环境的信息。
专家操作员知识被编码到称为脚本的模板中，使用简单的运动学和动态规则进行调整，以生成非常快速的机器运动。该系统在一台25吨的液压挖掘机上进行了全面实施和演示，并成功地以约80%的专家操作员速度装载卡车。
应用程序
LAGR项目的目标是开发新一代学习感知和控制算法，通过强调学习自主导航，解决当前机器人地面车辆自主导航系统的不足之处。DARPA希望他们选择的10个独立研究团队立即专注于算法开发，而不是在项目早期就投入到获得一个基线机器人平台的工作中。DARPA还想要一个公共平台，这样软件就可以很容易地在团队之间共享，这样政府就可以客观地评估团队的成果。
在短短7个月的时间里，NREC设计并制造了12个LAGR机器人，使DARPA能够按时举行LAGR启动会议，并为每个研究团队提供一个功能齐全的自主开发平台。
团队在开球时接受了4小时的训练，并能够在同一天编程基本的避障能力。开发人员能够立即专注于学习算法的研究，因为交付时提供了所有基本的自治功能以及良好记录的api。
对所有平台进行仔细的配置控制，使开发人员能够在他们的主工作站开发软件，将软件加载到记忆棒上，并将记忆棒运送到DARPA，然后在他们的LAGR机器人上运行软件。
描述
LAGR机器人包括三台2.0 GHz奔腾- m计算机、立体摄像机、红外测距仪、GPS、IMU、编码器、无线通信链路和操作员控制单元。NREC将其感知器软件移植到平台上，以提供基线自主能力。
通信工具包括用于车载通信的千兆以太网;无线(802.11b)以太网通信链路;可以在笔记本电脑上运行的远程监控软件;还有一个独立的射频遥控器。
用户可以通过三种不同的模式在机器人上记录数据:使用射频遥控器远程操作;从机载计算机系统(OCS)遥操作;在自动操作过程中。
对于每个机器人，NREC都提供了一个全面的用户手册，其中记录了机器人的能力、基线自治软件和api(带示例)，使开发人员能够轻松地将机器人传感器数据与他们的感知和规划算法连接起来。
应用程序
这个问题
对驾驶喷洒设备的操作人员来说，作物喷洒本身就是危险的。将司机从机器上移除将提高安全性并降低医疗保险成本。此外，如果一个系统可以支持夜间作业，那么为了达到同样的效果，就不需要喷洒那么多化学物质，因为会增加虫子的活动。这可以提高作物质量，减少喷洒费用。
解决方案
NREC开发了一种无人拖拉机，可用于多种农业操作，包括喷洒。该系统使用GPS接收器、车轮编码器、地面速度雷达单元和惯性测量单元(IMU)，以便精确记录和跟踪穿过田野或果园的路径。NREC团队在车上安装了两个彩色摄像头，以实现基于颜色和范围的障碍物检测。
该教学/回放系统在佛罗里达州的橘子林进行了测试，它以5至8公里/小时的速度沿着7公里的路径自动喷洒。
描述
该项目的最初重点是设计将6410拖拉机改装为自动驾驶汽车的改装套件。其中一个关键要求是，在改造后，车辆仍然可以像普通拖拉机一样由人驾驶，以促进路径记录过程。由于车辆不是有线驾驶，NREC开发了制动、转向和速度控制的执行器。
为了实现路径教学/回放能力，NREC开发了一种定位系统，该系统使用扩展卡尔曼滤波器来融合里程计、GPS信息和IMU测量。路径跟踪系统基于纯追踪算法。关于该系统性能的更多信息可以在我们的“自主机器人”论文中找到。
应用程序
大多数建设性和虚拟仿真都对机器人系统进行了非常简化的表示，特别是在机动性、目标捕获、交互和协作方面。军事仿真规划算法通常将机器人车辆视为速度和传感能力降低的载人实体。模型很少包含诸如自主计划、感知和协调等方面的表示。研究地面和空中机器人系统未来应用的方案往往集中于载人系统任务，很少开发独特的机器人能力。
通过将经过现场验证的NREC机器人技术直接连接到模拟器，分析人员可以获得更高保真度的机器人系统行为模拟。这样可以更好地理解这些系统的效用和改进的最佳方向。通过比以往任何时候都更快地关闭像NREC这样的机器人系统开发人员和这些系统的用户之间的循环，可以在开发周期的早期进行增强，因此成本更低。
描述
在项目的第一阶段，NREC开发了一个高度可重用的机器人仿真支持模块，用于将现场D*规划器与力模拟器上的Janus Force连接起来。由于Janus地形的基本分辨率低于精确模拟机器人行为所需的分辨率，我们使用分形地形生成器为每种地形类型添加适当的粗糙度。
确保生成器生成的附加内容准确反映地形的真实难度;我们还开发了一个易于使用的基于gui的工具，允许RAND分析师调整地形生成器的输入参数，确保模拟的有效性。在开发之后，在兰德公司的设施中对相关模拟场景进行了成功的集成测试。
在第二阶段，NREC调整了软件模块以连接到JCATS模拟器。NREC和RAND再次成功地在相关模拟场景中测试了集成。NREC还开始设计一个系统，为模拟器带来新的协作机器人行为。
目前，我们正在开发并将这些行为与兰德公司的模拟器集成在一起。
应用程序
这个问题
今天的无人地面车辆(ugv)需要持续的人力监督和广泛的通信资源，特别是在穿越复杂的越野地形时。在无人潜航车能够在无人监督的情况下自行安全航行之前，它们无法大规模地支持战术军事行动。在所有类别的障碍物之外，ugv特别容易受到洞或沟渠等“负障碍”的影响，由于车载传感器的范围和高度有限，地面车辆很难感知这些障碍。
解决方案
nrec领导的团队开发了一种创新的感知器“闪电战”概念——一种集成的空中/地面车辆系统，为无人地面车辆集成了重要的自主感知、推理和规划。
自主UGV包括LADAR、三个立体摄像头对、车内和车间传感器融合、地形分类、避障、航路点导航和动态路径规划。无人驾驶飞行器“飞眼”从上方观察地形，这是探测车辙、沟渠和死胡同等障碍物的最佳有利位置。
该团队成功演示了UGV和飞行眼协同工作以提高导航性能。UGV根据所有可用数据规划初始路线，并将路线传送给飞行之眼。“飞眼”在这条路线上飞向无人机前面的一个点。当“飞眼”机动时，它向下的传感器探测地面上的障碍物。这些障碍物的位置会根据UGV的位置传送回UGV。UGV会重新规划其预定路径以避开障碍物，并指挥飞眼侦察新的路径。
改进的障碍感知能力(由于双视角，分离良好的视角)和优化的路线规划(通过飞行眼的侦察实现)通过降低车辆被禁用或被困的风险，并通过减少操作员干预和通信系统带宽的需要，提高了UGV的自主速度。
描述
NREC与其分包商合作开发了感知器闪电战解决方案。
在第一阶段，该团队开发了一个车辆感知系统原型，包括三种传感模式、传感器融合、地形分类软件、路点导航和路径规划软件。一辆改装了计算机控制的商用全地形车充当了感知系统平台。
在第二阶段，团队在跨越四种明显不同类型地形的测试地点的未经排练的课程上验证了PerceptOR原型:弗吉尼亚州的稀疏树林;亚利桑那州有冲刷、沟壑和壁架的沙漠灌木;加州有松树林的山坡;还有路易斯安那州茂密的森林，长着高草和其他植被。在测试运行期间，该团队演示了完全集成的无人空中/地面传感，用于探测和避免负面障碍和其他危险。他们还只使用被动感知来适应复杂的地形。此外，他们通过融合几何和颜色传感器数据，对困难的地形类型(地面覆盖、一米高的植被、沙漠灌木丛)进行了分类。
在第三阶段，NREC团队继续通过额外的开发和现场试验来提高感知系统的性能和可靠性。该团队提高了UGV在次优条件下运行的自主能力，例如在遮蔽物(灰尘、烟雾或雨水)、GPS覆盖范围下降和通信带宽减少的情况下。
应用程序
这个问题
高尔夫球场需要持续的维护，而且通常需要半熟练的操作员团队来修剪球道，而且通常是在高尔夫球的高峰期。割草机操作人员必须避开高尔夫球手，保持整洁的外观，克服疲劳，并安全操作割草机。
解决方案
NREC的自动割草机系统满足了这些需求，提供了一个系统，需要最少的监督，可以在夜间和其他非高峰时段操作。
自动割草机具有高度可靠的障碍物检测和定位系统。NREC开发了一种障碍探测系统，其中包括一个扫描激光测距仪，它可以在割草机前面建立一个区域的3D地图。它“学习”并使用这张地图来检测沿途的障碍物。机器人割草机的定位系统结合了GPS和惯性数据，提供了准确而可靠的位置估计。
描述
为了实现高尔夫球场和运动场的完全自动化，NREC的科学家和工程师开发了可靠的障碍物检测、精确导航和有效覆盖的能力。
可靠的障碍物检测:
精确的导航:
有效的报道:
应用程序
这个问题
农民们一直在努力降低成本，提高生产率。机械收割机和许多其他农业机械需要熟练的司机才能有效地工作。然而，人工成本和操作人员疲劳增加了费用，限制了这些机器的生产率。
解决方案
NREC与项目赞助商美国国家航空航天局(NASA)和新荷兰公司(New Holland, Inc.)合作，制造了一台机器人收割机，通过结合基于软件的教学/回放系统和基于gps的卫星定位技术，该收割机的收获精度为10厘米。该机器人能够昼夜工作，以超过人类操作员所能保持的速度和质量持续收割作物。
在加州El Centro进行的大量现场测试的实际结果表明，自动化收割机将提高效率;降低成本，事半功倍。
描述
对于机器人定位和导航，NREC实现了基于gps的差分教学/回放系统。差分GPS涉及两个接收器的合作，一个是静止的，另一个是四处走动进行位置测量。固定接收器是关键。它将所有的卫星测量数据绑定到一个可靠的本地参考数据中。
通过教学/回放系统，Windrower“学习”它正在切割的字段，将路径存储在内存中，然后编程重复路径。
在项目早期，NREC团队使用颜色分割来确定机器伺服的切线。该方法区分代表直立作物的绿色百分比和代表被切割作物的棕色茬。该系统的计算机扫描切割线，以确定机器方向。Windrower以4-8英里每小时的速度引导到大约3英寸的差异从这条作物线。
其他引导和安全仪器包括一个倾斜仪，以防止机器翻倒和翻倒，以及一个陀螺仪，用于冗余引导。
应用程序
泥炭苔藓通常用于园艺和植物种植。它是在沼泽中发现的部分腐烂的植物物质。活跃的泥炭沼泽被分成更小的矩形区域，三面被排水沟包围。当表层泥炭干了，就可以收割了。天气允许的话，每天都要收割。
泥炭是用牵引式真空收割机收割的。当真空收割机被拉过泥炭田时，它们会吸走最上层的干泥炭。当收割机装满时，它的操作员将收获的泥炭倾倒在储存桩上。储存的泥炭随后被拖走进行加工和包装。
泥炭苔藓收获是自动化的一个很好的候选者，原因如下:
描述
NREC的附加感知系统执行三项任务，这对安全自主运行非常重要。
检测泥炭储存桩
在将收获的泥炭倾倒到存储堆上之前，机器人需要找到堆的边缘。然而，它不能依赖GPS，因为随着收获的泥炭添加到存储桩中，存储桩的形状、大小和位置都会发生变化。为了定位堆积桩的边缘，感知系统在感知的三维地面上寻找连续的高坡区域。地面的概率空间模型生成地面高度的平滑估计并处理传感器噪声。
检测障碍
虽然泥炭田通常没有障碍物，但收割机必须检测到障碍物的存在，如人、其他收割机和其他车辆)，以确保无人操作的安全。为了检测不同类型的物体，感知系统使用了一种结合算法，利用3D雷达数据来发现密集区域、高物体和地表以上的热区域。
检测沟渠
沟渠的位置是用GPS绘制的。然而，作为一个额外的安全预防措施，它们也会被感知系统检测到。感知系统在地面高度的平滑估计中搜索沟渠形状。
应用程序
RVCA为FCS提供以下好处:
描述
RVCA由以下部分组成:
战场上的工程评估集中在诸如航路点跟踪、远程操作、系统与ANS和其他软件组件的整体性能以及战场上士兵的使用等能力上。该计划在2010年以士兵操作实验结束。
应用程序
这个问题
随着天然气管道基础设施的老化，公用事业公司面临着越来越频繁地检查配电网络的需求。传统的管道检查方法需要经常进行通道挖掘，使用推挽系索系统，每次挖掘的检查范围不超过100至200英尺。这就导致需要对数英里长的管道进行多次、昂贵和漫长的检查，以寻找管道修复决策所需的数据。
解决方案
Explorer系统可以从一次挖掘中访问数千英尺长的管道。它可以收集实时视觉检测数据，并为操作员提供即时远程反馈，以便对水入侵或其他缺陷进行决策。与传统方法相比，收集这些信息的速度更快，成本更低。
机器人的结构是对称的。七元素铰接式车身设计包含了移动/摄像模块、电池携带模块和移动支撑模块的镜像布置，中间是计算和电子模块。机器人的计算机和电子设备被保护在经过净化和加压的外壳中。铰接接头将每个模块连接到下一个模块。移动模块通过俯仰-滚转关节与相邻模块连接，而其他模块则通过俯仰-滚转关节连接。这些特殊设计的接头允许机器人在管道内任意方向移动。
移动模块包含一个迷你鱼眼相机，以及它的镜头和照明元件。该摄像机具有190度的视野，并提供管道内部的高分辨率彩色图像。机车模块还设有双驱动驱动器，设计允许部署和缩回三个腿，配备定制成型的驱动轮。该机器人的速度可达每秒4英寸。然而，为了让操作员获得可处理的图像，检查速度通常低于此速度。
考虑到每个机车都有自己的摄像头，该系统在两端提供视图，以便在两个方向的行驶中进行观察。图像管理系统允许操作员在他或她的屏幕上同时观察两种视图中的任何一种。
描述
在开发Explorer的过程中，NREC进行了需求分析、系统仿真、设计和工程、原型制造和现场测试。NREC与全国各地的天然气分配公用事业公司密切合作，以达到一个多功能和合适的设计。该机器人在2.5年的开发期内进行了广泛的测试。该测试包括在美国东北部的铸铁和钢铁管道中进行为期一周、每天8小时的实时爆炸环境测试
该系统目前正处于升级阶段，正在添加无损检测传感器，并根据现场试验结果对系统进行改进。这些新的检测方法的持续发展将有助于保持国家天然气管道基础设施的高度完整性和运行可靠性。
应用程序
这个问题
美国观赏园艺是一个年收入110亿美元的产业，与日益减少的移民劳动力有关。不熟练的季节性劳动力正变得越来越昂贵，也越来越难找，但每年仍需要几次将盆栽从田间和棚里搬出来。苗圃产业要想生存和继续繁荣，就必须解决这个问题。目前面临的挑战是开发一种适应性强的集装箱装卸解决方案，该解决方案具有成本效益，易于操作和维护，只需最少的技术技能，并且易于适应各种集装箱和现场条件。
解决方案
NREC与NASA和项目赞助商园艺研究所(HRI)合作，开发了有效处理各种不同容器尺寸的各种植物材料的解决方案。
自动化集装箱装卸系统的设计是为了有效地管理以下过程:将集装箱从盆栽机/棚移动到现场;协调现场集装箱间距;把集装箱运进运出过冬的房子。
原型和现场测试的系统设计为每天8小时处理35,000个集装箱，只需一到两名操作员。由此产生的好处包括:
在现场，该系统可以轻松地重新配置，以最佳地适应不断变化的条件、容器尺寸和最终用户的需求。
描述
Junior (JR)集装箱装卸系统是一种由内燃机驱动的自移动室外平台，通过激光测距仪感知集装箱，通过机载PLC计算机控制，并通过一组电液和机电驱动系统进行驱动。
在JR的现场试验中获得了性能和运行数据，并将其提交给赞助商。JR具有足够的性能，但价格不高，不容易被业界接受。
项目发起人HRI随后要求NREC采用JR技术以降低成本。这个附件必须接口到现有的原动机和处理较大尺寸的容器。
NREC团队采用了JR开发和测试的关键技术，并将其直接应用于小型挖掘机(PotCLAW)的附件。这些技术包括基于激光的锅位置传感和解释，以及可靠而可靠地“抓取”锅所需的机构设计。PotCLAW的功能与JR相同，只是由操作员负责抓取头在装卸作业中的所有粗定位。所有精细定位和锅位传感均与JR系统一样自动执行。
PotClaw在NREC设施向赞助商进行了演示，并交付给当地的托儿所进行现场测试并向最终用户进行演示。
该系统是一个商业上可行的产品，可获得许可。
应用程序
这个问题
传统的砂砾爆破方法在爆破过程中会产生有毒的空气粉尘，每平方英尺清理后会产生40磅的有毒废物。这不仅危及船厂工人的安全，而且造成了昂贵的处置问题。基于砂砾的方法还将砂砾推入船体表面，从而降低涂料的粘附性能。虽然也使用单流高压水枪，但它们清除油漆的速度非常慢，对控制有毒的海洋油漆径流毫无作用。
解决方案
的EnvirobotTM机器人系统使用超高压水射流(55,000 psi)将船体剥离至裸露的金属。旋转头中的多个喷嘴在宽条上去除涂层，而不是一寸一寸地去除。它可以以每小时500到3000平方英尺的速度去除涂层，这取决于要去除多少层涂层。
磁铁牢牢地固定住它，使它几乎可以在任何地方滚动。所有用于脱模的水都由强大的真空系统回收并循环使用。清洗后的唯一残留物是油漆本身，它会自动倾倒到容器中进行妥善处理。
此外，水基剥离工艺可以产生更清洁的金属表面，这大大增加了涂在船上的油漆的寿命。与任何形式的喷砂或喷砂相比，喷砂表面很容易被证明生锈较少，并允许油漆更好地粘附。
描述
开发EnvirobotTM， NREC进行需求分析、系统仿真、设计和工程、原型制造和现场测试。面对不完整和动态的需求，NREC开发了三个版本的机器人，每个版本都提供了更多的性能、灵活性和可靠性。
这些机器人在两年的开发期间进行了广泛的测试。该测试包括在真实条件下，由经验不足的操作人员每天24小时连续运行一周。NREC团队在一个特别设计的测试墙上进行了测试，该测试墙由平、凹、凸和底面组成，并连接焊接珠。在这些测试之后，该团队参加了几个造船厂的现场试验，并根据这些经验实施了十几个工程方案，以提高机器人的可靠性和可保障性。
应用程序
老鼠通过按顺序运动它的腿来移动。通过在可控模式下发射一条或多条腿，它可以在地面上滚动，并跳过岩石、洞和其他障碍物。这种跳跃能力使它能够克服具有轮子或踏板的类似大小的机器人难以或不可能处理的障碍。
RATS的对称设计和球形形状使其可以向任何方向移动，自由翻滚和反弹。它的多条腿的精确协调使它在狭小的空间内具有非常好的运动控制和机动性。
描述
NREC的研究人员已经建立了两个RATS原型。
平面原型
平面原型机是球形RATS的简化版本。它的五个对称腿由一个电磁阀的压缩空气气动驱动。机器人被拴在一根贯穿其中心的吊杆上，并绕着圆圈运动。
利用该平面样机对大鼠的控制策略和步态进行了研究。通过控制它腿的发射顺序，研究人员能够开发出一种可持续的跑步步态和跨越障碍的跳跃步态。它使用反馈控制器来保持最大速度。
球形的原型
球形原型是完整的球形RATS的初步版本。它的十二个对称腿由伺服系统激活。
球形原型可以在地面上自由移动，并被用于开发大鼠的行走步态。它使用开环模式下的离散序列控制器来跟踪路径。
应用程序
这个问题
在城市环境中的侦察和哨兵任务是危险的军事行动。小群作战人员使用隐形和快速机动来定位和收集敌人的信息。远程控制机器人系统能够在轻武器射程之外进行侦察，将提供更广泛和更安全的侦察能力，而不会使作战人员暴露在潜在的致命情况下。
解决方案
“龙跑者”提供了一种小型、隐形、轻量级解决方案，使作战人员能够快速收集情报并执行哨兵监视行动。
这种四轮装置体积小，重量轻，可以放在士兵的背包里，也足够坚固，可以翻越栅栏，上下楼梯井。它的低重量和紧凑的尺寸对作战人员的速度、作战能力和负重需求(食物、水、弹药)几乎没有影响。这些特性是与其他机器人系统的关键区别，其他机器人系统更重、更笨重、更慢、部署时间更长。
描述
目的:
Dragon Runner是作为一种低成本、坚固耐用的替代品开发的，以替代市场上已经存在的过于沉重、笨重、缓慢和昂贵的机器人侦察兵。“龙跑者”在动力传动系统、电子技术、小型化和集成、便携集成(背包)、小型沙漠显示器、接口和可生产注塑成型材料和低成本组装部件等领域推动了最先进的技术。NREC实现了所有目标，包括开发和测试了几个模块化有效载荷。
系统描述:
原型“龙跑者”移动式地面传感器系统包括一辆车、一个小型操作员控制系统(OCS)和一个简单的用于单手操作的双灵巧手持控制器，所有这些都装在一个定制的背包中。
四轮，四轮驱动机器人车辆具有高速能力，也可以通过缓慢，故意，有限控制来操作。该系统易于操作，几乎不需要正式的操作员培训，并且可以在不到3秒的时间内从包中部署。机载红外功能使夜间操作成为可能。
NREC向OIF交付了几个部署单位，供海军陆战队评估效果并开发技术、战术和程序。
应用程序
下一代自动驾驶军用车辆必须具备超越地形障碍的非凡能力，以及从障碍物和不可预测地形的冲击中生存和恢复的能力。它们还必须具有燃油效率和高度可靠性，以便能够在最少的后勤支持下执行长期任务。
随着UGCV项目的发展，弹性，即车辆在执行任务期间能够承受相当大的滥用并继续取得进展的能力，成为了一个关键驱动因素。这种滥用在由远程操作员或半自动传感器和软件控制的无人驾驶车辆上很常见。
为了专注于原型开发，DARPA建立了主要设计指标:
Spinner在极其崎岖的地形上进行了两年的高强度测试，其表现超过了这些指标。
Spinner通过其反转设计以及独特的船体配置最大限度地利用了无人驾驶UGCV方面，以适应其大型连续有效载荷舱，可旋转以垂直或向下放置有效载荷。除了翻滚碰撞的生存能力外，车体、悬挂系统和车轮的设计还可以应对高速撞击树木、岩石或看不见的沟壑时的极端正面冲击。尽管它的大尺寸，Spinner是非常隐蔽的，由于它的低调和安静的混合操作。
描述
作为主承包商，NREC管理了30多项贸易研究、风险降低活动、子系统设计和测试活动。NREC还领导了所有的集成和组装操作，并执行了所有的性能测试。此外，NREC还负责许多子系统，包括热管理、主电源、行驶高度控制、制动、安全、指挥站、OCU、通信和远程操作。此外，NREC开发了所有车辆定位、自动化、数据收集和数据分析系统，这些系统用于持续测试车辆。
在设计、制造和组装之后，Spinner完成了为期两年的高强度测试，以评估其在各种地形、天气条件和操作场景下的能力。例如，在政府控制的亚利桑那州尤马试验场的现场测试中，Spinner覆盖了近100英里非常崎岖的越野地形。
总的来说，Spinner在自动驾驶和人工直接控制的情况下，已经在各种越野地形上行驶了数百英里。结果继续表明，在Spinner中使用的许多技术和方法是未来ugv的可行选择。
应用程序
TUGV为步兵提供了一种远程执行作战任务的方法，从而降低了风险并消除了威胁。它的设计目的是在跨越军事行动范围的任务中支持下马步兵。TUGV可以执行的任务包括:
TUGV的操作人员和支持单位可以在行动时保持隐蔽，提高了他们的安全性。
描述
TUGV能够在极端地形下快速越野驾驶，并能承受恶劣环境和高海拔。它的全轮驱动与跑气轮胎确保在危险条件下的机动性。TUGV的安静混合动力驱动支持长达24小时的任务(仅电池供电4小时)。
多功能有效载荷模块、开放硬件和符合jaus的模块化软件允许快速任务重新配置。TUGV拥有通用战术支架，用于M249和M240G机枪，士兵发射的多用途突击武器(SMAW)，轻型车辆遮蔽烟雾系统(LVOSS)和杀伤人员突破障碍系统(APOBS)。
TUGV的操作控制单元(OCU)具有坚固的头盔显示器，带有游戏控制器风格的手动控制器和轻量级CPU，所有这些都适合装入背包。OCU还内置了全向天线、喉部麦克风和耳机。远程数据终端可以作为备用OCU。
视图新闻链接
NREC设计并开发了Crusher车辆，以支持UPI项目严格的现场实验计划。
UPI项目以季度实地试验为特色，评估大规模无人地面车辆(UGV)在广泛复杂的越野地形上自主运行的能力。UPI积极的机动性、自主性和任务性能目标需要两个额外的测试平台，可以容纳各种任务有效载荷和最先进的自主技术。
Crusher代表了原始Spinner平台的下一代，世界上第一个超过6吨的越野UGV从头开始设计。破碎机提供了更多的机动性，可靠性，可维护性和灵活性比纺纱机，在29%的重量。
应用程序
作为陆军未来部队的核心组成部分，战术ugv能够实现新的作战能力，同时使更少的士兵处于危险之中。只有通过实地验证，了解UGV技术的局限性，并考虑对陆军理论、人员、平台和基础设施的影响，才能充分发挥这种新能力的优势。
UPI实验包括车辆安全、有限的通信带宽和GPS基础设施对车辆性能的影响，以及如何有效地操作和监督车辆及其有效载荷。
到2006年中期，NREC将把其最新的自动化技术集成到两台破碎机上。雷达和摄像头系统的组合使车辆能够动态地对障碍物做出反应，并通过间隔超过一公里的任务路径点。通过地形数据分析使用架空数据将继续用于全球规划。在接下来的一年里，这两辆车将在没有任何人类互动的情况下，在极端地形上分析、计划和执行机动任务。破碎机的悬挂系统使它能够在极端地形上保持高越野速度。
描述
破碎机有一个新的空间框架船体由CTC技术公司设计，由高强度铝管和钛节点制成。由高强度钢制成的悬浮和防震滑板使破碎机可以摆脱来自巨石和树桩的巨大船体以下的打击。破碎机的机头完全重新设计，以承受与树木和灌木丛的正常碰撞，同时也吸收重大碰撞的影响。
悬挂由Timoney设计，支持30英寸。具有可选择的刚度和可重构的乘坐高度的旅行。破碎机可以轻松地携带超过8000磅。有效载荷和装甲。破碎机的混合电力系统可以让车辆在一次电池充电后无声无息地行驶在数英里的极端地形上。一台60kW涡轮增压柴油发动机在高性能saft制造的锂离子电池模块上保持充电。发动机和电池智能工作，为Crusher围绕UQM牵引电机构建的6轮轮毂电机驱动系统提供动力。
应用程序
APD项目将继续推动UGV核心机动技术的发展和成熟。这项工作将有利于所有无人平台机动、子系统和控制开发。
APD最终将被用作RVCA项目的高机动UGV平台演示机，取代“粉碎者”UGV。
APD的关键性能参数包括最高时速80公里和自主变道的能力。它的尺寸要求包括在C-130运输机上部署两辆车的能力。
描述
80公里/小时的速度要求是NREC设计人员应对橇控车辆的最大挑战。为了满足这一要求和其他要求，NREC团队在悬挂技术和配置、船体结构、车辆驱动架构、电池技术、冷却方法和发动机方面完成了深入的贸易研究。
设计小组于2008年8月顺利完成初步设计检讨。他们的目标是在2009年8月推出汽车。在推出后，APD将进行广泛的机动测试，并最终取代Crusher成为主要的RVCA测试平台。该计划在2010年的士兵行动实验中达到高潮。
应用程序
这个问题
在建造长崎湾大桥的初期，Kajima面临着在水下下沉沉箱和通过坚固的基岩进行水下挖掘的挑战。在这种条件下部署工人是极其危险和昂贵的。地面上的工作人员依靠安装在地下的摄像机拍摄的图像远程操作三个大型切割臂。摄像机无法穿透灰尘，也无法提供足够的深度感知来进行有效的远程挖掘。
解决方案
NREC的科学家们开发了一种基于结构光技术和显示系统的3D传感器，Kajima成功地使用该传感器提供了挖掘区域的3D地图。该移动系统每5分钟提供新的图像，并专注于关键的周边区域，同时有效地看穿灰尘。
描述
INREC的3D成像系统可以勘测整个沉箱工作区域，并集中在挖掘区域的周边，在这些区域，刀具可能会损坏沉箱或被困在岩石和沉箱边缘之间。本系统利用:
交互式显示器作为操作员的虚拟摄像机，显示切割臂的位置和要移除的材料的分布。传感器数据在三个独立的操作站进行处理和显示。每个操作员都可以独立地操作和查看数据，以满足其查看需求。
应用程序
这个问题
计算机辅助手术的病人登记是一个具有挑战性的问题，需要较短的登记时间和较高的准确性。注册算法通常涉及执行速度、准确性和应用便捷性之间的权衡。基于图像的配准算法从图像的大部分中收集数据，以提高精度，计算量很大，当输入图像包含杂波时，通常会遭受性能下降。
解决方案
CMU开发了一种图像比较算法，局部归一化相关的方差加权和，极大地降低了输入x线片中杂波和不相关物体的影响。这种图像比较方法与模拟x射线图像的硬件加速渲染相结合，允许以亚毫米精度对有噪声、杂乱的图像进行配准。
描述
这个项目最初是为了将校内研究的技术商业化。NREC与赞助商一起定义项目需求，并确保CMU的活动符合赞助商对产品设计、审查和测试的严格流程。
为了最大限度地减少厂商锁定的风险，最终的产品被构建为在开源LINUX操作系统下运行，并且只使用现成的商品硬件。
项目可交付成果，包括超过2000页的设计、可追溯性、测试、参考和风险分析文档，已经移交给赞助商。该软件目前正在赞助商现场进行额外的测试和产品集成。
应用程序
这个问题
在地下矿井中，传送带系统运送煤和其他材料。一个典型的煤矿可能有多达20条传送带，其中一些可能长达2万英尺。
传送带通常由橡胶/织物层压板制成，它是通过将几个带段端到端固定在一起，形成一个连续的系统。皮带系统的各部分通常由机械或硫化接头连接。机械接头使用金属夹和钢索一起连接皮带的部分。硫化接头通过材料的化学键合将带的各部分连接在一起。
当接头磨损时，皮带会自行断裂。断裂的传送带是很危险的，可能会导致成吨的材料泄漏，导致生产关闭，需要昂贵的清理和维修。在一个长壁矿井中，一个机械皮带断裂将需要一个轮班来修复，并损失25万美元的收入。硫化接头处的断裂可能需要两班的时间来修复。
如果没有皮带视觉系统，煤矿工人必须手动检查每个接头，因为它沿着皮带移动。这是一项疲劳而艰巨的任务，因为传送带的平均移动速度为每小时8-10英里，接头处经常覆盖着泥土和煤。通常情况下，许多失败的接头都没有被检测到，导致皮带故障、停机和数百万美元的收入损失。
解决方案
获得专利的传送带视觉系统由两个高分辨率的线扫描摄像机组成，当传送带以每分钟800英尺的速度通过系统时，它们会对传送带进行成像。线扫描图像以每秒9000行的速度捕获，并提供清晰、清晰的腰带图像。这些图像被输入高速机器视觉算法，该算法计算每条扫描线的特征，并自适应调整阈值，以考虑构成传送带的众多部件的不同特征。然后，该机器视觉算法检测并提取传送带上每个机械接头的图像。它通过其独特的齿形模式检测机械接头，并通过对传送带图像中的边缘进行统计分析来检测硫化接头。
每个检测到的拼接图像可供输送带操作员在输送带视觉系统站进行检查。操作员可以放大每个图像，并详细分析每个拼接，以找到最细微的缺陷(断了的销钉，缺失的铆钉，皮带撕裂等)。故障的接头可以在预定的皮带停机时间内进行修复，从而节省大量成本。
描述
在开发皮带视觉系统时，NREC进行了需求分析、系统设计和工程、原型制造和现场测试。
NREC开发了一个快速原型系统，部署在一个煤矿，其唯一目的是收集不同传送带的真实图像。从这个原型系统捕获的图像允许软件工程师设计、实现、测试和分析许多机器视觉算法的性能，以检测机械拼接。通过对真实数据的操作，软件工程师可以设计出一种检测机械接头的稳健算法。
在算法开发之后，NREC的工程师们建立了一个小型的模型传送带系统，包括托辊和接头。这允许NREC工程师测试原型系统，确定它们的问题，并在将系统部署到矿井地下之前解决任何问题。然后，他们对照明和矿山安全法规要求进行了详细分析。
灯光是一个问题，因为这项任务涉及到在相机的快门速度只有万分之一秒的情况下拍摄黑带。这迫使NREC对地下矿山的照明需求进行了详细的分析，并最终形成了一个强大的定制led照明解决方案。
此外，一个系统要进入矿井地下，必须通过矿山安全法规认证程序。NREC设计和建造的系统满足这些严格的安全要求。
NREC开发了三个原型版本的皮带视觉系统，每个后续版本都提供了更高的性能、灵活性和可靠性。在两年的开发期间进行了广泛的测试，包括在地下煤矿中每天24小时、持续一个月的运行，真正的矿工依靠该系统来监测传送带的状况。该系统的初始版本只检测到机械接头。最新版本扩展了系统，以检测硫化接头，这在皮带图像中很难找到。
NREC、CONSOL和Beitzel Corp.将继续合作设计、制造和测试低成本的系统版本。在全球范围内，具有成本效益的安装潜力超过7000个传送带。美国能源部正在为这一新阶段提供资金。
应用程序
SMS可用于任何类型的手持地雷探测棒的训练。它是专门设计用于AN/PSS-14地雷探测集，AN/PSS-12和Minelab F1A4探测器。其坚固的结构，易于组装和校准，使其能够在室内和室外的各种训练场景中使用。它既可以用于物理矿阵列，也可以用于虚拟矿阵列。该SMS目前在美国陆军训练中心使用。它帮助训练士兵在阿富汗和其他重雷地区进行排雷工作。在训练期间使用SMS显著提高了受训人员使用陆军和海军陆战队下一代手持地雷探测系统AN/PSS-14探测地雷的能力。
描述
SMS由一对立体摄像机组成，在排雷传感器的头部跟踪目标。目标是安装在地雷探测器上的一个颜色鲜艳的球。当受训者将探测器扫过模拟雷区时，SMS每秒记录目标的位置30次。
根据这些位置数据，SMS可以测量学员在成功探测地雷的关键区域的表现:传感器头穿过速度、传感器离地高度、覆盖区域和扫过区域的间隙。这些信息显示在计算机显示器上，由训练主管监控，通过颜色、覆盖范围和速度与高度的图表提供即时反馈。
短信还向学员提供实时音频反馈，当检测到地雷时发出嘟嘟声，并就整体表现发出口头信息(例如“太快”或“太慢”)。这种反馈有助于提高受训者探测地雷的技能。
在每节课结束时，SMS根据覆盖率、覆盖面积和地雷目标位置总结受训者的表现。在培训过程中记录的数据可以保存，以后可以查看。
应用程序
人口老龄化和道路上越来越多的车辆是辅助驾驶和其他车辆安全产品发展的背后原因。智能辅助系统能够感知汽车或卡车的周围环境，并向司机提供反馈，有助于在事故发生前预防事故，并使驾驶更安全、更容易、更少疲劳。
目前的驾驶辅助系统使用视觉、雷达或雷达来感知车辆环境。然而，这些传感器都有缺点。基于雷达的系统可以探测到其他车辆的靠近，但不能提供周围环境的详细图像。基于雷达的系统也能探测到距离，但在恶劣天气下可能不太好用。基于视觉的系统提供了详细的信息，但在短时间内处理和解释图像以做出驾驶决策是具有挑战性的。
大陆汽车系统公司正在开发基于视觉的驾驶辅助系统，以帮助司机避免事故。大陆集团正在利用NREC在机器视觉和机器学习方面的专业知识开发一个分类器，快速有效地检测道路上其他车辆的存在。NREC的车辆分类器旨在从车道偏离警告系统的摄像头实时视频图像中识别和定位车辆。
描述
车辆分类器使用一种快速、计算高效的分类算法来识别哪些图像包含车辆，哪些图像不包含车辆。它被设计在一个便宜的数字信号处理器(DSP)上运行，比奔腾4稍微弱一点。它的输入是来自车道偏离警告系统的摄像头的视频，摄像头位于司机的后视镜后面。
分类算法是在包含有汽车、卡车和其他车辆的道路视频图像的数据集上训练的。在训练数据集的每一视频帧中，每辆车的位置都被手工标记。从这个数据集中，算法学习哪些图像特征代表其他车辆，哪些不代表其他车辆。NREC已经开发出算法，可以将训练时间从之前公布的结果减少一个数量级以上。
分类算法扫描传入的原始图像，以识别图像中包含汽车的区域。该算法的一个重要特点是它的工作速度非常快，允许以视频帧率处理图像的大区域。