描述
远程操作系统有四个组成部分:
应用程序
糟糕的态势感知使间接驾驶(司机被密封在无窗车辆内以保护自己)和远程驾驶(司机远程操作无人驾驶车辆)更加困难。在这两种情况下，驾驶者依赖的摄像机视野有限，显示的图像相互冲突或令人困惑，而且无法显示车辆的外部视图。这限制了车辆的速度，导致了事故的发生。
驾驶员需要知道车辆所处的环境发生了什么，并能够预测接下来会发生什么。然而，如果不能看到整个车辆的周围，这是很难做到的。驾驶员需要几分钟的时间来充分了解遥控UGV的周围环境——这是他或她在执行任务时可能没有的时间!
SACR(士兵感知彩色测距)使用3D视频来提高驾驶员对环境的感知。它提供了一些辅助间接和远程驾驶的功能:
描述
传感器
SACR传感器吊舱包括一个高清摄像机和激光测距仪。一个或多个传感器吊舱可以安装在车辆上。
三维视频
SACR融合了来自传感器吊舱的实时视频和距离输入，建立了车辆周围环境的3D计算机图形模型。
应用程序
这个问题
美国在煤炭生产方面处于世界领先地位，但利润不断受到挤压。公用事业的放松管制压低了价格，而更小更短的煤层限制了生产率，同时增加了采矿成本。地下能见度低限制了效率，必要的安全防范措施也限制了效率，但却未能防止事故、伤害和死亡。
解决方案
NREC与合作伙伴NASA和Joy Mining Machinery合作，开发了半自动连续采矿机器人系统和其他用于地下采矿的设备。
NREC在Joy连续矿机上安装了传感器，以精确测量机器的位置、方向和运动。这些传感器帮助操作员站在一个安全距离精确控制机器。作业精度的提高提高了煤矿井下开采的生产率，减少了对矿工的健康和安全危害。
描述
NREC开发团队开发了两个测试系统来改善设备定位，包括:
在地面测试中，该团队展示了测量污水池深度的能力，误差不超过2%的移动距离。该团队还展示了跟踪激光参考的能力，在1厘米的横向偏移和1/3度的航向误差。
在进行了地面试验之后，该小组在宾夕法尼亚州的坎伯兰矿和伊利诺伊州的伦德湖矿进行了地下试验。作为DoE- fec资助的项目的一部分，更多的地下测试继续进行，该项目还加入了DoE的INEEL和CONSOL作为合作伙伴。
应用程序
这个问题
农业设备每年都发生大量事故，往往造成严重伤害或死亡。这些事故大多是由于操作人员的失误造成的，如果能够提醒操作人员车辆行驶路径或操作环境中的危险，这些事故是可以避免的。
与此同时，在农业领域，完全自动化仅几步之遥。约翰迪尔公司在AutoTrac的商业化方面取得了巨大的成功，AutoTrac是约翰迪尔公司开发的一种基于GPS定位的自动转向系统。AutoTrac目前作为操作辅助产品销售，不具有任何障碍检测功能。添加机器感知功能为AutoTrac等产品提供了保障，这将是实现整车自动化的重要因素。
任何用于该领域的安全保护的感知系统都应该具有非常高的探测危险的概率和较低的虚警率，并且不会显著影响机器的生产力。
解决方案
NREC开发了一种基于多种传感模式(颜色、红外和距离数据)的感知系统，可以很容易地适应农业设备所暴露的不同环境和操作条件。
我们选择基于彩色和红外图像以及激光测距仪的距离数据来探测障碍和危险。这些感知模式是互补的，具有不同的失效模式。通过融合所有传感器产生的信息，整个系统的鲁棒性大大提高，超过了单个感知传感器的能力。
一个重要的设计选择是在我们的感知系统的几个模块中嵌入现代机器学习技术。这使得系统能够快速适应新的环境和新的操作类型，这对于农业领域的环境复杂性是很重要的。
描述
为了达到感知系统所要求的高度可靠性，我们选择了传感器，使它们能够提供补充信息，供更高层次的推理系统利用。为了正确融合来自相机、激光测距仪和位置估计系统的信息，我们开发了精确的多传感器校准和时间同步程序。
我们实现了特征提取器，实时分析图像，提取颜色、纹理和红外信息，与激光的距离估计相结合，以建立系统运行环境的精确地图。
由于我们的感知系统必须很容易适应新的环境和操作条件，硬编码的基于规则的系统不适用于我们正在分析的障碍检测问题。因此，我们开发了机器学习，将车辆周围的区域按照几个不同的兴趣类别进行分类，如有障碍与无障碍或固体与可压缩。我们开发了新的算法，用于在有植被的情况下估计权重支撑面高度的过程中纳入平滑约束，并从非常大的数据集中有效地训练我们的学习算法。
最初的系统安装在John Deere的6410拖拉机上，已经在几次现场测试中进行了演示。我们目前专注于一种小型的独立感知系统，它使用更便宜的传感器，并可能被用作几种现有类型农业机械的附加模块。
应用程序
这个问题
对于在斜坡上行驶的车辆，固有的“稳定裕度降低”显著增加了翻车或翻车的可能性。
无人地面车辆(ugv)并不是唯一穿越崎岖地形和陡坡的轮式车辆。当代的驾驶采矿、林业、农业和军用车辆也能做到这一点，而且经常在很长一段时间内高速行驶。起重机、挖掘机和其他运载重物的机器在斜坡上作业时，不稳定性也会急剧增加。坡度只是需要考虑的一个因素。防止车辆在平面上翻倒(例如在仓库内)也同样重要，特别是考虑到市场力量会奖励那些体积更小、载重更重、载重更高的叉车制造商。
解决方案
NREC的专家们设计了一种结合了复杂软件和硬件的解决方案，包括惯性传感器和位于车辆重心的倾斜计式摆锤。
在车辆运行过程中，系统会持续主动地计算稳定性裕度，以触发警报、驱动“调节器”装置或改变悬挂。它计算横向加速度为曲率或速度增加。当运动状态活动达到翻车/翻车漏洞时，系统识别这种情况并触发所需的操作。
该系统可部署在机器人和驾驶员操作的车辆(包括汽车)和机械(起重机、挖掘机、升降机、托盘千斤顶等)上。
描述
NREC研究人员开发了稳定裕度估计系统的算法。这些算法考虑了各种变量，如重力的聚合效应和变化的运动学力。NREC的科学家们随后开发了动画模拟，以测试车辆和机械(提升卡车、挖掘机、起重机等)在不同坡度、速度和载荷连接下的机动稳定性模型。
进一步的测试涉及使用试验台硬件，包括一辆吊车。该升降卡车进行了重大改造，以纳入传感器(陀螺、轴加速度计和倾角计)、稳定设备、计算机硬件和控制软件。作为硬件平台的一部分，NREC创建了一个用于模拟场景的数据记录器系统。NREC测试人员校准了仿真中使用的模型，以最小化实际测试车辆的翻车风险。
该传感/驾驶员控制系统是在Matlab/Simulink中开发的，包括惯性传感器模型和一个用户界面，以模拟驾驶员对载重汽车的输入命令，包括转向、速度、升降机高度、侧移和倾斜。在此基础上，定义了稳定预测算法与传感系统之间的软件接口层。通过驾驶员控制界面，用户可以向卡车输入驾驶员命令，生成响应这些命令的动态模型。当车辆执行用户命令时，传感系统监测车辆的稳定性。
应用程序
这个问题
快速在复杂地形上航行，并在最少的人力监督下一直是ugv的主要挑战。识别障碍的需要需要感知能力的显著提高。此外，撞到障碍物的持续可能性要求车辆足够坚固，能够在碰撞中承受可承受的损伤后继续运行。
解决方案
基于PerceptOR的成功成果，UPI项目的感知和自动化系统正在得到扩展，以提高更高速度下的自动化能力。
作为UPI的一部分，NREC设计了一种新型车辆，Crusher，其特点是新的高度耐用的车体，增加了旅行悬挂，并利用了Spinner车辆的许多发展和改进。
增强的感知能力包括新的“学习”技术，使车辆能够从地形数据中学习。然后，它可以在新的、高度变化的地形上航行，自主程度不断提高。该团队还应用机器学习技术来改善Crusher在没有GPS的情况下的定位估计。
有效载荷开发、集成和测试计划持续到2008年。UPI将汇集技术和人员，生产能够在最少干预的情况下执行任务的自动驾驶汽车平台。
描述
随着两辆新车辆的增加，该项目将能够在不同地形的地点进行三个平行的现场测试议程:
应用程序
60英里的城市挑战赛路线蜿蜒穿过拥挤的街道、建筑物、交通、路标、车道标志和红绿灯的市区。确切的路线直到比赛当天早上才知道。每辆车都试图在6小时的时限内完成一系列三次任务。比赛过程中不允许任何人为干预。每辆车都利用其车载传感和推理能力在车流中安全行驶，规划穿过繁忙街道的路线，通过十字路口和交通圈，遵守速度限制和其他交通法规，避开静止和移动的障碍物——包括其他城市挑战赛的参赛者。
Tartan Racing参加了城市挑战赛，将科幻小说中的智能自动驾驶带到你所在城镇的街道上。为这场比赛开发的技术将为每个人更安全、更高效、更便捷的交通奠定基础。
人口老龄化、基础设施和不断增加的交通量使驾车者面临风险。如果没有技术创新，到2020年，车祸将成为第三大死因。集成的自动驾驶辅助系统和相关安全技术将防止事故和伤害，挽救生命。它们还将帮助人们在变老时保持行动自由和独立性。
自动驾驶技术还可以用于提高工作场所的安全性和生产率。重型机械和卡车的辅助系统将使它们的运行效率更高，对司机和旁观者的风险更小。
描述
Tartan Racing采取了多管齐下的方法来应对在城市动态环境中航行的艰巨挑战:
NREC的教职员工在克服这些技术挑战方面发挥了关键的领导作用。
应用程序
这个问题
在NREC的科学家和工程师开发出AMTS解决方案之前，公司在工厂和仓库中运输材料和堆放托盘时，除了依靠司机操作的叉车和拖轮车外，别无选择。
目前的自动引导车辆(agv)由于无法“看到”周围环境而受到限制。而且，为了运行，它们需要复杂的设置和昂贵的设施基础设施更改。例如，使用传统agv的公司必须为自动叉车安装特殊的传感器、夹具和附件，以拾取一托盘的材料。
解决方案
NREC的科学家和工程师设计了一种计算机视觉系统，可用于任何移动机器人应用程序。如今，高性价比的AMTS解决方案可以24小时有效工作，在许多情况下无需熄灯，对车辆的损坏比人类造成的要小。通常没有必要改造设施基础设施以适应agv。这些装备amts的自动车辆——机器人叉车和拖船——依靠NREC开发的低成本、高速定位系统找到它们的路。
NREC为每辆车配备了相机和激光测距仪的组合，用于导航和控制。叉车底部安装了向下看的摄像头，机器人捕捉视觉线索，并将其与预先存储的楼层图像数据库进行匹配，从而成为它在楼层导航的地图。
铲车使用前瞻相机系统，对拖车的侧面进行成像，以找到转移到拖曳车辆的托盘。叉插入托盘孔内，叉车将托盘抬起。当自动叉车从拖车中退出来时，它依靠激光测距仪从拖车中安全地移走紧密连接的托盘。机器人拖船使用同样的向下视觉技术来移动和定位货车以便装卸货物。
描述
NREC的科学家和工程师开发了四种新的视觉系统和相关的视觉伺服控制系统，以及工厂级别的车辆交通协调软件。
AMTS解决方案的开发始于位置估计技术和托盘采集视觉系统的原型。在将NASA技术集成到这些系统之后，NREC提供了一个简化的、自动拖车装卸和自动托盘堆放的演示。
随后，在一个汽车装配厂的AGV试点项目中，几辆拖轮AGV使用了AMTS向下视觉技术，并证明了其可行性。
今天，AMTS已成为生产设施、工业工厂和仓库中高效、低成本的材料运输的实用解决方案。因为它不需要改变设施基础设施，它使自动化物料处理比以往任何时候都更实用和负担得起。
应用程序
“黑骑士”可以在白天或晚上用于对有人驾驶地面车辆来说风险太大的任务(包括前方侦察、侦察监视和目标获取(RSTA)、情报收集和调查危险区域)，并可以与现有的有人驾驶和无人驾驶系统集成。它使操作人员能够从无人前沿阵地获取态势数据，并通过使用地图数据确认地形假设来验证任务计划。
《黑骑士》展示了使用当前技术的无人地面作战车辆(ugcv)的先进能力。它的300马力柴油发动机使它的速度可达48英里每小时，越野自动驾驶和远程操作速度可达15英里每小时。它的带履带驱动使它在极端的越野地形中高度机动，同时减少了它的声学和热信号。这架重达12吨的“黑骑士”可以用C-130货机运输，大量使用布莱德利作战系统项目的部件，以降低成本并简化维护。
黑骑士可以在其他车辆内(例如，从布拉德利战车的指挥台)或由下马的士兵进行远程操作。它的机器人操作员控制站(ROCS)为远程操作车辆提供了一个易于使用的界面。“黑骑士”的自主和半自主能力帮助其操作人员规划有效的路径，避免障碍和地形危险，并从一个航路点导航到另一个航路点。辅助远程操作将人类驾驶与自动保护结合起来。
“黑骑士”在2007年的空中突击远征军(AAEF)螺旋D野外演习中进行了广泛的越野和公路测试，在那里它成功地执行了前方观察任务和其他任务。黑骑士在白天和夜间行动中都给士兵们带来了很大的优势。在超过200小时的持续使用中，该车辆没有错过任何一天的运行。
描述
NREC开发了“黑骑士”的车辆控制器、远程操作、感知和安全系统。
黑骑士的感知和控制模块包括激光雷达(LADAR)、高灵敏度立体摄像机、FLIR热成像摄像机和GPS。通过无线数据链，该传感器套件既支持全自动驾驶，也支持辅助(或半自动)驾驶。
“黑骑士”的自主导航功能包括全自动路线规划和任务规划功能。它可以规划路径点之间的路线——可以是直接的、直线的路径，也可以是地形成本最低的路径(也就是车辆风险最低的路径)。“黑骑士”的感知系统融合了LADAR距离数据和相机图像，可以探测周围的正面和负面障碍，使其自主导航系统能够避开这些障碍。
这些自动驾驶功能也可以帮助黑骑士的司机进行远程操作。“黑骑士”可以规划由操作员手动驾驶的路径。在“防护远程操作”模式下，感知系统检测到的物体被覆盖在驾驶地图上，使驾驶员能够绕过它们机动。当探测到道路上有致命障碍时，车辆也会停下来。“黑骑士”由位于另一辆车内的机器人操作员控制站(ROCS)驾驶。它也可以通过安全控制器驾驶离开。ROCS显示来自车辆的彩色和FLIR驾驶摄像头的图像，包括一个手动控制器，用于转向车辆和操作其传感器。它还允许驾驶员控制和查看各种车辆和传感器系统的状态。地图和路线显示帮助驾驶员在不熟悉的地形中导航。
ROCS还允许操作人员控制指挥官独立视图(CIV)传感器套件。CIV用于远程监视和目标捕获(RSTA)，包括彩色视频和FLIR摄像机。
应用程序
这个问题
金属的露天开采、岩石的采石和公路的建设都需要有效地清除大量的土壤、矿石和岩石。人工操作的挖掘机将材料装载到卡车上。每辆卡车通常需要通过几次，每一次依次需要15-20秒。操作员的工作表现在轮班初期达到顶峰，但随着疲劳而下降。排定的空闲时间，如午餐和其他休息时间，也会减少整个班次的生产。
安全是另一个重要的考虑因素。挖掘机操作人员在安装或拆卸机器时最容易受伤。操作人员倾向于专注于手头的任务，可能没有注意到其他现场人员或设备进入装载区。
解决方案
自动化挖掘和装载过程将提高生产率和提高安全性，因为无需操作人员操作机器，并提供完整的传感器覆盖，以监视进入工作区域的潜在危险。
认识到这个机会，NREC的科学家和工程师开发了一个完全自动化卡车装载过程的系统。
描述
在设计ALS和进行实验试验时，ALS团队结合了硬件、软件和算法来进行感知、规划和控制。
ALS硬件子系统由伺服控制挖掘机、车载计算系统、感知传感器和相关电子设备组成。在该系统的开发过程中，NREC团队开发了一种基于激光的扫描系统，该系统能够穿透空气中合理数量的灰尘和烟雾。此外，该团队还开发了两种不同的飞行时间扫描激光雷达系统，它们不受环境粉尘条件的影响。
NREC团队设计了包含多个模块的软件子系统，用于处理传感器数据、识别卡车、选择挖掘和倾倒位置、移动挖掘机关节和防止碰撞。
计划和控制算法决定了如何进行挖掘工作，在卡车上存放材料，以及在两者之间移动铲斗。感知算法处理传感器数据，并向系统的规划算法提供有关工作环境的信息。
专家操作人员的知识被编码到称为脚本的模板中，使用简单的运动学和动态规则对其进行调整，以生成非常快速的机器运动。该系统在一台25吨的液压挖掘机上进行了全面实施和演示，并成功地以专家操作员约80%的速度装载卡车。
应用程序
LAGR项目的目标是开发新一代学习感知和控制算法，通过强调学习自主导航，解决当前机器人地面车辆自主导航系统的不足。DARPA希望他们选择的十个独立研究团队立即专注于算法开发，而不是在项目早期消耗时间，以获得一个基线机器人平台的工作。DARPA还想要一个公共平台，这样软件就可以在团队之间轻松地共享，政府就可以对团队结果进行客观评估。
在短短7个月的时间里，NREC设计并制造了12个LAGR机器人，使DARPA能够按时举行LAGR启动会议，并为每个研究团队提供了一个功能齐全的自主开发平台。
参赛队伍在开赛时接受了4个小时的训练，当天就能够编写基本的避障能力。开发人员能够立即专注于学习算法的研究，因为在交付时提供了所有基本的自治功能和良好记录的api。
对所有平台的精心配置控制使开发人员能够在他们的工作站开发软件，将他们的软件加载到记忆棒上，并将记忆棒运送到DARPA，然后在他们的LAGR机器人上运行软件。
描述
LAGR机器人包括三台2.0 GHz奔腾- m计算机、立体相机、红外测距仪、GPS、IMU、编码器、无线通信链路和操作控制单元。NREC将其PerceptOR软件移植到平台上，以提供基线自主能力。
通信工具包括用于机载通信的千兆以太网;无线(802.11b)以太网通信链路;可以在笔记本电脑上运行的远程监控软件;还有一个独立的射频遥控器。
用户可以在机器人上以三种不同的模式记录数据:使用射频远程远程操作;从机载计算机系统(OCS)远程操作;在自主操作过程中。
每一个机器人，NREC都提供了一个全面的用户手册，其中记录了机器人的能力、基线自治软件和api(带有示例)，使开发人员能够轻松地将机器人传感器数据与他们的感知和规划算法连接起来。
应用程序
这个问题
作物喷洒对于驾驶喷洒设备的操作人员来说是天生的危险。将驾驶员从机器上移除将提高安全性，并降低健康保险成本。此外，如果一个系统可以支持夜间操作，由于虫子活动增加，需要较少的化学物质来达到同样的效果。这可以提高作物的质量，减少喷洒费用。
解决方案
NREC开发了一种无人拖拉机，可以用于多种农业操作，包括喷洒。该系统使用一个GPS接收器、车轮编码器、一个地面速度雷达单元和一个惯性测量单元(IMU)，以便精确记录和跟踪穿过田野或果园的路径。NREC团队在车辆上安装了两个彩色摄像头，以便使用基于颜色和距离的障碍检测。
该教学/回放系统在佛罗里达州的一个橘子林进行了测试，它以5到8公里/小时的速度沿着7公里的路径自动喷洒。
描述
该项目最初的重点是改造套件的设计，将6410牵引车转换为自动驾驶汽车。其中一个关键的要求是，在改装后，车辆仍然可以像普通的拖拉机一样由人驾驶，以便于路径记录过程。由于车辆不是通过电线驱动，NREC开发了制动器，转向和速度控制。
为了实现路径教学/回放功能，NREC开发了一种使用扩展卡尔曼滤波器的定位系统，用于融合里程计、GPS信息和IMU测量。路径跟踪系统是基于Pure Pursuit算法的。关于该系统性能的更多信息可以在我们的“自主机器人”论文中找到。
应用程序
大多数建设性和虚拟模拟都对机器人系统进行了非常简化的表示，特别是在机动性、目标获取、交互和协作方面。军事仿真规划算法通常将机器人车辆视为有人驾驶的实体，速度和感知能力较低。模型很少包含诸如自主规划、感知和协调等方面的表示。研究地面和空中机器人系统未来应用的场景往往侧重于载人系统任务，对独特机器人能力的发展很少。
通过将经过现场验证的NREC机器人技术直接连接到模拟器，分析人员可以获得更高保真度的机器人系统行为模拟。这允许更好地理解这些系统的效用和改进的最佳方向。而且，NREC这样的机器人系统开发者和这些系统的用户之间的循环比以往任何时候都要快得多，增强可以在开发周期的早期进行，因此成本更低。
描述
在项目的第一阶段，NREC开发了一个高度可重用的机器人仿真支持模块，将Field D*规划器与Force模拟器上的Janus Force连接起来。由于Janus地形的基本分辨率低于精确模拟机器人行为所需的分辨率，我们使用分形地形生成器为每种地形类型添加适当的粗糙度。
确保生成器所添加的内容能够准确地反映出地形的真正难度;我们还开发了一个易于使用的基于gui的工具，允许兰德分析师调整地形生成器的输入参数，确保模拟的有效性。在开发之后，在兰德公司的设施成功地对相关模拟场景进行了集成测试。
在第二阶段，NREC调整软件模块连接到JCATS模拟器。NREC和RAND再次成功地在相关模拟场景中测试了集成。NREC还开始设计一个系统，为模拟器带来新的机器人合作行为。
目前，我们正致力于开发和集成这些行为与兰德公司的模拟器。
应用程序
这个问题
今天的无人地面车辆(ugv)需要持续的人力监督和大量的通信资源，特别是在穿越复杂的跨国地形时。在无人潜航车能够在没有人类持续监督的情况下自行安全航行之前，它们无法大规模支持战术军事行动。在所有类别的障碍物之外，ugv特别容易受到洞或沟渠等“负面障碍”的影响，由于车载传感器的范围和高度有限，地面车辆很难感知这些障碍。
解决方案
nrecr领导的团队开发了一个创新的感知器“闪电战”概念，这是一个综合的空中/地面车辆系统，为无人地面车辆集成了重要的自主感知、推理和规划。
自主UGV包括LADAR、三组立体相机、车内和车间传感器融合、地形分类、障碍物规避、路径点导航和动态路径规划。无人驾驶飞行器——“飞眼”——从上方观察地形，这是探测车辙、沟渠和死胡同等障碍物的最佳有利位置。
该团队成功演示了UGV和Flying Eye协同工作，以提高导航性能。UGV根据所有可用数据规划其初始路线，并将路线传送给“飞眼”。“飞眼”在这条航线上飞向无人机前面的一个点。当飞眼机动时，它向下看的传感器探测到地面上的障碍物。这些障碍物的位置根据UGV的位置传送回UGV。UGV会重新规划它的预定路径以避开障碍物，并指挥“飞眼”侦察新路径。
改进的障碍感知能力(由于双视角，良好分离的视图)和优化的路线规划(由“飞眼”的侦察功能实现)通过降低车辆失灵或被困的风险，减少操作人员干预的需要和通信系统带宽，提高了UGV的自主速度。
描述
通过与分包商的合作，NREC开发了PerceptOR Blitz的三阶段解决方案。
在第一阶段，该团队开发了一个车辆感知系统原型，包括三种传感模式，传感器融合，地形分类软件，路径点导航和路径规划软件。一辆商业亚视车，改装为计算机控制，作为感知系统平台。
在第二阶段，团队在四种不同地形的试验点上验证了PerceptOR的原型:弗吉尼亚州的稀疏树林;亚利桑那州有冲刷、沟壑和壁架的沙漠灌木丛;加州有松林的山坡;以及长满高草和其他植被的茂密森林。在测试运行中，该团队演示了完全集成的无人、空中/地面传感，用于探测和避免负面障碍和其他危险。他们还只使用被动感知来处理复杂地形。此外，他们通过融合几何和颜色传感器数据对困难地形类型(地面覆盖、米高植被、沙漠灌木丛)进行分类。
在第三阶段，NREC团队继续通过额外的开发和现场试验来提高感知系统的性能和可靠性。该团队提高了UGV在次优条件下的自主操作能力，例如在遮蔽物(灰尘、烟雾或雨)、退化的GPS覆盖和通信带宽降低的情况下。
应用程序
这个问题
高尔夫球场需要持续的维护，而且通常需要半熟练的操作员团队来修剪球道，而且通常是在高尔夫球运动的高峰期。割草机操作人员必须避开高尔夫球，保持整齐的外观，防止疲劳，并安全操作割草机。
解决方案
NREC的自动割草机系统满足了这些需求，它提供了一个只需少量监督的系统，可以在夜间和其他非高峰时段运行。
自动割草机具有高度可靠的障碍物检测和定位系统。NREC开发了一种障碍检测系统，包括一个扫描激光测距仪，它可以建立割草机前面区域的3D地图。它“学习”并使用这张地图来探测沿途的障碍。机器人割草机的定位系统结合了GPS和惯性数据，提供了精确和可靠的位置估计。
描述
为了在高尔夫球场和运动场上实现完全自动化，NREC的科学家和工程师开发了可靠的障碍检测、精确导航和有效覆盖的能力。
可靠的障碍物检测:
精确的导航:
有效的报道:
应用程序
这个问题
农民们一直在努力降低成本，提高生产力。机械收割机和许多其他农业机械需要专业驾驶员才能有效地工作。然而，人工成本和操作人员疲劳会增加成本并限制这些机器的生产率。
解决方案
NREC与项目赞助商NASA和New Holland公司合作，建造了一种机器人收割机，通过结合基于软件的教学/回放系统和基于gps的卫星定位技术，将作物收获精度达到10cm。该机器人能够日夜操作，能够以超过人类操作员所能保持的速度和质量持续收割作物。
在加利福尼亚州埃尔森特罗进行的广泛田间试验的实际结果表明，自动收割机将提高效率;降低成本，事半功倍。
描述
对于机器人定位和导航，NREC实现了基于gps的差分教学/回放系统。差分GPS涉及到两个接收器的合作，一个是静止的，另一个四处移动，进行位置测量。固定的接收器是关键。它将所有的卫星测量数据与一个可靠的本地参考数据联系起来。
通过教学/回放系统，Windrower“学习”它正在切割的字段，将路径存储在内存中，然后被编程重复路径自己。
在项目早期，NREC团队使用颜色分割来确定机器伺服的切割线。该方法区分代表直立作物的绿色百分比和被割作物的棕色残茬百分比。该系统的计算机扫描切割线以确定机器方向。Windrower被引导在4-8英里/小时的速度，约3英寸的方差从这条作物线。
其他引导和安全仪器包括一个倾角计，以保护机器从翻转和翻倒和陀螺仪的冗余指导。
应用程序
泥炭苔藓通常用于园艺和植物生长。它是在沼泽中发现的积累的、部分腐烂的植物物质。一个活跃的泥炭沼泽被分成更小的矩形区域，三面被排水沟包围。当最上面一层泥炭变干时，田地就可以收割了。只要天气允许，每天都要收割。
泥炭是用牵引式真空收割机收割的。真空收割机在被拉过泥炭田时，会吸走最上层的干泥炭。当收割机装满时，它的操作员将收获的泥炭倾倒到储存桩上。储存的泥炭随后被拖走进行加工和包装。
泥炭苔藓的收获是自动化的一个很好的候选者，有以下几个原因:
描述
NREC的附加感知系统执行三个对安全自主操作非常重要的任务。
检测泥炭储存桩
在将收获的泥炭倾倒到储存堆上之前，机器人需要找到堆的边缘。然而，它不能依赖GPS，因为随着收获的泥炭添加到储存库中，储存库的形状、大小和位置都会发生变化。为了定位堆积桩的边缘，感知系统在被感知的三维地面上找到连续的高边坡区域。地面的概率空间模型产生了地面高度的平滑估计和处理传感器噪声。
检测障碍
尽管泥炭田通常没有障碍物，但收割机必须探测到障碍物的存在，如人、其他收割机和其他车辆)，以确保无人操作的安全。为了探测不同类型的物体，感知系统使用了一种算法的组合，利用3D激光雷达数据来发现密集区域、高物体和地面以上的热区域。
检测沟渠
沟渠的位置是用全球定位系统绘制的。然而，作为一种额外的安全预防措施，它们也会被感知系统检测到。感知系统在地面高度的平滑估计中搜索沟渠形状。
应用程序
RVCA为FCS提供以下好处:
描述
RVCA由下列人员组成:
战场上的工程评估主要集中在诸如路径点跟踪、远程操作、系统与ANS和其他软件组件的整体性能以及士兵在战场上的使用等能力上。该项目于2010年以士兵作战实验结束。
应用程序
这个问题
随着天然气管道基础设施的老化，公用事业公司面临越来越多的需求，需要更频繁地检查配电网络。传统的管道检查方法需要使用推拉栓系系统进行频繁的入口挖掘，每次挖掘的检查范围不超过100 ~ 200英尺。这就导致了对多英里长的管道段进行多次、昂贵和漫长的检查，以寻找决定管道修复所需的数据。
解决方案
Explorer系统可以从一次挖掘中访问数千英尺长的管道。它可以收集实时的可视化检测数据，并向操作人员提供即时的远程反馈，以便对水侵或其他缺陷做出决策。与传统方法相比，这种方法收集信息的速度更快，成本更低。
机器人的结构是对称的。七元素铰接式车身设计包含了移动/相机模块、电池携带模块和移动支持模块的镜像排列，中间有一个计算和电子模块。机器人的计算机和电子设备被保护在经过净化和加压的外壳中。关节连接着每个模块。运动模块通过俯仰-滚转关节与相邻模块连接，而其他模块则通过俯仰-滚转关节连接。这些特别设计的关节允许机器人在管道内的方向，在任何需要的方向。
移动模块包含一个迷你鱼眼相机，以及它的镜头和照明元素。该摄像机具有190度的视野，并提供管道内部的高分辨率彩色图像。移动模块还包含双驱动执行机构，设计允许部署和缩回三个腿，配备定制的驱动轮。该机器人可以保持每秒4英寸的速度。然而，为了让操作员获得可处理的图像，检查速度通常要低于这一速度。
考虑到每个机车都有自己的摄像头，该系统提供了两端的视图，以便在行驶过程中观察到两个方向。图像管理系统允许操作人员在其屏幕上观察两种视图中的一种或两种视图同时观察。
描述
在开发Explorer的过程中，NREC进行了需求分析、系统仿真、设计和工程、原型制造和现场测试。NREC与全国各地的天然气分配公用事业公司密切合作，达成了一个多功能和合适的设计。该机器人在2.5年的开发期间进行了广泛的测试。该测试包括在美国东北部的铸铁和钢铁管道中，在爆炸环境中连续运行一周，每天8小时
该系统目前正处于升级阶段，在此期间将添加濒死体验传感器，并根据现场试验结果对系统进行改进。这些新的检测方法的不断发展将有助于保持国家天然气管道基础设施的高度完整性和运行可靠性。
应用程序
这个问题
美国的观赏园艺是一个每年价值110亿美元的产业，与不断减少的移民劳动力有关。无技能的季节性劳动力越来越贵，也越来越难找，但每年仍需要几次将盆栽植物移到田间和棚子之间。苗圃产业如果要生存和继续繁荣，就必须解决这个问题。目前面临的挑战是开发一种适应性强的集装箱处理解决方案，该解决方案要具有成本效益，易于操作和维护，只需最少的技术技能，并易于适应各种集装箱和现场条件。
解决方案
NREC与NASA和项目赞助商园艺研究所(HRI)合作，开发了有效处理各种不同尺寸容器和各种植物材料的解决方案。
自动货柜处理系统旨在有效地管理以下过程:将货柜从盆栽机/棚移至田间;协调现场集装箱间距;把集装箱运进运出过冬的房子。
原型和现场测试系统设计为每天8小时处理35000个集装箱，由一到两名操作人员操作。由此产生的好处包括:
在现场，系统可以很容易地重新配置，以适应不断变化的条件，容器大小和终端用户的需求。
描述
Junior (JR)集装箱处理系统是一种由内燃机驱动的自移动户外平台，通过激光测距仪感知集装箱，通过车载PLC计算机进行控制，并通过一套电液和电机械驱动系统进行驱动。
在JR的现场试验中获得了性能和操作数据，并提交给了赞助商。JR有足够的性能，但价格还不高，无法被业界轻易接受。
项目赞助商HRI随后要求NREC将JR技术应用于成本较低的附件。这个附件必须接口现有的原动机和处理较大的集装箱。
NREC团队将JR开发和测试的关键技术直接应用到小型挖掘机(PotCLAW)的附件中。这些技术包括基于激光的罐位置传感和解释，以及可靠和健壮的“抓取”罐所需的机构设计。PotCLAW执行与JR相同的功能，除了操作员处理所有抓取头的粗定位，以进行装卸操作。所有的精细定位和锅的位置传感是自动执行完全在JR系统。
PotClaw在NREC设施向赞助商进行了演示，并交付到当地的托儿所进行现场测试，并向最终用户进行演示。
该系统是一种商业上可行的产品，可获得许可。
应用程序
这个问题
传统的砂砾爆破方法在爆破过程中会产生有毒的空气粉尘，每平方英尺清理后会产生40磅有毒废物。这给船厂工人带来了危险，并造成了昂贵的处理问题。基于砂砾的方法也驱动砂砾进入船体表面，它降低了油漆的粘附性能。虽然也使用了单流高压水枪，但它们清除油漆的速度非常慢，对控制有毒的海洋油漆流没有任何作用。
解决方案
的EnvirobotTM机器人系统使用超高压水射流(55000 psi)将船体剥离至裸露的金属。纺锤头中的多个喷嘴可以在较宽的范围内去除涂层，而不是一寸一寸地去除。它可以以每小时500到3000平方英尺的速度去除涂层，这取决于涂层被去除的层数。
磁铁牢牢地固定着它，使它几乎可以在任何地方滚动。所有用于脱模的水都由一个强大的真空系统回收并循环利用。清洗过程中唯一的残留物就是油漆本身，它会自动倒入容器中进行妥善处理。
此外，水基剥离工艺产生了更清洁的金属表面，这大大增加了涂在船上的油漆的寿命。与任何形式的喷砂或喷砂相比，水喷砂表面容易被证明锈蚀较少，并且能更好地粘附油漆。
描述
在开发Envirobot时TM， NREC进行需求分析、系统仿真、设计和工程、原型制作和现场测试。面对不完整和动态的需求，NREC开发了三个版本的机器人，每个版本都提供了更多的性能、灵活性和可靠性。
在两年的开发期间，这些机器人进行了广泛的测试。该测试包括在现实条件下，每天24小时的连续一周的运行，由缺乏经验的操作人员进行。NREC团队在一个特别设计的测试墙上进行了测试，该测试墙由平、凹、凸和底面组成，并连接焊接珠。在这些测试之后，该团队参加了几个造船厂的现场试验，并基于这些经验，实施了十几个工程方案，以提高机器人的可靠性和可保障性。
应用程序
大鼠通过按顺序动作腿来移动。通过在受控模式下发射一条或多条腿，它可以沿着地面滚动，跳过岩石、洞和其他障碍物。这种跳跃能力使它能够克服具有轮子或踏板的类似大小的机器人难以或不可能克服的障碍。
RATS的对称设计和球形形状允许它在任何方向移动，自由翻滚和反弹。它的多条腿的精确协调给了它非常精细的运动控制和机动性在狭窄的空间。
描述
NREC的研究人员已经建造了两个RATS原型。
平面原型
平面原型是球形RATS的简化版本。它的五个对称腿由电磁阀的压缩空气气动驱动。机器人通过中心被拴在一根吊杆上，绕着圈前进。
利用平面样机对大鼠的控制策略和步态进行了研究。通过控制它腿的发射顺序，研究人员能够发展出一种可持续的跑步步态和跳跃步态来跨越障碍。它使用反馈控制器来保持最大速度。
球形的原型
球形原型是完整的球形RATS的初步版本。它的十二个对称腿是由伺服系统激活的。
这个球形原型可以在地面上自由移动，并被用于开发大鼠的步行步态。它使用开环模式下的离散序列控制器来跟踪路径。
应用程序
这个问题
在城市环境中的侦察和哨兵任务是危险的军事行动。小规模的作战人员使用隐身和快速机动来定位和收集敌人的信息。一个遥控机器人系统，能够在前方和小型武器射程之外进行侦察，将提供更广泛和更安全的侦察能力，而不会使作战人员暴露在潜在的致命情况下。
解决方案
“龙跑者”提供了一种小型、隐身、轻量级的解决方案，使作战人员能够快速收集情报并执行哨兵监视行动。
这种四轮装置体积小，重量轻，可以放在士兵的背包里，而且很结实，可以扔过栅栏，上下楼梯井。它的低重量和紧凑的尺寸对作战人员的速度、作战能力和负载需求(食物、水、弹药)产生很少或没有影响。这些特性是与其他机器人系统的关键区别，后者更重、体积更大、速度更慢、部署时间更长。
描述
目的:
龙跑者是作为一种低成本、坚固耐用的替代品开发的，以替代市场上已经存在的过于沉重、笨重、缓慢和昂贵的机器人侦察兵。Dragon Runner推动了动力传动系统、vetronics、小型化和集成、便携集成(背包)、可在沙漠中使用的小型显示器、接口和可用于生产的注塑材料和低成本组装的零部件等领域的最先进技术。NREC满足了所有目标，包括几个模块化有效载荷的开发和测试。
系统描述:
原型“龙跑者”移动地面传感器系统由一辆车辆、一个小型操作员控制系统(OCS)和一个简单的单手操作双灵巧手持控制器组成，全部装在一个定制背包中。
这种四轮、四轮驱动的机器人车辆具有高速能力，也可以通过缓慢、谨慎、有限的控制进行操作。该系统操作简单，不需要正式的操作人员培训，可以在不到3秒的时间内从包中部署。机载红外功能使夜间操作成为可能。
NREC向OIF交付了几支部队，供海军陆战队评估效力并开发技术、战术和程序。
应用程序
下一代自动驾驶军用车辆必须具有超越地形障碍的非凡能力，以及从障碍物和不可预测地形的冲击中生存和恢复的能力。它们还必须具有燃油效率和高度可靠性，以便能够在最少的后勤支持下执行长期任务。
随着UGCV项目的发展，弹性，即车辆在执行任务期间承受相当大的虐待并继续前进的能力，成为了关键的驱动因素。这种滥用在由远程远程操作员或半自动传感器和软件控制的无人驾驶车辆上很常见。
为了专注于原型开发，DARPA建立了主要设计指标:
在两年的高强度测试中，Spinner在极其崎岖的地形上的表现超过了这些指标。
旋转器通过其倒置设计以及独特的船体配置，最大限度地利用了无人驾驶的UGCV方面，以适应其大型连续有效载荷舱，旋转到垂直或向下定位有效载荷。除了侧翻碰撞的生存能力，车体、悬挂和车轮的设计都能应对高速撞击树木、岩石或看不见的沟渠时的极端正面冲击。尽管它的大尺寸，Spinner是非常隐蔽的，由于它的低调和安静的混合操作。
描述
作为主承包商，NREC管理了超过30项贸易研究、降低风险活动、子系统设计和测试活动的绩效。NREC还领导所有集成和组装操作，并执行所有性能测试。此外，NREC负责许多子系统，包括热管理、主动力、乘坐高度控制、制动、安全、指挥站、OCU、通信和远程操作。此外，NREC开发了所有的车辆定位、自动化、数据收集和数据分析系统，用于持续测试车辆。
在设计、制造和组装之后，Spinner完成了两年的高强度测试，以评估其在各种地形、天气条件和操作场景下的能力。例如，在政府控制的亚利桑那州尤马试验场的现场测试中，Spinner覆盖了近100英里非常崎岖的越野地形。
总的来说，Spinner在自动引导和人工直接控制的情况下，在不同的越野地形上行驶了数百英里。研究结果继续表明，在Spinner中使用的许多技术和方法都是未来ugv的可行选择。
应用程序
TUGV为步兵提供了一种远程执行战斗任务的方法，这降低了风险并消除了威胁。它被设计用于支持跨军事行动范围的任务中的下马步兵。TUGV可以执行的任务包括:
TUGV的操作人员和支持单位在执行任务时可以保持隐蔽，提高了他们的安全性。
描述
TUGV能够在极端地形下快速越野驾驶，并能承受恶劣环境和高海拔。它的全轮驱动与跑气轮胎确保了在危险条件下的机动性。TUGV的安静混合电力驱动支持长达24小时的任务(仅电池供电4小时)。
多功能有效载荷模块、开放硬件和符合jus的模块化软件允许快速任务重新配置。TUGV拥有通用战术支架，用于M249和M240G机枪，士兵发射多用途突击武器(SMAW)，轻型车辆遮蔽烟雾系统(LVOSS)和杀伤人员突破障碍系统(APOBS)。
TUGV的操作控制单元(OCU)具有坚固的头盔显示器，带有游戏控制器风格的手控控制器和轻量级的CPU，所有这些都可以放进背包中。OCU还有一个内置的全方位天线，喉部麦克风和耳机。远程数据终端可作为备用OCU。
视图新闻链接
NREC设计和开发了Crusher车辆，以支持UPI项目严格的现场试验计划。
UPI项目的特点是每季度进行一次实地试验，评估大规模无人地面车辆(UGV)在广泛复杂的越野地形中自主操作的能力。UPI积极的机动性、自主性和任务性能目标需要两个额外的测试平台，可以容纳各种任务有效载荷和最先进的自主技术。
Crusher代表了原始Spinner平台的下一代，这是世界上第一款从地面开始设计的大于6吨的越野UGV。破碎机提供了更多的机动性，可靠性，可维护性和灵活性，比纺锤少29%的重量。
应用程序
作为陆军未来部队的核心构件，战术ugv使新的作战能力得以实现，同时使更少的士兵处于危险之中。只有对UGV技术的局限性进行实地验证，并考虑到其对陆军理论、人员、平台和基础设施的影响，才能实现这种新能力的全部好处。
UPI实验包括车辆安全，有限的通信带宽和GPS基础设施对车辆性能的影响，以及如何有效地操作和监督车辆及其有效载荷。
到2006年中期，NREC将把其最新的自动化技术集成到两种Crusher车辆上。雷达和摄像系统的组合使车辆能够动态地对障碍物做出反应，并通过间隔超过一公里的任务航路点。通过地形数据分析使用架空数据将继续用于全球规划。在未来的一年里，这两个飞行器将在极端地形上进行分析、计划和执行移动任务，完全不需要任何人类互动。破碎机的悬挂系统允许它保持高速越野穿越极端地形。
描述
破碎机有一个由CTC技术公司设计的新的空间框架外壳，由高强度铝管和钛节点制成。由高强度钢制成的悬挂和防震滑板使Crusher能够摆脱巨大的，船体下的冲击，从巨石和树桩。机头为Crusher进行了完全重新设计，以维持与树木和灌木丛的正常碰撞，同时也吸收了重大碰撞的影响。
Timoney设计的悬挂支撑30英寸。具有可选择的刚度和可重构的乘坐高度的旅行。破碎机可以轻松携带超过8000磅。有效载荷和装甲。Crusher的混合电力系统允许车辆在一次电池充电的情况下在数英里的极端地形上无声移动。一台60kW涡轮增压柴油发动机通过saft制造的高性能锂离子电池模块保持充电。发动机和电池智能工作，为Crusher的六轮轮毂电机驱动系统提供动力，该系统围绕UQM牵引电机构建。
应用程序
APD项目将继续推动UGV核心移动技术的发展和成熟。这一努力将有利于所有无人平台的移动性、子系统和控制开发。
APD最终将被用作RVCA项目的高机动UGV平台演示器，取代Crusher UGV。
APD的关键性能参数包括最高时速80公里和自主换道能力。其尺寸要求包括能够在一架C-130运输机上部署两辆车。
描述
每小时80公里的速度要求是NREC设计人员要满足的最重要的挑战。为了满足这一需求和其他需求，NREC团队完成了在悬架技术和配置、船体结构、车辆驱动结构、电池技术、冷却方法和发动机等方面的深入贸易研究。
设计小组于2008年8月顺利完成初步设计评审。他们的目标是在2009年8月推出汽车。在推出后，APD将进行广泛的机动性测试，并最终取代Crusher成为主要的RVCA测试平台。该项目在2010年的士兵操作实验中达到高潮。
应用程序
这个问题
在建造长崎湾大桥的早期阶段，和岛面临着在水下下沉沉箱和在坚实的基岩中进行水下挖掘的挑战。在这种条件下部署工人是极其危险和昂贵的。地面上的工作人员依靠安装在地面上的摄像机拍摄的图像远程操作三个大型切割臂。摄像机不能穿透灰尘，也不能提供足够的深度感知，以进行有效的远程挖掘。
解决方案
NREC的科学家们开发了一种基于结构光技术的3D传感器和显示系统，Kajima成功地使用该系统提供了挖掘区域的3D地图。移动系统每5分钟提供新的图像，并专注于关键的周边区域，同时有效地看穿灰尘。
描述
INREC的3D成像系统可以测量整个沉箱工作区域，并集中在挖掘区域的周边，在那里，刀具可能会损坏沉箱或被困在岩石和沉箱边缘之间。该系统采用:
互动显示器，作为一个虚拟相机的操作人员，显示切割臂的位置和分配的材料被删除。传感器数据在三个独立的操作站进行处理和显示。每个操作员都可以独立地操作和查看数据，以满足其查看需求。
应用程序
这个问题
计算机辅助手术患者注册是一个具有挑战性的问题，需要短的注册时间和高的准确性。注册算法通常涉及到在执行速度、准确性和应用方便度之间的权衡。基于图像的配准算法从大量图像中收集数据，以提高精度，计算量很大，当输入图像包含杂波时，通常会导致性能下降。
解决方案
CMU开发了一种图像比较算法，方差加权和局部归一化相关，它大大减少了输入射线照片中杂波和不相关对象的影响。这种图像比较方法与模拟x射线图像的硬件加速渲染相结合，允许以亚毫米精度对有噪声、杂乱的图像进行配准。
描述
该项目一开始是为了将校园研究的技术商业化。NREC与主办方合作确定项目要求，并确保CMU的活动符合主办方对产品设计、评审和测试的严格流程。
为了将厂商锁定的风险降至最低，生成的产品被构建为在开源LINUX操作系统下运行，并且只使用现成的商品硬件。
项目可交付成果，包括超过2000页的设计、可追溯性、测试、参考和风险分析文档，已经转移给发起人。该软件目前正在赞助商网站上进行额外的测试和产品集成。
应用程序
这个问题
在地下矿山，输送带系统输送煤炭和其他材料。一个典型的煤矿可能有多达20条传送带，其中一些传送带可能长达2万英尺。
传送带通常是由橡胶/织物层压板制成的，它是通过连接在一起的几个皮带部分，端到端，形成一个连续的系统。皮带系统的各部分通常由机械或硫化接头连接。机械接头使用金属夹与钢缆一起连接皮带的各部分。硫化接头通过材料的化学连接将皮带的各部分连接在一起。
当连接处磨损时，皮带会自动分开。输送带断裂是危险的，可能导致成吨的材料溢出，导致生产停止，需要昂贵的清理和维修。长壁矿井的皮带发生机械断裂，需要轮班修复，损失收入25万美元。一个硫化接头处的断裂可能需要两个班次才能修复。
在没有皮带视觉系统的情况下，矿工必须手动检查每一个接缝，因为它沿着皮带移动。这是一项既费力又困难的工作，因为传送带的平均移动速度为每小时8-10英里，而且接头处经常被泥土和煤覆盖。通常，许多失败的接头没有被检测到，导致皮带故障，停机，和数百万美元的收入损失。
解决方案
该专利的传送带视觉系统由两个高分辨率的线扫描相机组成，当传送带以每分钟800英尺的速度从系统下通过时，它可以成像。线扫描图像以每秒9000行的速度捕获，并提供清晰的，无模糊的带图像。这些图像被输入高速机器视觉算法，该算法计算每条扫描线的特征，并自适应地调整阈值，以考虑组成传送带的众多部件的不同特征。然后，机器视觉算法检测并提取传送带上每个机械拼接的图像。它通过其独特的齿形模式检测机械接头，并通过对传送带图像中边缘的统计分析检测硫化接头。
每个检测到的拼接图像可供输送带操作员在输送带视觉系统站进行检查。操作人员可以放大每张图像，并详细分析每个拼接，找出最细微的缺陷(断了的别针、丢失的铆钉、皮带撕裂等)。失败的接头可以在计划的皮带停机期间进行修复，节省了大量的成本。
描述
在开发皮带视觉系统时，NREC进行了需求分析、系统设计和工程、原型制造和现场测试。
NREC开发了一个快速原型系统，部署在一个煤矿，其唯一目的是收集不同传送带的真实图像。从这个原型系统捕获的图像允许软件工程师设计、实现、测试和分析许多机器视觉算法的性能，以检测机械拼接。软件工程师利用真实数据设计了一种鲁棒算法来检测机械拼接。
随着算法的发展，NREC的工程师们建立了一个微型的，模拟的传送带系统，包括滚子和接头。这使得NREC工程师能够测试原型系统，确定它们的问题，并在将系统部署到矿井地下之前解决任何问题。然后，他们对照明和矿山安全法规要求进行了详细分析。
照明是一个问题，因为这项任务涉及到在相机快门速度仅为万分之一秒的情况下拍摄黑带。这迫使NREC对地下矿山的照明需求进行了详细的分析，并最终提出了一个健壮的定制led照明解决方案。
此外，如果一个系统要进入矿山地下，它必须通过矿山安全法规认证程序。NREC设计和建造的系统是为了满足这些严格的安全要求。
NREC开发了三个原型版本的皮带视觉系统，每个连续版本提供了更高的性能、灵活性和可靠性。在两年的开发期间进行了大量测试，包括每天24小时、长达一个月的地下煤矿运行，真正的矿工依靠该系统来监测输送带的状况。该系统最初的版本只检测到机械接头。最新的版本扩展了该系统，以检测硫化接头，这是很难找到的带图像。
NREC、CONSOL和Beitzel公司继续合作设计、制造和测试低成本版本的系统。在全球范围内，具有成本效益的安装潜力超过7000个。美国能源部正在为这个新阶段提供资金。
应用程序
SMS可用于训练任何类型的手持式地雷探测器棒。它特别设计用于AN/PSS-14地雷探测装置、AN/PSS-12和Minelab F1A4探测器。其坚固的结构和易于组装和校准，使其可以用于室内和室外的各种训练场景。它可以与物理或虚拟地雷阵列一起使用。该短信目前在美国陆军训练中心使用。它帮助训练士兵在阿富汗和其他重雷地区排雷工作。在训练中使用SMS显著提高了学员使用AN/PSS-14、陆军和海军陆战队下一代手持式地雷探测系统探测地雷的能力。
描述
短信息系统由一对立体摄像机组成，它们跟踪扫雷传感器头上的一个目标。目标是安装在地雷探测器上的一个颜色鲜艳的球。当受训者将探测器扫过模拟雷区时，SMS每秒记录目标的位置30次。
根据这些位置数据，SMS测量学员在成功探测地雷的关键领域的表现:传感器头部穿越速度、传感器地面高度、覆盖区域和被扫区域的间隙。这些信息显示在由训练主管监控的电脑显示器上，通过颜色、覆盖率和速度与高度的对比图给出即时反馈。
该短信还向学员提供实时音频反馈，当探测到地雷时，它会发出哔哔声，并给出关于整体表现的口头信息(如“太快”或“太慢”)。这种反馈有助于提高学员探测地雷的技能。
每节课结束时，短信会从覆盖率、覆盖区域和地雷目标位置等方面总结学员的表现。在培训过程中记录的数据可以被保存并在以后复查。
应用程序
人口老龄化和道路上车辆数量的增加是驾驶员辅助和其他车辆安全产品开发的背后原因。智能辅助系统能够感知汽车或卡车周围的环境，并向驾驶员提供反馈，有助于在事故发生前预防事故，使驾驶更安全、更容易、更不疲劳。
目前的驾驶员辅助系统使用视觉、雷达或雷达来感知车辆的环境。然而，这些传感器都有缺点。基于雷达的系统可以探测到其他车辆的接近程度，但不能给出周围环境的详细情况。基于雷达的系统也可以探测距离，但在恶劣天气下可能不能很好地工作。基于视觉的系统提供了详细的信息，但在短时间内处理和解释图像以做出驾驶决策是具有挑战性的。
大陆汽车系统公司正在开发基于视觉的驾驶员辅助系统，以帮助驾驶员避免事故。大陆集团正在利用NREC在机器视觉和机器学习方面的专业知识，开发一种分类器，可以快速有效地检测道路上其他车辆的存在。NREC的车辆分类器旨在识别和定位车道偏离预警系统摄像头的实时视频图像中的车辆。
描述
车辆分类器使用一种快速、计算效率高的分类算法来识别哪些图像包含车辆，哪些没有。它被设计运行在一个便宜的数字信号处理器(DSP)上，比奔腾4略弱。它的输入是来自车道偏离预警系统摄像头的视频，该摄像头位于司机的后视镜后面。
分类算法在一个数据集上进行训练，该数据集包含有汽车、卡车和其他车辆的道路视频图像。在训练数据集的每一帧视频中，每辆车的位置都是手工标记的。从这个数据集中，算法学习哪些图像特征代表其他车辆，哪些不是。NREC已经开发出一种算法，可以将训练时间从以前发表的结果中减少一个数量级以上。
分类算法扫描原始传入图像，以识别图像中包含汽车的区域。该算法的一个重要特点是它的工作速度非常快，允许以视频帧率处理图像的大区域。
描述
远程操作系统有四个组成部分:
应用程序
糟糕的态势感知使间接驾驶(司机被密封在无窗车辆内以保护自己)和远程驾驶(司机远程操作无人驾驶车辆)更加困难。在这两种情况下，驾驶者依赖的摄像机视野有限，显示的图像相互冲突或令人困惑，而且无法显示车辆的外部视图。这限制了车辆的速度，导致了事故的发生。
驾驶员需要知道车辆所处的环境发生了什么，并能够预测接下来会发生什么。然而，如果不能看到整个车辆的周围，这是很难做到的。驾驶员需要几分钟的时间来充分了解遥控UGV的周围环境——这是他或她在执行任务时可能没有的时间!
SACR(士兵感知彩色测距)使用3D视频来提高驾驶员对环境的感知。它提供了一些辅助间接和远程驾驶的功能:
描述
传感器
SACR传感器吊舱包括一个高清摄像机和激光测距仪。一个或多个传感器吊舱可以安装在车辆上。
三维视频
SACR融合了来自传感器吊舱的实时视频和距离输入，建立了车辆周围环境的3D计算机图形模型。
应用程序
这个问题
美国在煤炭生产方面处于世界领先地位，但利润不断受到挤压。公用事业的放松管制压低了价格，而更小更短的煤层限制了生产率，同时增加了采矿成本。地下能见度低限制了效率，必要的安全防范措施也限制了效率，但却未能防止事故、伤害和死亡。
解决方案
NREC与合作伙伴NASA和Joy Mining Machinery合作，开发了半自动连续采矿机器人系统和其他用于地下采矿的设备。
NREC在Joy连续矿机上安装了传感器，以精确测量机器的位置、方向和运动。这些传感器帮助操作员站在一个安全距离精确控制机器。作业精度的提高提高了煤矿井下开采的生产率，减少了对矿工的健康和安全危害。
描述
NREC开发团队开发了两个测试系统来改善设备定位，包括:
在地面测试中，该团队展示了测量污水池深度的能力，误差不超过2%的移动距离。该团队还展示了跟踪激光参考的能力，在1厘米的横向偏移和1/3度的航向误差。
在进行了地面试验之后，该小组在宾夕法尼亚州的坎伯兰矿和伊利诺伊州的伦德湖矿进行了地下试验。作为DoE- fec资助的项目的一部分，更多的地下测试继续进行，该项目还加入了DoE的INEEL和CONSOL作为合作伙伴。
应用程序
这个问题
农业设备每年都发生大量事故，往往造成严重伤害或死亡。这些事故大多是由于操作人员的失误造成的，如果能够提醒操作人员车辆行驶路径或操作环境中的危险，这些事故是可以避免的。
与此同时，在农业领域，完全自动化仅几步之遥。约翰迪尔公司在AutoTrac的商业化方面取得了巨大的成功，AutoTrac是约翰迪尔公司开发的一种基于GPS定位的自动转向系统。AutoTrac目前作为操作辅助产品销售，不具有任何障碍检测功能。添加机器感知功能为AutoTrac等产品提供了保障，这将是实现整车自动化的重要因素。
任何用于该领域的安全保护的感知系统都应该具有非常高的探测危险的概率和较低的虚警率，并且不会显著影响机器的生产力。
解决方案
NREC开发了一种基于多种传感模式(颜色、红外和距离数据)的感知系统，可以很容易地适应农业设备所暴露的不同环境和操作条件。
我们选择基于彩色和红外图像以及激光测距仪的距离数据来探测障碍和危险。这些感知模式是互补的，具有不同的失效模式。通过融合所有传感器产生的信息，整个系统的鲁棒性大大提高，超过了单个感知传感器的能力。
一个重要的设计选择是在我们的感知系统的几个模块中嵌入现代机器学习技术。这使得系统能够快速适应新的环境和新的操作类型，这对于农业领域的环境复杂性是很重要的。
描述
为了达到感知系统所要求的高度可靠性，我们选择了传感器，使它们能够提供补充信息，供更高层次的推理系统利用。为了正确融合来自相机、激光测距仪和位置估计系统的信息，我们开发了精确的多传感器校准和时间同步程序。
我们实现了特征提取器，实时分析图像，提取颜色、纹理和红外信息，与激光的距离估计相结合，以建立系统运行环境的精确地图。
由于我们的感知系统必须很容易适应新的环境和操作条件，硬编码的基于规则的系统不适用于我们正在分析的障碍检测问题。因此，我们开发了机器学习，将车辆周围的区域按照几个不同的兴趣类别进行分类，如有障碍与无障碍或固体与可压缩。我们开发了新的算法，用于在有植被的情况下估计权重支撑面高度的过程中纳入平滑约束，并从非常大的数据集中有效地训练我们的学习算法。
最初的系统安装在John Deere的6410拖拉机上，已经在几次现场测试中进行了演示。我们目前专注于一种小型的独立感知系统，它使用更便宜的传感器，并可能被用作几种现有类型农业机械的附加模块。
应用程序
这个问题
对于在斜坡上行驶的车辆，固有的“稳定裕度降低”显著增加了翻车或翻车的可能性。
无人地面车辆(ugv)并不是唯一穿越崎岖地形和陡坡的轮式车辆。当代的驾驶采矿、林业、农业和军用车辆也能做到这一点，而且经常在很长一段时间内高速行驶。起重机、挖掘机和其他运载重物的机器在斜坡上作业时，不稳定性也会急剧增加。坡度只是需要考虑的一个因素。防止车辆在平面上翻倒(例如在仓库内)也同样重要，特别是考虑到市场力量会奖励那些体积更小、载重更重、载重更高的叉车制造商。
解决方案
NREC的专家们设计了一种结合了复杂软件和硬件的解决方案，包括惯性传感器和位于车辆重心的倾斜计式摆锤。
在车辆运行过程中，系统会持续主动地计算稳定性裕度，以触发警报、驱动“调节器”装置或改变悬挂。它计算横向加速度为曲率或速度增加。当运动状态活动达到翻车/翻车漏洞时，系统识别这种情况并触发所需的操作。
该系统可部署在机器人和驾驶员操作的车辆(包括汽车)和机械(起重机、挖掘机、升降机、托盘千斤顶等)上。
描述
NREC研究人员开发了稳定裕度估计系统的算法。这些算法考虑了各种变量，如重力的聚合效应和变化的运动学力。NREC的科学家们随后开发了动画模拟，以测试车辆和机械(提升卡车、挖掘机、起重机等)在不同坡度、速度和载荷连接下的机动稳定性模型。
进一步的测试涉及使用试验台硬件，包括一辆吊车。该升降卡车进行了重大改造，以纳入传感器(陀螺、轴加速度计和倾角计)、稳定设备、计算机硬件和控制软件。作为硬件平台的一部分，NREC创建了一个用于模拟场景的数据记录器系统。NREC测试人员校准了仿真中使用的模型，以最小化实际测试车辆的翻车风险。
该传感/驾驶员控制系统是在Matlab/Simulink中开发的，包括惯性传感器模型和一个用户界面，以模拟驾驶员对载重汽车的输入命令，包括转向、速度、升降机高度、侧移和倾斜。在此基础上，定义了稳定预测算法与传感系统之间的软件接口层。通过驾驶员控制界面，用户可以向卡车输入驾驶员命令，生成响应这些命令的动态模型。当车辆执行用户命令时，传感系统监测车辆的稳定性。
应用程序
这个问题
快速在复杂地形上航行，并在最少的人力监督下一直是ugv的主要挑战。识别障碍的需要需要感知能力的显著提高。此外，撞到障碍物的持续可能性要求车辆足够坚固，能够在碰撞中承受可承受的损伤后继续运行。
解决方案
基于PerceptOR的成功成果，UPI项目的感知和自动化系统正在得到扩展，以提高更高速度下的自动化能力。
作为UPI的一部分，NREC设计了一种新型车辆，Crusher，其特点是新的高度耐用的车体，增加了旅行悬挂，并利用了Spinner车辆的许多发展和改进。
增强的感知能力包括新的“学习”技术，使车辆能够从地形数据中学习。然后，它可以在新的、高度变化的地形上航行，自主程度不断提高。该团队还应用机器学习技术来改善Crusher在没有GPS的情况下的定位估计。
有效载荷开发、集成和测试计划持续到2008年。UPI将汇集技术和人员，生产能够在最少干预的情况下执行任务的自动驾驶汽车平台。
描述
随着两辆新车辆的增加，该项目将能够在不同地形的地点进行三个平行的现场测试议程:
应用程序
60英里的城市挑战赛路线蜿蜒穿过拥挤的街道、建筑物、交通、路标、车道标志和红绿灯的市区。确切的路线直到比赛当天早上才知道。每辆车都试图在6小时的时限内完成一系列三次任务。比赛过程中不允许任何人为干预。每辆车都利用其车载传感和推理能力在车流中安全行驶，规划穿过繁忙街道的路线，通过十字路口和交通圈，遵守速度限制和其他交通法规，避开静止和移动的障碍物——包括其他城市挑战赛的参赛者。
Tartan Racing参加了城市挑战赛，将科幻小说中的智能自动驾驶带到你所在城镇的街道上。为这场比赛开发的技术将为每个人更安全、更高效、更便捷的交通奠定基础。
人口老龄化、基础设施和不断增加的交通量使驾车者面临风险。如果没有技术创新，到2020年，车祸将成为第三大死因。集成的自动驾驶辅助系统和相关安全技术将防止事故和伤害，挽救生命。它们还将帮助人们在变老时保持行动自由和独立性。
自动驾驶技术还可以用于提高工作场所的安全性和生产率。重型机械和卡车的辅助系统将使它们的运行效率更高，对司机和旁观者的风险更小。
描述
Tartan Racing采取了多管齐下的方法来应对在城市动态环境中航行的艰巨挑战:
NREC的教职员工在克服这些技术挑战方面发挥了关键的领导作用。
应用程序
这个问题
在NREC的科学家和工程师开发出AMTS解决方案之前，公司在工厂和仓库中运输材料和堆放托盘时，除了依靠司机操作的叉车和拖轮车外，别无选择。
目前的自动引导车辆(agv)由于无法“看到”周围环境而受到限制。而且，为了运行，它们需要复杂的设置和昂贵的设施基础设施更改。例如，使用传统agv的公司必须为自动叉车安装特殊的传感器、夹具和附件，以拾取一托盘的材料。
解决方案
NREC的科学家和工程师设计了一种计算机视觉系统，可用于任何移动机器人应用程序。如今，高性价比的AMTS解决方案可以24小时有效工作，在许多情况下无需熄灯，对车辆的损坏比人类造成的要小。通常没有必要改造设施基础设施以适应agv。这些装备amts的自动车辆——机器人叉车和拖船——依靠NREC开发的低成本、高速定位系统找到它们的路。
NREC为每辆车配备了相机和激光测距仪的组合，用于导航和控制。叉车底部安装了向下看的摄像头，机器人捕捉视觉线索，并将其与预先存储的楼层图像数据库进行匹配，从而成为它在楼层导航的地图。
铲车使用前瞻相机系统，对拖车的侧面进行成像，以找到转移到拖曳车辆的托盘。叉插入托盘孔内，叉车将托盘抬起。当自动叉车从拖车中退出来时，它依靠激光测距仪从拖车中安全地移走紧密连接的托盘。机器人拖船使用同样的向下视觉技术来移动和定位货车以便装卸货物。
描述
NREC的科学家和工程师开发了四种新的视觉系统和相关的视觉伺服控制系统，以及工厂级别的车辆交通协调软件。
AMTS解决方案的开发始于位置估计技术和托盘采集视觉系统的原型。在将NASA技术集成到这些系统之后，NREC提供了一个简化的、自动拖车装卸和自动托盘堆放的演示。
随后，在一个汽车装配厂的AGV试点项目中，几辆拖轮AGV使用了AMTS向下视觉技术，并证明了其可行性。
今天，AMTS已成为生产设施、工业工厂和仓库中高效、低成本的材料运输的实用解决方案。因为它不需要改变设施基础设施，它使自动化物料处理比以往任何时候都更实用和负担得起。
应用程序
“黑骑士”可以在白天或晚上用于对有人驾驶地面车辆来说风险太大的任务(包括前方侦察、侦察监视和目标获取(RSTA)、情报收集和调查危险区域)，并可以与现有的有人驾驶和无人驾驶系统集成。它使操作人员能够从无人前沿阵地获取态势数据，并通过使用地图数据确认地形假设来验证任务计划。
《黑骑士》展示了使用当前技术的无人地面作战车辆(ugcv)的先进能力。它的300马力柴油发动机使它的速度可达48英里每小时，越野自动驾驶和远程操作速度可达15英里每小时。它的带履带驱动使它在极端的越野地形中高度机动，同时减少了它的声学和热信号。这架重达12吨的“黑骑士”可以用C-130货机运输，大量使用布莱德利作战系统项目的部件，以降低成本并简化维护。
黑骑士可以在其他车辆内(例如，从布拉德利战车的指挥台)或由下马的士兵进行远程操作。它的机器人操作员控制站(ROCS)为远程操作车辆提供了一个易于使用的界面。“黑骑士”的自主和半自主能力帮助其操作人员规划有效的路径，避免障碍和地形危险，并从一个航路点导航到另一个航路点。辅助远程操作将人类驾驶与自动保护结合起来。
“黑骑士”在2007年的空中突击远征军(AAEF)螺旋D野外演习中进行了广泛的越野和公路测试，在那里它成功地执行了前方观察任务和其他任务。黑骑士在白天和夜间行动中都给士兵们带来了很大的优势。在超过200小时的持续使用中，该车辆没有错过任何一天的运行。
描述
NREC开发了“黑骑士”的车辆控制器、远程操作、感知和安全系统。
黑骑士的感知和控制模块包括激光雷达(LADAR)、高灵敏度立体摄像机、FLIR热成像摄像机和GPS。通过无线数据链，该传感器套件既支持全自动驾驶，也支持辅助(或半自动)驾驶。
“黑骑士”的自主导航功能包括全自动路线规划和任务规划功能。它可以规划路径点之间的路线——可以是直接的、直线的路径，也可以是地形成本最低的路径(也就是车辆风险最低的路径)。“黑骑士”的感知系统融合了LADAR距离数据和相机图像，可以探测周围的正面和负面障碍，使其自主导航系统能够避开这些障碍。
这些自动驾驶功能也可以帮助黑骑士的司机进行远程操作。“黑骑士”可以规划由操作员手动驾驶的路径。在“防护远程操作”模式下，感知系统检测到的物体被覆盖在驾驶地图上，使驾驶员能够绕过它们机动。当探测到道路上有致命障碍时，车辆也会停下来。“黑骑士”由位于另一辆车内的机器人操作员控制站(ROCS)驾驶。它也可以通过安全控制器驾驶离开。ROCS显示来自车辆的彩色和FLIR驾驶摄像头的图像，包括一个手动控制器，用于转向车辆和操作其传感器。它还允许驾驶员控制和查看各种车辆和传感器系统的状态。地图和路线显示帮助驾驶员在不熟悉的地形中导航。
ROCS还允许操作人员控制指挥官独立视图(CIV)传感器套件。CIV用于远程监视和目标捕获(RSTA)，包括彩色视频和FLIR摄像机。
应用程序
这个问题
金属的露天开采、岩石的采石和公路的建设都需要有效地清除大量的土壤、矿石和岩石。人工操作的挖掘机将材料装载到卡车上。每辆卡车通常需要通过几次，每一次依次需要15-20秒。操作员的工作表现在轮班初期达到顶峰，但随着疲劳而下降。排定的空闲时间，如午餐和其他休息时间，也会减少整个班次的生产。
安全是另一个重要的考虑因素。挖掘机操作人员在安装或拆卸机器时最容易受伤。操作人员倾向于专注于手头的任务，可能没有注意到其他现场人员或设备进入装载区。
解决方案
自动化挖掘和装载过程将提高生产率和提高安全性，因为无需操作人员操作机器，并提供完整的传感器覆盖，以监视进入工作区域的潜在危险。
认识到这个机会，NREC的科学家和工程师开发了一个完全自动化卡车装载过程的系统。
描述
在设计ALS和进行实验试验时，ALS团队结合了硬件、软件和算法来进行感知、规划和控制。
ALS硬件子系统由伺服控制挖掘机、车载计算系统、感知传感器和相关电子设备组成。在该系统的开发过程中，NREC团队开发了一种基于激光的扫描系统，该系统能够穿透空气中合理数量的灰尘和烟雾。此外，该团队还开发了两种不同的飞行时间扫描激光雷达系统，它们不受环境粉尘条件的影响。
NREC团队设计了包含多个模块的软件子系统，用于处理传感器数据、识别卡车、选择挖掘和倾倒位置、移动挖掘机关节和防止碰撞。
计划和控制算法决定了如何进行挖掘工作，在卡车上存放材料，以及在两者之间移动铲斗。感知算法处理传感器数据，并向系统的规划算法提供有关工作环境的信息。
专家操作人员的知识被编码到称为脚本的模板中，使用简单的运动学和动态规则对其进行调整，以生成非常快速的机器运动。该系统在一台25吨的液压挖掘机上进行了全面实施和演示，并成功地以专家操作员约80%的速度装载卡车。
应用程序
LAGR项目的目标是开发新一代学习感知和控制算法，通过强调学习自主导航，解决当前机器人地面车辆自主导航系统的不足。DARPA希望他们选择的十个独立研究团队立即专注于算法开发，而不是在项目早期消耗时间，以获得一个基线机器人平台的工作。DARPA还想要一个公共平台，这样软件就可以在团队之间轻松地共享，政府就可以对团队结果进行客观评估。
在短短7个月的时间里，NREC设计并制造了12个LAGR机器人，使DARPA能够按时举行LAGR启动会议，并为每个研究团队提供了一个功能齐全的自主开发平台。
参赛队伍在开赛时接受了4个小时的训练，当天就能够编写基本的避障能力。开发人员能够立即专注于学习算法的研究，因为在交付时提供了所有基本的自治功能和良好记录的api。
对所有平台的精心配置控制使开发人员能够在他们的工作站开发软件，将他们的软件加载到记忆棒上，并将记忆棒运送到DARPA，然后在他们的LAGR机器人上运行软件。
描述
LAGR机器人包括三台2.0 GHz奔腾- m计算机、立体相机、红外测距仪、GPS、IMU、编码器、无线通信链路和操作控制单元。NREC将其PerceptOR软件移植到平台上，以提供基线自主能力。
通信工具包括用于机载通信的千兆以太网;无线(802.11b)以太网通信链路;可以在笔记本电脑上运行的远程监控软件;还有一个独立的射频遥控器。
用户可以在机器人上以三种不同的模式记录数据:使用射频远程远程操作;从机载计算机系统(OCS)远程操作;在自主操作过程中。
每一个机器人，NREC都提供了一个全面的用户手册，其中记录了机器人的能力、基线自治软件和api(带有示例)，使开发人员能够轻松地将机器人传感器数据与他们的感知和规划算法连接起来。
应用程序
这个问题
作物喷洒对于驾驶喷洒设备的操作人员来说是天生的危险。将驾驶员从机器上移除将提高安全性，并降低健康保险成本。此外，如果一个系统可以支持夜间操作，由于虫子活动增加，需要较少的化学物质来达到同样的效果。这可以提高作物的质量，减少喷洒费用。
解决方案
NREC开发了一种无人拖拉机，可以用于多种农业操作，包括喷洒。该系统使用一个GPS接收器、车轮编码器、一个地面速度雷达单元和一个惯性测量单元(IMU)，以便精确记录和跟踪穿过田野或果园的路径。NREC团队在车辆上安装了两个彩色摄像头，以便使用基于颜色和距离的障碍检测。
该教学/回放系统在佛罗里达州的一个橘子林进行了测试，它以5到8公里/小时的速度沿着7公里的路径自动喷洒。
描述
该项目最初的重点是改造套件的设计，将6410牵引车转换为自动驾驶汽车。其中一个关键的要求是，在改装后，车辆仍然可以像普通的拖拉机一样由人驾驶，以便于路径记录过程。由于车辆不是通过电线驱动，NREC开发了制动器，转向和速度控制。
为了实现路径教学/回放功能，NREC开发了一种使用扩展卡尔曼滤波器的定位系统，用于融合里程计、GPS信息和IMU测量。路径跟踪系统是基于Pure Pursuit算法的。关于该系统性能的更多信息可以在我们的“自主机器人”论文中找到。
应用程序
大多数建设性和虚拟模拟都对机器人系统进行了非常简化的表示，特别是在机动性、目标获取、交互和协作方面。军事仿真规划算法通常将机器人车辆视为有人驾驶的实体，速度和感知能力较低。模型很少包含诸如自主规划、感知和协调等方面的表示。研究地面和空中机器人系统未来应用的场景往往侧重于载人系统任务，对独特机器人能力的发展很少。
通过将经过现场验证的NREC机器人技术直接连接到模拟器，分析人员可以获得更高保真度的机器人系统行为模拟。这允许更好地理解这些系统的效用和改进的最佳方向。而且，NREC这样的机器人系统开发者和这些系统的用户之间的循环比以往任何时候都要快得多，增强可以在开发周期的早期进行，因此成本更低。
描述
在项目的第一阶段，NREC开发了一个高度可重用的机器人仿真支持模块，将Field D*规划器与Force模拟器上的Janus Force连接起来。由于Janus地形的基本分辨率低于精确模拟机器人行为所需的分辨率，我们使用分形地形生成器为每种地形类型添加适当的粗糙度。
确保生成器所添加的内容能够准确地反映出地形的真正难度;我们还开发了一个易于使用的基于gui的工具，允许兰德分析师调整地形生成器的输入参数，确保模拟的有效性。在开发之后，在兰德公司的设施成功地对相关模拟场景进行了集成测试。
在第二阶段，NREC调整软件模块连接到JCATS模拟器。NREC和RAND再次成功地在相关模拟场景中测试了集成。NREC还开始设计一个系统，为模拟器带来新的机器人合作行为。
目前，我们正致力于开发和集成这些行为与兰德公司的模拟器。
应用程序
这个问题
今天的无人地面车辆(ugv)需要持续的人力监督和大量的通信资源，特别是在穿越复杂的跨国地形时。在无人潜航车能够在没有人类持续监督的情况下自行安全航行之前，它们无法大规模支持战术军事行动。在所有类别的障碍物之外，ugv特别容易受到洞或沟渠等“负面障碍”的影响，由于车载传感器的范围和高度有限，地面车辆很难感知这些障碍。
解决方案
nrecr领导的团队开发了一个创新的感知器“闪电战”概念，这是一个综合的空中/地面车辆系统，为无人地面车辆集成了重要的自主感知、推理和规划。
自主UGV包括LADAR、三组立体相机、车内和车间传感器融合、地形分类、障碍物规避、路径点导航和动态路径规划。无人驾驶飞行器——“飞眼”——从上方观察地形，这是探测车辙、沟渠和死胡同等障碍物的最佳有利位置。
该团队成功演示了UGV和Flying Eye协同工作，以提高导航性能。UGV根据所有可用数据规划其初始路线，并将路线传送给“飞眼”。“飞眼”在这条航线上飞向无人机前面的一个点。当飞眼机动时，它向下看的传感器探测到地面上的障碍物。这些障碍物的位置根据UGV的位置传送回UGV。UGV会重新规划它的预定路径以避开障碍物，并指挥“飞眼”侦察新路径。
改进的障碍感知能力(由于双视角，良好分离的视图)和优化的路线规划(由“飞眼”的侦察功能实现)通过降低车辆失灵或被困的风险，减少操作人员干预的需要和通信系统带宽，提高了UGV的自主速度。
描述
通过与分包商的合作，NREC开发了PerceptOR Blitz的三阶段解决方案。
在第一阶段，该团队开发了一个车辆感知系统原型，包括三种传感模式，传感器融合，地形分类软件，路径点导航和路径规划软件。一辆商业亚视车，改装为计算机控制，作为感知系统平台。
在第二阶段，团队在四种不同地形的试验点上验证了PerceptOR的原型:弗吉尼亚州的稀疏树林;亚利桑那州有冲刷、沟壑和壁架的沙漠灌木丛;加州有松林的山坡;以及长满高草和其他植被的茂密森林。在测试运行中，该团队演示了完全集成的无人、空中/地面传感，用于探测和避免负面障碍和其他危险。他们还只使用被动感知来处理复杂地形。此外，他们通过融合几何和颜色传感器数据对困难地形类型(地面覆盖、米高植被、沙漠灌木丛)进行分类。
在第三阶段，NREC团队继续通过额外的开发和现场试验来提高感知系统的性能和可靠性。该团队提高了UGV在次优条件下的自主操作能力，例如在遮蔽物(灰尘、烟雾或雨)、退化的GPS覆盖和通信带宽降低的情况下。
应用程序
这个问题
高尔夫球场需要持续的维护，而且通常需要半熟练的操作员团队来修剪球道，而且通常是在高尔夫球运动的高峰期。割草机操作人员必须避开高尔夫球，保持整齐的外观，防止疲劳，并安全操作割草机。
解决方案
NREC的自动割草机系统满足了这些需求，它提供了一个只需少量监督的系统，可以在夜间和其他非高峰时段运行。
自动割草机具有高度可靠的障碍物检测和定位系统。NREC开发了一种障碍检测系统，包括一个扫描激光测距仪，它可以建立割草机前面区域的3D地图。它“学习”并使用这张地图来探测沿途的障碍。机器人割草机的定位系统结合了GPS和惯性数据，提供了精确和可靠的位置估计。
描述
为了在高尔夫球场和运动场上实现完全自动化，NREC的科学家和工程师开发了可靠的障碍检测、精确导航和有效覆盖的能力。
可靠的障碍物检测:
精确的导航:
有效的报道:
应用程序
这个问题
农民们一直在努力降低成本，提高生产力。机械收割机和许多其他农业机械需要专业驾驶员才能有效地工作。然而，人工成本和操作人员疲劳会增加成本并限制这些机器的生产率。
解决方案
NREC与项目赞助商NASA和New Holland公司合作，建造了一种机器人收割机，通过结合基于软件的教学/回放系统和基于gps的卫星定位技术，将作物收获精度达到10cm。该机器人能够日夜操作，能够以超过人类操作员所能保持的速度和质量持续收割作物。
在加利福尼亚州埃尔森特罗进行的广泛田间试验的实际结果表明，自动收割机将提高效率;降低成本，事半功倍。
描述
对于机器人定位和导航，NREC实现了基于gps的差分教学/回放系统。差分GPS涉及到两个接收器的合作，一个是静止的，另一个四处移动，进行位置测量。固定的接收器是关键。它将所有的卫星测量数据与一个可靠的本地参考数据联系起来。
通过教学/回放系统，Windrower“学习”它正在切割的字段，将路径存储在内存中，然后被编程重复路径自己。
在项目早期，NREC团队使用颜色分割来确定机器伺服的切割线。该方法区分代表直立作物的绿色百分比和被割作物的棕色残茬百分比。该系统的计算机扫描切割线以确定机器方向。Windrower被引导在4-8英里/小时的速度，约3英寸的方差从这条作物线。
其他引导和安全仪器包括一个倾角计，以保护机器从翻转和翻倒和陀螺仪的冗余指导。
应用程序
泥炭苔藓通常用于园艺和植物生长。它是在沼泽中发现的积累的、部分腐烂的植物物质。一个活跃的泥炭沼泽被分成更小的矩形区域，三面被排水沟包围。当最上面一层泥炭变干时，田地就可以收割了。只要天气允许，每天都要收割。
泥炭是用牵引式真空收割机收割的。真空收割机在被拉过泥炭田时，会吸走最上层的干泥炭。当收割机装满时，它的操作员将收获的泥炭倾倒到储存桩上。储存的泥炭随后被拖走进行加工和包装。
泥炭苔藓的收获是自动化的一个很好的候选者，有以下几个原因:
描述
NREC的附加感知系统执行三个对安全自主操作非常重要的任务。
检测泥炭储存桩
在将收获的泥炭倾倒到储存堆上之前，机器人需要找到堆的边缘。然而，它不能依赖GPS，因为随着收获的泥炭添加到储存库中，储存库的形状、大小和位置都会发生变化。为了定位堆积桩的边缘，感知系统在被感知的三维地面上找到连续的高边坡区域。地面的概率空间模型产生了地面高度的平滑估计和处理传感器噪声。
检测障碍
尽管泥炭田通常没有障碍物，但收割机必须探测到障碍物的存在，如人、其他收割机和其他车辆)，以确保无人操作的安全。为了探测不同类型的物体，感知系统使用了一种算法的组合，利用3D激光雷达数据来发现密集区域、高物体和地面以上的热区域。
检测沟渠
沟渠的位置是用全球定位系统绘制的。然而，作为一种额外的安全预防措施，它们也会被感知系统检测到。感知系统在地面高度的平滑估计中搜索沟渠形状。
应用程序
RVCA为FCS提供以下好处:
描述
RVCA由下列人员组成:
战场上的工程评估主要集中在诸如路径点跟踪、远程操作、系统与ANS和其他软件组件的整体性能以及士兵在战场上的使用等能力上。该项目于2010年以士兵作战实验结束。
应用程序
这个问题
随着天然气管道基础设施的老化，公用事业公司面临越来越多的需求，需要更频繁地检查配电网络。传统的管道检查方法需要使用推拉栓系系统进行频繁的入口挖掘，每次挖掘的检查范围不超过100 ~ 200英尺。这就导致了对多英里长的管道段进行多次、昂贵和漫长的检查，以寻找决定管道修复所需的数据。
解决方案
Explorer系统可以从一次挖掘中访问数千英尺长的管道。它可以收集实时的可视化检测数据，并向操作人员提供即时的远程反馈，以便对水侵或其他缺陷做出决策。与传统方法相比，这种方法收集信息的速度更快，成本更低。
机器人的结构是对称的。七元素铰接式车身设计包含了移动/相机模块、电池携带模块和移动支持模块的镜像排列，中间有一个计算和电子模块。机器人的计算机和电子设备被保护在经过净化和加压的外壳中。关节连接着每个模块。运动模块通过俯仰-滚转关节与相邻模块连接，而其他模块则通过俯仰-滚转关节连接。这些特别设计的关节允许机器人在管道内的方向，在任何需要的方向。
移动模块包含一个迷你鱼眼相机，以及它的镜头和照明元素。该摄像机具有190度的视野，并提供管道内部的高分辨率彩色图像。移动模块还包含双驱动执行机构，设计允许部署和缩回三个腿，配备定制的驱动轮。该机器人可以保持每秒4英寸的速度。然而，为了让操作员获得可处理的图像，检查速度通常要低于这一速度。
考虑到每个机车都有自己的摄像头，该系统提供了两端的视图，以便在行驶过程中观察到两个方向。图像管理系统允许操作人员在其屏幕上观察两种视图中的一种或两种视图同时观察。
描述
在开发Explorer的过程中，NREC进行了需求分析、系统仿真、设计和工程、原型制造和现场测试。NREC与全国各地的天然气分配公用事业公司密切合作，达成了一个多功能和合适的设计。该机器人在2.5年的开发期间进行了广泛的测试。该测试包括在美国东北部的铸铁和钢铁管道中，在爆炸环境中连续运行一周，每天8小时
该系统目前正处于升级阶段，在此期间将添加濒死体验传感器，并根据现场试验结果对系统进行改进。这些新的检测方法的不断发展将有助于保持国家天然气管道基础设施的高度完整性和运行可靠性。
应用程序
这个问题
美国的观赏园艺是一个每年价值110亿美元的产业，与不断减少的移民劳动力有关。无技能的季节性劳动力越来越贵，也越来越难找，但每年仍需要几次将盆栽植物移到田间和棚子之间。苗圃产业如果要生存和继续繁荣，就必须解决这个问题。目前面临的挑战是开发一种适应性强的集装箱处理解决方案，该解决方案要具有成本效益，易于操作和维护，只需最少的技术技能，并易于适应各种集装箱和现场条件。
解决方案
NREC与NASA和项目赞助商园艺研究所(HRI)合作，开发了有效处理各种不同尺寸容器和各种植物材料的解决方案。
自动货柜处理系统旨在有效地管理以下过程:将货柜从盆栽机/棚移至田间;协调现场集装箱间距;把集装箱运进运出过冬的房子。
原型和现场测试系统设计为每天8小时处理35000个集装箱，由一到两名操作人员操作。由此产生的好处包括:
在现场，系统可以很容易地重新配置，以适应不断变化的条件，容器大小和终端用户的需求。
描述
Junior (JR)集装箱处理系统是一种由内燃机驱动的自移动户外平台，通过激光测距仪感知集装箱，通过车载PLC计算机进行控制，并通过一套电液和电机械驱动系统进行驱动。
在JR的现场试验中获得了性能和操作数据，并提交给了赞助商。JR有足够的性能，但价格还不高，无法被业界轻易接受。
项目赞助商HRI随后要求NREC将JR技术应用于成本较低的附件。这个附件必须接口现有的原动机和处理较大的集装箱。
NREC团队将JR开发和测试的关键技术直接应用到小型挖掘机(PotCLAW)的附件中。这些技术包括基于激光的罐位置传感和解释，以及可靠和健壮的“抓取”罐所需的机构设计。PotCLAW执行与JR相同的功能，除了操作员处理所有抓取头的粗定位，以进行装卸操作。所有的精细定位和锅的位置传感是自动执行完全在JR系统。
PotClaw在NREC设施向赞助商进行了演示，并交付到当地的托儿所进行现场测试，并向最终用户进行演示。
该系统是一种商业上可行的产品，可获得许可。
应用程序
这个问题
传统的砂砾爆破方法在爆破过程中会产生有毒的空气粉尘，每平方英尺清理后会产生40磅有毒废物。这给船厂工人带来了危险，并造成了昂贵的处理问题。基于砂砾的方法也驱动砂砾进入船体表面，它降低了油漆的粘附性能。虽然也使用了单流高压水枪，但它们清除油漆的速度非常慢，对控制有毒的海洋油漆流没有任何作用。
解决方案
的EnvirobotTM机器人系统使用超高压水射流(55000 psi)将船体剥离至裸露的金属。纺锤头中的多个喷嘴可以在较宽的范围内去除涂层，而不是一寸一寸地去除。它可以以每小时500到3000平方英尺的速度去除涂层，这取决于涂层被去除的层数。
磁铁牢牢地固定着它，使它几乎可以在任何地方滚动。所有用于脱模的水都由一个强大的真空系统回收并循环利用。清洗过程中唯一的残留物就是油漆本身，它会自动倒入容器中进行妥善处理。
此外，水基剥离工艺产生了更清洁的金属表面，这大大增加了涂在船上的油漆的寿命。与任何形式的喷砂或喷砂相比，水喷砂表面容易被证明锈蚀较少，并且能更好地粘附油漆。
描述
在开发Envirobot时TM， NREC进行需求分析、系统仿真、设计和工程、原型制作和现场测试。面对不完整和动态的需求，NREC开发了三个版本的机器人，每个版本都提供了更多的性能、灵活性和可靠性。
在两年的开发期间，这些机器人进行了广泛的测试。该测试包括在现实条件下，每天24小时的连续一周的运行，由缺乏经验的操作人员进行。NREC团队在一个特别设计的测试墙上进行了测试，该测试墙由平、凹、凸和底面组成，并连接焊接珠。在这些测试之后，该团队参加了几个造船厂的现场试验，并基于这些经验，实施了十几个工程方案，以提高机器人的可靠性和可保障性。
应用程序
大鼠通过按顺序动作腿来移动。通过在受控模式下发射一条或多条腿，它可以沿着地面滚动，跳过岩石、洞和其他障碍物。这种跳跃能力使它能够克服具有轮子或踏板的类似大小的机器人难以或不可能克服的障碍。
RATS的对称设计和球形形状允许它在任何方向移动，自由翻滚和反弹。它的多条腿的精确协调给了它非常精细的运动控制和机动性在狭窄的空间。
描述
NREC的研究人员已经建造了两个RATS原型。
平面原型
平面原型是球形RATS的简化版本。它的五个对称腿由电磁阀的压缩空气气动驱动。机器人通过中心被拴在一根吊杆上，绕着圈前进。
利用平面样机对大鼠的控制策略和步态进行了研究。通过控制它腿的发射顺序，研究人员能够发展出一种可持续的跑步步态和跳跃步态来跨越障碍。它使用反馈控制器来保持最大速度。
球形的原型
球形原型是完整的球形RATS的初步版本。它的十二个对称腿是由伺服系统激活的。
这个球形原型可以在地面上自由移动，并被用于开发大鼠的步行步态。它使用开环模式下的离散序列控制器来跟踪路径。
应用程序
这个问题
在城市环境中的侦察和哨兵任务是危险的军事行动。小规模的作战人员使用隐身和快速机动来定位和收集敌人的信息。一个遥控机器人系统，能够在前方和小型武器射程之外进行侦察，将提供更广泛和更安全的侦察能力，而不会使作战人员暴露在潜在的致命情况下。
解决方案
“龙跑者”提供了一种小型、隐身、轻量级的解决方案，使作战人员能够快速收集情报并执行哨兵监视行动。
这种四轮装置体积小，重量轻，可以放在士兵的背包里，而且很结实，可以扔过栅栏，上下楼梯井。它的低重量和紧凑的尺寸对作战人员的速度、作战能力和负载需求(食物、水、弹药)产生很少或没有影响。这些特性是与其他机器人系统的关键区别，后者更重、体积更大、速度更慢、部署时间更长。
描述
目的:
龙跑者是作为一种低成本、坚固耐用的替代品开发的，以替代市场上已经存在的过于沉重、笨重、缓慢和昂贵的机器人侦察兵。Dragon Runner推动了动力传动系统、vetronics、小型化和集成、便携集成(背包)、可在沙漠中使用的小型显示器、接口和可用于生产的注塑材料和低成本组装的零部件等领域的最先进技术。NREC满足了所有目标，包括几个模块化有效载荷的开发和测试。
系统描述:
原型“龙跑者”移动地面传感器系统由一辆车辆、一个小型操作员控制系统(OCS)和一个简单的单手操作双灵巧手持控制器组成，全部装在一个定制背包中。
这种四轮、四轮驱动的机器人车辆具有高速能力，也可以通过缓慢、谨慎、有限的控制进行操作。该系统操作简单，不需要正式的操作人员培训，可以在不到3秒的时间内从包中部署。机载红外功能使夜间操作成为可能。
NREC向OIF交付了几支部队，供海军陆战队评估效力并开发技术、战术和程序。
应用程序
下一代自动驾驶军用车辆必须具有超越地形障碍的非凡能力，以及从障碍物和不可预测地形的冲击中生存和恢复的能力。它们还必须具有燃油效率和高度可靠性，以便能够在最少的后勤支持下执行长期任务。
随着UGCV项目的发展，弹性，即车辆在执行任务期间承受相当大的虐待并继续前进的能力，成为了关键的驱动因素。这种滥用在由远程远程操作员或半自动传感器和软件控制的无人驾驶车辆上很常见。
为了专注于原型开发，DARPA建立了主要设计指标:
在两年的高强度测试中，Spinner在极其崎岖的地形上的表现超过了这些指标。
旋转器通过其倒置设计以及独特的船体配置，最大限度地利用了无人驾驶的UGCV方面，以适应其大型连续有效载荷舱，旋转到垂直或向下定位有效载荷。除了侧翻碰撞的生存能力，车体、悬挂和车轮的设计都能应对高速撞击树木、岩石或看不见的沟渠时的极端正面冲击。尽管它的大尺寸，Spinner是非常隐蔽的，由于它的低调和安静的混合操作。
描述
作为主承包商，NREC管理了超过30项贸易研究、降低风险活动、子系统设计和测试活动的绩效。NREC还领导所有集成和组装操作，并执行所有性能测试。此外，NREC负责许多子系统，包括热管理、主动力、乘坐高度控制、制动、安全、指挥站、OCU、通信和远程操作。此外，NREC开发了所有的车辆定位、自动化、数据收集和数据分析系统，用于持续测试车辆。
在设计、制造和组装之后，Spinner完成了两年的高强度测试，以评估其在各种地形、天气条件和操作场景下的能力。例如，在政府控制的亚利桑那州尤马试验场的现场测试中，Spinner覆盖了近100英里非常崎岖的越野地形。
总的来说，Spinner在自动引导和人工直接控制的情况下，在不同的越野地形上行驶了数百英里。研究结果继续表明，在Spinner中使用的许多技术和方法都是未来ugv的可行选择。
应用程序
TUGV为步兵提供了一种远程执行战斗任务的方法，这降低了风险并消除了威胁。它被设计用于支持跨军事行动范围的任务中的下马步兵。TUGV可以执行的任务包括:
TUGV的操作人员和支持单位在执行任务时可以保持隐蔽，提高了他们的安全性。
描述
TUGV能够在极端地形下快速越野驾驶，并能承受恶劣环境和高海拔。它的全轮驱动与跑气轮胎确保了在危险条件下的机动性。TUGV的安静混合电力驱动支持长达24小时的任务(仅电池供电4小时)。
多功能有效载荷模块、开放硬件和符合jus的模块化软件允许快速任务重新配置。TUGV拥有通用战术支架，用于M249和M240G机枪，士兵发射多用途突击武器(SMAW)，轻型车辆遮蔽烟雾系统(LVOSS)和杀伤人员突破障碍系统(APOBS)。
TUGV的操作控制单元(OCU)具有坚固的头盔显示器，带有游戏控制器风格的手控控制器和轻量级的CPU，所有这些都可以放进背包中。OCU还有一个内置的全方位天线，喉部麦克风和耳机。远程数据终端可作为备用OCU。
视图新闻链接
NREC设计和开发了Crusher车辆，以支持UPI项目严格的现场试验计划。
UPI项目的特点是每季度进行一次实地试验，评估大规模无人地面车辆(UGV)在广泛复杂的越野地形中自主操作的能力。UPI积极的机动性、自主性和任务性能目标需要两个额外的测试平台，可以容纳各种任务有效载荷和最先进的自主技术。
Crusher代表了原始Spinner平台的下一代，这是世界上第一款从地面开始设计的大于6吨的越野UGV。破碎机提供了更多的机动性，可靠性，可维护性和灵活性，比纺锤少29%的重量。
应用程序
作为陆军未来部队的核心构件，战术ugv使新的作战能力得以实现，同时使更少的士兵处于危险之中。只有对UGV技术的局限性进行实地验证，并考虑到其对陆军理论、人员、平台和基础设施的影响，才能实现这种新能力的全部好处。
UPI实验包括车辆安全，有限的通信带宽和GPS基础设施对车辆性能的影响，以及如何有效地操作和监督车辆及其有效载荷。
到2006年中期，NREC将把其最新的自动化技术集成到两种Crusher车辆上。雷达和摄像系统的组合使车辆能够动态地对障碍物做出反应，并通过间隔超过一公里的任务航路点。通过地形数据分析使用架空数据将继续用于全球规划。在未来的一年里，这两个飞行器将在极端地形上进行分析、计划和执行移动任务，完全不需要任何人类互动。破碎机的悬挂系统允许它保持高速越野穿越极端地形。
描述
破碎机有一个由CTC技术公司设计的新的空间框架外壳，由高强度铝管和钛节点制成。由高强度钢制成的悬挂和防震滑板使Crusher能够摆脱巨大的，船体下的冲击，从巨石和树桩。机头为Crusher进行了完全重新设计，以维持与树木和灌木丛的正常碰撞，同时也吸收了重大碰撞的影响。
Timoney设计的悬挂支撑30英寸。具有可选择的刚度和可重构的乘坐高度的旅行。破碎机可以轻松携带超过8000磅。有效载荷和装甲。Crusher的混合电力系统允许车辆在一次电池充电的情况下在数英里的极端地形上无声移动。一台60kW涡轮增压柴油发动机通过saft制造的高性能锂离子电池模块保持充电。发动机和电池智能工作，为Crusher的六轮轮毂电机驱动系统提供动力，该系统围绕UQM牵引电机构建。
应用程序
APD项目将继续推动UGV核心移动技术的发展和成熟。这一努力将有利于所有无人平台的移动性、子系统和控制开发。
APD最终将被用作RVCA项目的高机动UGV平台演示器，取代Crusher UGV。
APD的关键性能参数包括最高时速80公里和自主换道能力。其尺寸要求包括能够在一架C-130运输机上部署两辆车。
描述
每小时80公里的速度要求是NREC设计人员要满足的最重要的挑战。为了满足这一需求和其他需求，NREC团队完成了在悬架技术和配置、船体结构、车辆驱动结构、电池技术、冷却方法和发动机等方面的深入贸易研究。
设计小组于2008年8月顺利完成初步设计评审。他们的目标是在2009年8月推出汽车。在推出后，APD将进行广泛的机动性测试，并最终取代Crusher成为主要的RVCA测试平台。该项目在2010年的士兵操作实验中达到高潮。
应用程序
这个问题
在建造长崎湾大桥的早期阶段，和岛面临着在水下下沉沉箱和在坚实的基岩中进行水下挖掘的挑战。在这种条件下部署工人是极其危险和昂贵的。地面上的工作人员依靠安装在地面上的摄像机拍摄的图像远程操作三个大型切割臂。摄像机不能穿透灰尘，也不能提供足够的深度感知，以进行有效的远程挖掘。
解决方案
NREC的科学家们开发了一种基于结构光技术的3D传感器和显示系统，Kajima成功地使用该系统提供了挖掘区域的3D地图。移动系统每5分钟提供新的图像，并专注于关键的周边区域，同时有效地看穿灰尘。
描述
INREC的3D成像系统可以测量整个沉箱工作区域，并集中在挖掘区域的周边，在那里，刀具可能会损坏沉箱或被困在岩石和沉箱边缘之间。该系统采用:
互动显示器，作为一个虚拟相机的操作人员，显示切割臂的位置和分配的材料被删除。传感器数据在三个独立的操作站进行处理和显示。每个操作员都可以独立地操作和查看数据，以满足其查看需求。
应用程序
这个问题
计算机辅助手术患者注册是一个具有挑战性的问题，需要短的注册时间和高的准确性。注册算法通常涉及到在执行速度、准确性和应用方便度之间的权衡。基于图像的配准算法从大量图像中收集数据，以提高精度，计算量很大，当输入图像包含杂波时，通常会导致性能下降。
解决方案
CMU开发了一种图像比较算法，方差加权和局部归一化相关，它大大减少了输入射线照片中杂波和不相关对象的影响。这种图像比较方法与模拟x射线图像的硬件加速渲染相结合，允许以亚毫米精度对有噪声、杂乱的图像进行配准。
描述
该项目一开始是为了将校园研究的技术商业化。NREC与主办方合作确定项目要求，并确保CMU的活动符合主办方对产品设计、评审和测试的严格流程。
为了将厂商锁定的风险降至最低，生成的产品被构建为在开源LINUX操作系统下运行，并且只使用现成的商品硬件。
项目可交付成果，包括超过2000页的设计、可追溯性、测试、参考和风险分析文档，已经转移给发起人。该软件目前正在赞助商网站上进行额外的测试和产品集成。
应用程序
这个问题
在地下矿山，输送带系统输送煤炭和其他材料。一个典型的煤矿可能有多达20条传送带，其中一些传送带可能长达2万英尺。
传送带通常是由橡胶/织物层压板制成的，它是通过连接在一起的几个皮带部分，端到端，形成一个连续的系统。皮带系统的各部分通常由机械或硫化接头连接。机械接头使用金属夹与钢缆一起连接皮带的各部分。硫化接头通过材料的化学连接将皮带的各部分连接在一起。
当连接处磨损时，皮带会自动分开。输送带断裂是危险的，可能导致成吨的材料溢出，导致生产停止，需要昂贵的清理和维修。长壁矿井的皮带发生机械断裂，需要轮班修复，损失收入25万美元。一个硫化接头处的断裂可能需要两个班次才能修复。
在没有皮带视觉系统的情况下，矿工必须手动检查每一个接缝，因为它沿着皮带移动。这是一项既费力又困难的工作，因为传送带的平均移动速度为每小时8-10英里，而且接头处经常被泥土和煤覆盖。通常，许多失败的接头没有被检测到，导致皮带故障，停机，和数百万美元的收入损失。
解决方案
该专利的传送带视觉系统由两个高分辨率的线扫描相机组成，当传送带以每分钟800英尺的速度从系统下通过时，它可以成像。线扫描图像以每秒9000行的速度捕获，并提供清晰的，无模糊的带图像。这些图像被输入高速机器视觉算法，该算法计算每条扫描线的特征，并自适应地调整阈值，以考虑组成传送带的众多部件的不同特征。然后，机器视觉算法检测并提取传送带上每个机械拼接的图像。它通过其独特的齿形模式检测机械接头，并通过对传送带图像中边缘的统计分析检测硫化接头。
每个检测到的拼接图像可供输送带操作员在输送带视觉系统站进行检查。操作人员可以放大每张图像，并详细分析每个拼接，找出最细微的缺陷(断了的别针、丢失的铆钉、皮带撕裂等)。失败的接头可以在计划的皮带停机期间进行修复，节省了大量的成本。
描述
在开发皮带视觉系统时，NREC进行了需求分析、系统设计和工程、原型制造和现场测试。
NREC开发了一个快速原型系统，部署在一个煤矿，其唯一目的是收集不同传送带的真实图像。从这个原型系统捕获的图像允许软件工程师设计、实现、测试和分析许多机器视觉算法的性能，以检测机械拼接。软件工程师利用真实数据设计了一种鲁棒算法来检测机械拼接。
随着算法的发展，NREC的工程师们建立了一个微型的，模拟的传送带系统，包括滚子和接头。这使得NREC工程师能够测试原型系统，确定它们的问题，并在将系统部署到矿井地下之前解决任何问题。然后，他们对照明和矿山安全法规要求进行了详细分析。
照明是一个问题，因为这项任务涉及到在相机快门速度仅为万分之一秒的情况下拍摄黑带。这迫使NREC对地下矿山的照明需求进行了详细的分析，并最终提出了一个健壮的定制led照明解决方案。
此外，如果一个系统要进入矿山地下，它必须通过矿山安全法规认证程序。NREC设计和建造的系统是为了满足这些严格的安全要求。
NREC开发了三个原型版本的皮带视觉系统，每个连续版本提供了更高的性能、灵活性和可靠性。在两年的开发期间进行了大量测试，包括每天24小时、长达一个月的地下煤矿运行，真正的矿工依靠该系统来监测输送带的状况。该系统最初的版本只检测到机械接头。最新的版本扩展了该系统，以检测硫化接头，这是很难找到的带图像。
NREC、CONSOL和Beitzel公司继续合作设计、制造和测试低成本版本的系统。在全球范围内，具有成本效益的安装潜力超过7000个。美国能源部正在为这个新阶段提供资金。
应用程序
SMS可用于训练任何类型的手持式地雷探测器棒。它特别设计用于AN/PSS-14地雷探测装置、AN/PSS-12和Minelab F1A4探测器。其坚固的结构和易于组装和校准，使其可以用于室内和室外的各种训练场景。它可以与物理或虚拟地雷阵列一起使用。该短信目前在美国陆军训练中心使用。它帮助训练士兵在阿富汗和其他重雷地区排雷工作。在训练中使用SMS显著提高了学员使用AN/PSS-14、陆军和海军陆战队下一代手持式地雷探测系统探测地雷的能力。
描述
短信息系统由一对立体摄像机组成，它们跟踪扫雷传感器头上的一个目标。目标是安装在地雷探测器上的一个颜色鲜艳的球。当受训者将探测器扫过模拟雷区时，SMS每秒记录目标的位置30次。
根据这些位置数据，SMS测量学员在成功探测地雷的关键领域的表现:传感器头部穿越速度、传感器地面高度、覆盖区域和被扫区域的间隙。这些信息显示在由训练主管监控的电脑显示器上，通过颜色、覆盖率和速度与高度的对比图给出即时反馈。
该短信还向学员提供实时音频反馈，当探测到地雷时，它会发出哔哔声，并给出关于整体表现的口头信息(如“太快”或“太慢”)。这种反馈有助于提高学员探测地雷的技能。
每节课结束时，短信会从覆盖率、覆盖区域和地雷目标位置等方面总结学员的表现。在培训过程中记录的数据可以被保存并在以后复查。
应用程序
人口老龄化和道路上车辆数量的增加是驾驶员辅助和其他车辆安全产品开发的背后原因。智能辅助系统能够感知汽车或卡车周围的环境，并向驾驶员提供反馈，有助于在事故发生前预防事故，使驾驶更安全、更容易、更不疲劳。
目前的驾驶员辅助系统使用视觉、雷达或雷达来感知车辆的环境。然而，这些传感器都有缺点。基于雷达的系统可以探测到其他车辆的接近程度，但不能给出周围环境的详细情况。基于雷达的系统也可以探测距离，但在恶劣天气下可能不能很好地工作。基于视觉的系统提供了详细的信息，但在短时间内处理和解释图像以做出驾驶决策是具有挑战性的。
大陆汽车系统公司正在开发基于视觉的驾驶员辅助系统，以帮助驾驶员避免事故。大陆集团正在利用NREC在机器视觉和机器学习方面的专业知识，开发一种分类器，可以快速有效地检测道路上其他车辆的存在。NREC的车辆分类器旨在识别和定位车道偏离预警系统摄像头的实时视频图像中的车辆。
描述
车辆分类器使用一种快速、计算效率高的分类算法来识别哪些图像包含车辆，哪些没有。它被设计运行在一个便宜的数字信号处理器(DSP)上，比奔腾4略弱。它的输入是来自车道偏离预警系统摄像头的视频，该摄像头位于司机的后视镜后面。
分类算法在一个数据集上进行训练，该数据集包含有汽车、卡车和其他车辆的道路视频图像。在训练数据集的每一帧视频中，每辆车的位置都是手工标记的。从这个数据集中，算法学习哪些图像特征代表其他车辆，哪些不是。NREC已经开发出一种算法，可以将训练时间从以前发表的结果中减少一个数量级以上。
分类算法扫描原始传入图像，以识别图像中包含汽车的区域。该算法的一个重要特点是它的工作速度非常快，允许以视频帧率处理图像的大区域。