一、机器人为什么需要触觉
如今，机器人多使用相机作为器感知外界环境的传感器，特别是realsense系列相机。今年8月参加了在北京亦庄召开的2024世界机器人大会，看到了各式各样的人形机器人，感觉80%都装有RealSenseD435相机。然而视觉只能提供颜色、形状、大小等信息，对于物体很多内在的属性，如“纹理”、“软”、“硬”等很难获得，特别是视觉受光照、遮挡影响，存在一定的限制。
触觉是人类以及其他生物的重要感官，能够提供关于物体表面特性、力和振动的信息，使我们能够更灵活、安全地操作各种物体。对于机器人来说，触觉同样具有至关重要的作用，具体体现在以下几个方面：
-
提升操作精度
触觉感知能够帮助机器人准确感知其与物体之间的物理接触。例如，在抓取和操作精细物体时，机器人通过触觉传感器可以感知到施加的力是否过大或不足，进而调整抓取力度，防止物体被损坏或滑落。相比仅依赖视觉，触觉使机器人能够在操作精细、柔软或脆弱的物体时表现得更加灵活和精准。 -
增强安全性
在与人类或其他机器协作的场景中，触觉可以帮助机器人避免施加过大的力，从而减少对周围环境的潜在损害。通过触觉传感器，机器人可以实时感知与人类或物体的接触强度，并做出快速反应，以避免发生意外碰撞或伤害。 -
感知物体表面特性
触觉能够提供关于物体表面纹理、形状和材料的关键信息。例如，机器人可以通过触觉感知到物体是粗糙的、光滑的、柔软的还是坚硬的。这对于分类物体、选择合适的操作方式（如抓取、推拉、摩擦等）尤为重要。某些任务中，仅依靠视觉无法获得足够的信息，触觉在此时发挥重要补充作用。 -
应对视觉感知的局限
虽然视觉是机器人感知外界环境的重要途径，但在一些环境中，视觉传感器可能受到限制。例如，在低光、强反射、透明或遮挡的情况下，视觉传感器可能无法提供足够的准确信息。而触觉传感器不依赖光线条件，可以在这些场景下发挥作用，让机器人仍然能够感知物体并做出相应操作。 -
增强人机交互能力
对于服务机器人或医疗机器人来说，触觉感知对于与人类的自然交互尤为重要。例如，触觉可以帮助机器人在按摩、辅助康复、医疗操作等过程中感知人体的反应，从而调整施加的力量和动作，确保人类感受到舒适和安全。触觉还可以用来感知人类的手势或动作，通过反馈信息让机器人理解人类的需求或指令。
因此，基于以上能力，触觉传感器得到了长足的发展，特别是基于视觉的触觉传感器，可以充分利用近年来突飞猛进的深度学习技术，受到了学者的广泛关注。其中，最为经典的视觉传感器是gelsight系列，所以接下来总结一下gelsight的前世今生。
二、GelSight的前世今生
GelSight传感器是一种基于视觉的高分辨率触觉传感技术，利用软质凝胶材料和光学成像来感知接触表面的纹理、形状和力信息。自其概念提出以来，GelSight技术经历了显著的发展，在触觉感知领域引起了广泛关注，并在机器人、制造、质量检测等领域得到了应用。
1. GelSight的初始发展阶段（2009年左右）
GelSight技术最早由麻省理工学院（MIT）的Edward Adelson教授及其团队提出，旨在开发一种低成本、易于实现且高分辨率的触觉感知系统。该技术的核心理念是使用一种透明的软质凝胶材料，该材料能够变形以适应与物体表面的接触，并通过反射光学成像获取高分辨率的表面形貌信息。
主要特点：
软质凝胶覆盖层：与物体接触时，凝胶层能够适应物体的微小表面特征，使其表面发生形变。
光学成像系统：通过将光源置于凝胶下方，再利用相机捕捉凝胶形变后表面的光学图像，提取与表面特征相关的信息。
表面微观信息的捕捉：GelSight传感器可以捕捉微米级别的细节，如表面的粗糙度、纹理以及摩擦力等信息，这使得它特别适合用于精密感知任务。
2. 技术改进与机器人应用（2010-2015年）
在GelSight技术提出后，研究人员开始对其性能进行优化，以便将其应用于更多的场景，特别是机器人触觉感知领域。该阶段的研究主要集中在：
提高传感器的分辨率和感知精度。
增强传感器对不同物体材料和纹理的适应能力。
探索其在机器人抓取、物体识别和表面检测等任务中的应用。
在这期间，研究人员还进一步优化了光源、相机的配置，并开发了用于实时处理触觉数据的软件算法，逐步推动GelSight技术在机器人中的应用。
3. 机器学习结合与智能化应用（2015-2020年）
随着机器学习和深度学习技术的迅速发展，研究人员开始尝试将这些技术与GelSight传感器结合，进一步提升其触觉感知和信息处理能力。通过将GelSight传感器获取的触觉数据与机器学习模型相结合，机器人能够更智能地识别物体、预测抓取行为，并做出更为灵活的操作决策。
这一时期，研究的重点包括：
基于GelSight传感器的数据训练神经网络，用于触觉信息解码和物体分类。
将GelSight用于机器人自适应抓取，通过实时反馈来优化抓取力度和方式。
4. 多领域应用与技术成熟（2020年至今）
近年来，GelSight技术在多个领域得到了广泛的应用，除了机器人领域外，还在制造质量检测、医疗触觉感知和虚拟现实中展现了巨大的潜力。GelSight传感器的应用场景从传统的物体表面检测、触觉反馈拓展到了更加复杂的任务，如微观结构感知和生物医疗应用中的触觉感知。
典型应用方向：
工业检测：GelSight传感器可以用于检测金属、玻璃等材料表面的微小瑕疵，如划痕、凹痕等，提供比传统视觉系统更高的精度。
机器人操作：通过触觉反馈，机器人可以执行更精细的任务，如装配、焊接、切割等工业操作。
医疗应用：在外科手术中，GelSight传感器可以帮助外科医生获得组织触感的反馈，提高手术的精度和安全性。