安全专家担心，半自动驾驶汽车的驾驶员可能会在自动驾驶模式下进行阅读或发短信等活动，从而在被要求接管汽车控制权的瞬间会缺乏对环境必要的感知。随着驾驶员又再次操控汽车，他们必须立即评估周围环境、确定车辆在其中的位置、分析其所面临的危险状况并选定一个安全的行动方案。而当车速达到65英里/小时(约合104公里/小时)时，汽车只需不到4秒的时间便可驶过相当于标准足球场长度的距离，且驾驶员将控制权交给汽车的时间越长，再次进入驾车状态的过程也会越长。因此，汽车制造商必须开发更好的人机界面，以确保新技术将挽救更多的生命而不是引发更多的事故。
我们在其他场合也遇到过类似的问题：2009年，因为飞行员在客机处于自动驾驶模式下飞行时没有及时接管控制权，致使该航班飞机驶过了其目的地机场约150英里才被发现。对于半自动驾驶汽车而言，“空域”(对应于汽车行驶的“地面”)将变得更加拥挤，“飞行员”(对应于操控汽车的“驾驶员”)的训练状况也较差。因此，对于全神贯注于做其它事情的驾驶员而言，汽车在自动驾驶模式下运行时间过长会变得更加危险。
向全自动驾驶演进
在接下来的5年中，可能会出现属于SAELevel4级别的自动驾驶汽车，该类汽车能够在特定场景下完成所有原本需要人类驾驶员完成的驾驶任务，期间并不需要人类驾驶员的干预。虽然此技术已经能够在有限场景下以将来正常工作的状态进行测试，但真正验证该系统的性能可能仍然需要花费数年时间，因为系统必须进行大量测试以求得能够暴露于罕见场景(注：即机器学习中所谓的“Edge Cases”)中的机会，并采取应对措施将其剔除。此外，工程师还需要实现与保证系统可靠性及安全性方面的目标。起初的时候，公司通常会将系统设计成能够在特定地理区域内的特定应用场景中可靠运行，即所谓的设定“地理栅栏”(Geofence)。另外一个先决条件是，在调整系统以确保能在特定场景中成功运行之后，当“地理栅栏”扩展到涵盖更广泛的应用场景和更大面积的地理区域时，亦需进行相应的额外调整。
实现SAELevel4及SAELevel5的难点在于需要在任何环境下且在没有任何限制的条件下安全地操控汽车，例如，需要在没有绘制过地图的地区或者没有车道线及重要基础设施和环境特征的道路上行驶。因此，由于工程师必须要覆盖和测试的应用场景(Use Cases)数量呈指数级增长，建立一个可在(大部分)无限制环境中运行的系统将需要花费更多的精力。例如，在没有车道标记或车辆行驶在未铺设石板/柏油的道路上，系统必须能够判断出哪些区域是可行驶区域。这是一个困难的计算机视觉技术问题，特别是如果路面与周围环境没有显着差异时，例如道路被大雪所覆盖时间。
实现全自动驾驶可能需要花费10年以上的时间
鉴于目前的发展趋势，未来10年内完全自动驾驶汽车(SAELevel4及以上级别)将难以真正实现，其中主要的障碍在于开发满足SAELevel4及以上级别要求的软件。虽然硬件方面的技术创新能够提供所需的计算能力，而且价格(特别是传感器)会下降(注：由于反摩尔定律的作用)，但软件仍将是关键的技术瓶颈。
事实上，硬件的性能已经接近达到使高度优化后的自动驾驶汽车软件(Well-Optimized AV Software)顺畅运行所需的水平，目前的技术应该能够很快达到自动驾驶汽车所需的计算能力，不论是图形处理器(Graphics Processing Units，GPU)还是中央处理器。
目前摄像头已经能够满足测试距离、分辨率和视场等方面的性能要求，但在恶劣天气条件下也面临显着的局限性。毫米波雷达在技术上已经准备就绪，它是恶劣天气及路况条件下进行探测的最佳选项。提供最佳视场的是激光雷达，它可以极高的精度探测车辆周围360度内的环境状况。虽然目前市场上出售的激光雷达的价格还非常昂贵，但一些商业上可行的小型廉价产品应该会在未来一两年内进入市场。几家高科技公司声称可将激光雷达的成本降低到500美元以下，另一家公司已经推出了一种售价约为10000美元的能够实现完全自动驾驶的系统(大约有十几个传感器)。从商业化的角度来看，企业需要了解SAELevel5汽车所需的最佳的传感器数量，以控制整车的成本。(注：例如，以色列固态激光雷达创业公司Innoviz在5月23日刚刚推出的固态激光雷达产品InnovizPro的售价将低于7000美元)
3 4 5
