物体识别 3D建图 semantic mapping

Presentation on theme: "物体识别 3D建图 semantic mapping"— Presentation transcript:

1 物体识别 3D建图 semantic mapping
赵哲

2 图像处理 1. 背景分割 2. 物体分割 3. 场景理解 sky mountain tree car road

3 kinect处理 微软xbox360 体感游戏外设

4 点云数据 点云的位置（xyz） 点云的法线与曲率（normal,curve) 点云的颜色(rgb)

5 表面法线

6 标定 对每一个物体不同侧面建立数据库 一般对每个物体取8个侧面进行标定

7 特征点与直方图 1. 2D 纹理特征点 surf sift orb 2. 3D 表面特征点 FPFH PFH shot
3. 3D 表面特征直方图 vfh cvfh 4. 3D 颜色加表面特征直方图 vosch

8 Tabletop 方法 1. 提取平面 2. 物体聚类 3. 提取特征 4. 匹配数据库

9 RANSAC 平面提取 1. 随机提取三个点 2. 计算平面 3. 计算整个点云中在平面上的点的个数
4. 重复1~3 若干次，取点数最多的平面作为最大平面

10 点云聚类 对平面上的点云聚类

11 基于surf特征点识别

12 bag of words 面对大型数据库，需要实时处理

13 google 百事通（goggles）

14 3D建图 将一帧帧点云拼接起来，组成3D地图 1. 提取特征点 2. 计算特征点对应 3. 根据特征点对应计算旋转平移矩阵 4. 环检测

15 semantic mapping

16 semantic mapping 1. 通过看到认识的物体来识别房间 2. 通过图片特征来识别房间

17 semantic mapping 1. 识别家具 2. 识别墙，屋顶，门 3.识别建筑，车，人

18 课程主页： home 交流群： 实验室主页：