计算机视觉 Computer Vision 艾海舟 2011年3月 Sept.17, 2010

Outline 课程目标，资料来源，授课方式… 教材与参考书、作业、课程设计、考核方式 Web sites FTP sources Tools (Intel OpenCV, IPL,…) Demo 相关学科与相关课程的联系 Overview Introduction recommended：Forsyth’s introduction to CV, other related Sept.17, 2010

课程目标，资料，授课方式 目标 资料 授课方式 全面了解计算机视觉研究领域，掌握基本原理，具有一定的实践能力。 使用网上公开的资料，挑选、推荐各种资料（ppt,pdf,codes,etc.），并直接使用我认为合适的讲稿进行讲解。 授课方式 课堂上全面介绍基本原理，引导资料阅读；课后需要学生阅读相关文献，消化理解。如有时间，建议课前预习。 Sept.17, 2010

学习方法的建议 根据自己学习本门课程的目的考虑投入时间 根据自己研究方向有所侧重 结合自己的研究课题加深相关基础知识 一般了解、掌握、精通 有选择地专研部分内容 将精读与一般了解相协调 将建立基础知识与把握当前研究热点相结合 结合自己的研究课题加深相关基础知识 了解本方向的研究情况，研究趋势等。 Sept.17, 2010

实践：课程设计、专题研究 实践非常重要，CV是实验学科，脱离实践，很难有所收获。 课程设计（程序作业） 专题研究 可以使用OpenCV工具， 可以使用Mathlab工具， 充分利用其他网上资源 专题研究 结合自己的课题，挑选论文精读， 实现论文中的方法， 分析存在的问题，如何解决，如何改进，…… Sept.17, 2010

教材 英文原版：Szeliski, Richard, Computer Vision: Algorithms and Applications, Springer, Oct., 2010 中文翻译版：艾海舟，兴军亮 等， 《计算机视觉：算法与应用》，2011年 x月（预计2011年内出版）；清华大学出版社 英文影印版：DA Forsyth and J. Ponce, Computer Vision: A Modern Approach, Prentice Hall. 1st edition (August 14, 2002) ; 清华大学出版社 中文翻译版：林学言，王宏 等， 《计算机视觉：一种现代的方法》，2004年6月；电子工业出版社 Sept.17, 2010

参考书 马颂德，张正友，《计算机视觉》，科学出版社，北京，1998。 R. Jain, R. Kasturi and B. G. Schunck, Machine Vision, McGraw-Hill companies, Inc. 机械工业出版社， 2003.8。 L.G. Shapiro and G.C. Stockman, Computer Vision, Prentice Hall Inc, 2001. M. Sonka, V. Hlavac, and R. Boyle, Image processing, analysis, and machine vision , Chapman & Hall Computing, London, 3rd Edition, THOMSON Learning, 2008. M. Sonka, V. Hlavac, and R. Boyle, (艾海舟、苏延超 等译), 图像处理、分析与机器视觉（第3版），清华大学出版社, 2011.1。 章毓晋，图象工程 （第2版），清华大学出版社, 2007.5 Sept.17, 2010

参考书(模式识别与机器学习) Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.8 R.O. Duda,P.E. Hart and D.G. Stork, Pattern Classification，机械工业出版社，2003.6。 R.O. Duda, P.E. Hart and D.G. Stork (李宏东，姚天翔等译) , 模式分类，机械工业出版社，2003.9。 S. Theodoridis and K. Koutroumbas, Pattern Recognition, 机械工业出版社，2003.9。 边肇祺，张学工 等，模式识别，清华大学出版社，2000. Sept.17, 2010

参考书(图像处理) R.C. Gonzalez, R.E. Woods，Digital Image Processing, 第三版 (影印) 电子工业出版社& Pearson Education, 2010. R.C. Gonzalez, R.E. Woods, (阮秋琦、阮宇智等译)，数字图像处理，第二版，电子工业出版社& Prentice Hall, 2003. 章毓晋，图象工程 （第2版），清华大学出版社, 2007.5 郎锐，数字图像处理学Visual C++实现，北京希望电子出版社，2002.12 周长发，精通Visual C++图像编程，电子工业出版社，2000.1 Sept.17, 2010

作业、课程设计、考核方式 书面作业 课程设计 考核方式 书面作业 10% 课程设计 60% 期末考试 30% Sept.17, 2010

Web sites (1) ---Search Engine CVPapers - Computer Vision Resource http://www.cvpapers.com/ Google search computer vision Computer vision homepage Computer vision online Computer vision source codes Computer vision test data Computer vision …. Paper search http://www.researchindex.com Sept.17, 2010

Web sites (2) ---Courses 计算机视觉 Slides and lectures of Szeliski’s book’s supplementary material UW455: Undergraduate Computer Vision, http://www.cs.washington.edu/education/courses/455/. UW576: Graduate Computer Vision, http://www.cs.washington.edu/education/courses/576/. Stanford CS233B: Introduction to Computer Vision, http://vision.stanford.edu/teaching/cs223b/. MIT 6.869: Advances in Computer Vision, http://people.csail.mit.edu/torralba/courses/6869/6.869.computervision.htm. Berkeley CS 280: Computer Vision, http://www.eecs.berkeley.edu/trevor/CS280.html. UNC COMP 776: Computer Vision, http://www.cs.unc.edu/lazebnik/spring09/. Middlebury CS 453: Computer Vision, http://www.cs.middlebury.edu/schar/courses/cs453-s10/. Sept.17, 2010

Web sites (3) ---Course Ware 计算机视觉”课程的网上课件入口 Computer Vision Education Digital Library Collection http://cved.org/ Computer Vision http://www.cs.washington.edu/education/courses/576/CurrentQtr/ Introduction to Computer Vision http://www.cse.psu.edu/~cg486/ Learning and Inference in Vision www.ai.mit.educourses6.899 Sept.17, 2010

Web sites (4) --- Codes, tutorial,etc. KLT: An Implementation of the Kanade-Lucas-Tomasi Feature Tracker http://www.ces.clemson.edu/~stb/klt/installation.html Epipolar geometry, essential matrix, etc: online tutorial http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/EPSRC_SSAZ/node18.html RANSAC http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FISHER/RANSAC/ ………. Sept.17, 2010

Tools (1) Intel OpenCV (Open source Computer Vision library) This library allows high level functions for computer vision and image processing. OpenCV offers many high-level data types such as sets, trees, graphs, matrices. . . OpenCV is open source to run on many computer platforms. High level functions such as Camera calibration (Zhang Zhengyou’s method) Face detection (a variation of Viola-Jones’s detector) Motion analysis and object tracking Optical flow Lucas-Kanade algorithm Estimators Kalman Condensation Sept.17, 2010

Tools (2) Intel IPP (Integrated Performance Primitives) It is a signal processing, image processing and matrix calculation library developed by Intel Corporation. IPP offers to programmers a wide range of low-level functions which are optimized when used on an Intel processor (from Pentium to Itanium). It is really a good library for signal, image, video and sound processing with very good performances due to optimized instructions. IPP is not a free library, it comes under an Intel licensing policy which is explained at Intel website Sept.17, 2010

demo Face detection Object contour tracking Motion object detection and tracking ASM/AAM shape modeling Perceptual interface: smart room Visual surveillance Robotics vision 3D modeling, face animation ……… Sept.17, 2010

相关学科与相关课程的联系 重叠量反应相关程度 集合论 机器视觉 线性代数 计算机视觉 高等代数 数字图象处理 最优化方法 模式识别 计算机图形学 集合论 重叠量反应相关程度 计算几何 机器视觉 线性代数 计算机视觉 高等代数 数字图象处理 最优化方法 模式识别 。。。。。。。。。。。。 高级语言程序设计 计算机视觉专题（图象与视觉计算） 数据结构 信号与系统 基础知识 先后顺序 Sept.17, 2010

Overview (1) 计算机视觉的几何学基础 摄像机模型 运动估计 几何重构（Geometry reconstruction） 单摄像机(pinhole model/perspective transformation) 双摄像机 (epipolar geometry: fundamental matrix/essential matrix) 三摄像机及更多(multi-view geometry) 运动估计 对应点问题（correspondence problem） 光流计算方法 刚体运动参数估计（minimal projective reconstruction） 2-view, 7 points in correspondence; (Faugeras) 3-view, 6 points in correspondence; (Quan Long) 3-view, 8 points with one missing in one of the three view. (Quan Long) 几何重构（Geometry reconstruction） 立体视觉(stereo vision) Shape from X (shading/motion/texture/contour/focus/de-focus/….) Sept.17, 2010

Overview (2) 计算机视觉的物理学基础 摄像机及其成像过程 光学/色彩 light/color 物体表面特性 视点、光源、空间中光线、表面处的光线…. 明暗 shading、阴影 shadow 光学/色彩 light/color 辐射学，辐照率…radiometry, 物体表面特性 漫反射表面（各向同性）Lambertian surface BDRF (bi-directional reflectance distribution fucntion) Sept.17, 2010

Overview (3) 计算机视觉的图像模型基础 摄像机模型及其校准 图像特征 图像序列特征 (运动) 内参数、外参数 边缘、角点、轮廓、纹理、形状… 图像序列特征 (运动) 对应点、光流 Sept.17, 2010

Overview (4) 计算机视觉的信号处理层次 低层视觉处理 中层视觉处理 高层视觉处理 应用 单图像：滤波/边缘检测/纹理 多图像：几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion 中层视觉处理 聚类分割/拟合线条、曲线、轮廓 clustering for segmentation, fitting line… 基于概率方法的聚类分割/拟合 跟踪 tracking 高层视觉处理 匹配 模式分类/关联模型识别 pattern classification/aspect graph recognition 应用 距离数据（range data）/图像数据检索/基于图像的绘制 Sept.17, 2010

Overview (5) 计算机视觉的数学基础 摄影几何、微分几何 概率统计与随机过程 数值计算与优化方法 机器学习 计算机视觉的基本的分析工具和数学模型 Signal processing approach: FFT, filtering, wavelets, … Subspace approach: PCA, LDA, CCA, ICA, … Bayesian inference approach: EM, Condensation/SIS/…, MCMC, …. Machine learning approach: SVM/RVM/Kernel machine, Boosting/Adaboost, NN/Regression, … HMM, BN/DBN, … Gibbs, MRF, … Sept.17, 2010

Overview (6) 计算机视觉问题的特点 高维数据的本质维数很低，使得模型化成为可能。 问题的不适定性 缺少约束的逆问题 优化问题 High dimensional image/video data lie in a very low dimensional manifold. 问题的不适定性 缺少约束的逆问题 优化问题 Sept.17, 2010

Introduction Recommended Forsyth’s introduction to CV Ullman’s introduction to Computer and Human Vision (part 1) Ullman’s introduction to Computer and Human Vision (part 2) Seitz’s conclude on CV Sept.17, 2010

CV 文献 杂志 IJCV, PAMI, CVIU, PR, IVC等 会议 ICCV, CVPR, ECCV, FG, ACCV, ICPR, ICIP 等 Sept.17, 2010