设计调查 Design Investigation 张煜

Presentation on theme: "设计调查 Design Investigation 张煜"— Presentation transcript:

1 设计调查 Design Investigation 张煜 Email：zy_xjtu@163.com 029-82663859
西安交通大学机械工程学院工业设计系

2 教学进度 调查实施 确定选题 访谈调查 定性分析 问卷设计试调查 正式调查 数据分析 报告撰写 授课内容 1.1 设计调查基本目的
2周 4周 6周 8周 10周 16周 确定选题 访谈调查 定性分析 问卷设计试调查 正式调查 数据分析 报告撰写 调查实施 授课内容 1.1 设计调查基本目的 1.9 用户情景分析 1.2 文化与设计调查 1.10 语境分析 1.3 使用动机调查 1.11 用户调查基本方法 1.4 生活方式调查 1.12 调查效度分析 1.5 设计审美调查 1.13 调查信度分析 1.6 可用性调查 1.14 抽样方法 1.7 如何调查用户的行动需要 1.15 数据统计方法 1.8 如何调查用户的认知需要 调查专题： 1.高档产品设计因素调查 2.与产品相关的生活方式调查 3.移动终端设备的用户研究方法 4.眼动仪在用户界面交互研究中的应用 5.SNS的用户行为研究与分析 6.游戏调查与设计 7.可用性测试方法分析与改进 设计调查基础 专题讨论

3 重点 数据收集 统计数据的描述 概率论回顾 统计的抽样分布 参数估计 假设检验 方差分析 相关与回归分析 非参数检验 结构方程模型

4 社会研究方法 艾尔·巴比  SPSS 19.0统计分析从入门到精通 问卷统计分析实务：SPSS操作与应用， 吴明隆 结构方程模型——AMOS的操作与应用

5 基本概念 次数、频率、概率 次数：也称频数，指在某项实验或观察中，某一结果出现的次数。
频率：相对次数，某结果出现的次数在总次数中所占的比例。 概率：指某一事件发生的可能性大小，常用P表示，取值范围0≤P≤1，是总体的特征。 频率是在多次观察之后，求出我们要研究的结果在总的观察次数中占的比例。而概率是一个理论值，不管某一结果是否出现，它总是有一定概率的。

6 基本概念 变量 精度与准确度 每个个体的性质或属性。 统计量与参数
统计量，也称样本统计量指根据样本（即一组观察值）计算出来的这组数据的数字特征的量。它既可以用来反映样本的概貌也可以用来进行统计推断。 参数，也称总体参数，包括反映总体的数字特征的量和总体规律公式中的参数。统计的目的往往就是用样本统计量去估计或推测总体参数的大小。 精度与准确度 精度：参数的估计范围。 准确度：估计值与真实值的接近程度。

7 研究设计和实施步骤 1.背景研究和文献综述 2.定义研究目标和研究的特定假设 3.确定要度量的变量和度量的方法 4.制定计划收集数据
抽样设计 样本规模 包含项和排除项（筛选数据） 5.实施 6.收集数据 7.分析数据 8.报告结果

8 描述性的： 比较性的： 实验性的： 观测性的： 一组，例如调查，民意测验。 两组或更多组，例如比较不同教学方法的效率。
调查者积极介入并掌控研究情况。 考虑预测变量（解释变量）和响应变量（输出变量）的关系。 确定因果关系，例如药品试验。 观测性的： 观察者不介入的记录数据。 区分预测变量和混杂变量（潜在变量）的作用是困难的。 确定相关关系。

9 误差来源 抽样误差— 样本来自于不同的总体 测量偏差—不必描述的问题 自选择的偏差—拒绝参与 响应偏差—不正确的或不真实的响应

10 描述统计 集中趋势：是用一定的量值去概括大量数据的典型水平。 离散趋势：是用一定的量值去概括大量数据的分散情况。 相关：用一定的量值去概括两组不同数据的相互关系。

11 各部分之和为100%，某一部分比重增加，相应其它部分比重减少。 相对数：比 率：某现象发生的频率或强度。
分类变量的描述统计 构成比：某事物中各部分所占比重。 各部分之和为100%，某一部分比重增加，相应其它部分比重减少。 相对数：比 率：某现象发生的频率或强度。 如何用图表显示数据？

12 样本相关系数

13 回归分析 最小二乘法：以一元线性回归来说明。由于总体的线性回归模型（回归方程）我们无法获得，所以我们就拟合一条与方程最为接近的曲线：
对给定的一个Xi值，有一个确定的Y值，我们可以根据方程给出一个估计点：

14 回归分析 而残差有正有负，所以不能直接相加，因此我们使用他们的平方和来说明全部观察值与回归直线的偏差程度，称为残差平方和：
为估计值，观察值为yi， yi－ 为残差（系统误差v）系统误差，研究过程中你的因素不全，造成的误差，随机误差过程中不可避免，可以通过样本量的增加来减小，反映的是观察值yi与回归直线之间的偏离程度。 而残差有正有负，所以不能直接相加，因此我们使用他们的平方和来说明全部观察值与回归直线的偏差程度，称为残差平方和： 越小，说明回归直线对所有试验数据的拟合程度越好，这就是所谓的最小二乘法。

15 回归分析 最小二乘法原理示意图： 估计值 观察值

16 解决什么问题 估计因变量与自变量相关联的程度与方向；（这样的关联并不意味着因果关系。）
针对给出的自变量的特定值，在规定的置信水平上，预测因变量的预期范围；

17 统计的抽样分布 定义和主要概念： 样本均值和样本方差 用来估计一个未知总体参数的抽样统计称为估计。 真实参数值和估计值间的差异称为抽样误差。
带有概率分布的随机变量统计称为抽样分布，由重复抽样产生。 我们用统计的抽样分布来测定估计中的抽样误差。 样本均值和样本方差 从总体中重复取出的规模为n的样本，样本均值和方差怎么变化？

18 从样本是从总体中任意取出的时，样本均值的分布是什么样的？ 当n足够大时，我们可以将样本均值的分布近似为正态分布。（中心极限定理）
随机变量的分布 伯努力实验 二项式分布 正态分布 指数分布 Gamma分布 从样本是从总体中任意取出的时，样本均值的分布是什么样的？ 当n足够大时，我们可以将样本均值的分布近似为正态分布。（中心极限定理）

19 中心极限定理：概率论中讨论随机变量和的分布以正态分布为极限的一类定理。
令 为从有有限均值 和方差 的任意分布中取出的随机样本。当n增大时，

20 样本方差的分布 当X是正态独立同分布变量，S2服从卡方分布。
当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数称为该统计量的自由度。 若n个相互独立的随机变量ξ1，ξ2，…，ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和∑ξ2i构成一新的随机变量，其分布规律称为χ2(n)分布，其中参数 n 称为自由度

21 T分布 如果总体σ是未知的，常用样本标准差s作为σ的估计值。 构造新的随机变量

22 F分布 F是两个独立分布除以它们相应自由度的比率。 用于比较样本方差。

23 小结 对于从任意分布中抽取出的样本，标准样本均值当n增加时，趋于N(0,1)。 在正态情况下，t分布的标准样本均值在分母中用S代替ơ。 n个单位正态变量的平方和是Chi-square(n)。 在正态情况下，样本方差服从标准化后的卡方分布。 对于正态情况，两个不同样本的方差除以对应自由度之间的比例服从F分布。

24 推论统计的数学逻辑 最基本的数学假设： 样本必须来自需要推论的同一总体。
样本是由回置式简单随机抽样得到的，且假设抽取的每个个体都参与了完整的调查，即抽样的完成率是100%。 只考虑抽样误差，而不考虑非抽样误差，忽略了调查的系统误差对效度的影响。抽样误差是由于总体中每个个体的差异性，以及样本大小造成的样本与总体之间的差异。抽样误差是随机产生的，无法避免，但可以通过增大样本量，抽取同质性强的样本来减小这一误差。

25 推论统计的数学逻辑 假设已知总体的分布，例如：假设总体符合正态分布，假设误差呈正态分布且各组方差相等，用样本统计量来估计或检验总体参数值。这类统计方法称为参数统计。大多数参数统计要求定距变量。 我们对总体情况的推论往往是描述从样本数据中计算一个按照预先给定概率来包含未知总体参数的范围，这个范围的不确定程度是来自抽样误差。置信区间就是由样本均值估计总体均值时抽样误差的范围。“一个参数落在0.45和0.55间的概率是99%这种说法是不正确的”，表示的含义是进行1000次独立重复概率抽样，会得到1000个估计参数值的区间，其中包含参数值的约有990次，表明这990次估计是可靠的；不包含参数值的约有10个，得到这种错误估计是由于抽样误差造成的。 实际上，大多数情况是总体分布未知或无法确定，这时做统计分析常常不是针对总体参数，而是针对总体的某些一般性假设（如总体分布）。我们称之为非参数统计。非参数统计方法可用于定类或定序变量。

26 一个正态分布中的50个样本，95％置信区间

27 关于对Likert 量表的设计和分析： 对态度程度的测量 量表分析 量表的缺陷？
关于“不一定”：存在随意设计中间项描述的情况。“不清楚”“不知道” 关于量表分级（五刻度，七刻度）：一项最近的实证研究指出，5等级、7等级和10等级选项的数据，在简单的资料转换后，其平均数、变异数、偏态和峰度都很相似。Dawes, John (2008). “Do Data Characteristics Change According to the number of scale points used? An experiment using 5-point, 7-point and 10-point scales”. International Journal of Market Research 50 (1): 量表分析 看做连续变量还是类别变量？（增加分级） 作为类别变量可以使用的分析方法：中位数或众数（平均数），四分位距（标准差），非参数检验：卡方检验，Mann-Whitney test, Wilcoxon signed-rank test, Kruskal-Wallis test。 连续变量：alpha分析，聚类分析，因子分析。 量表的缺陷？ 每个人的标准不同 对每个选项的加以解释

28 假设检验 显著性检验的一般步骤如下： 假设检验的目的是用样本数据来检验带有反驳项的命题的有效性。
什么叫结果的显著性？英文中显著性（significance），significance在这里不是指“重要的”。在概率中，“一个结果是很显著的”，其含义是指“这个结果很可能是真实的，而不是偶然出现的”。显著性用p值表示。 显著性检验的一般步骤如下： （1）根据实际问题的要求，提出原假设H0及备择假设H1； （2）在假设H0成立的前提下，根据所检验的统计量的抽样分布，计算样本统计量发生的概率，并给出用来拒绝或接受原假设的概率标准（显著水平）α； （3）根据“小概率事件不发生”的假设，判断是拒绝还是接受原假设。

29 假设检验可能产生两种结果： 拒绝原假设，接受备择假设 根据现有证据无法拒绝原假设

30 使用假设检验方法需要注意以下问题： 假设检验只是测量抽样误差对变量之间关系的影响，而忽略了非抽样误差。
假设检验中得到差异显著的检验结果，并没有表明差异的大小和重要性；得到差异不显著的结果，只能认为原假设未被否定，可能有两种情况存在：确实没有差异，或者有差异但因为抽样误差大而被掩盖了，因此不能简单地做出决定肯定或否定的结论。 不论差异是由抽样误差造成的还是真实的，假设检验都不能指出调查或实验是否存在缺陷。 其它条件相同的情况下，样本容量的不同，会导致显著性检验产生不同的结果。通常大样本可能会使原本很小的差异，被夸大为存在显著性的真实差异，即大样本会使检验统计量十分敏感。 计算得到的显著性水平，在标准的显著性水平左或右附近时，会使显著性检验得到完全相反的结论，尽管两种不同的计算得到的显著性水平仅仅存在微小的差异。

31 参数检验 非参数检验 t检验（独立样本） Mann-Whitney U检验 t检验（配对样本） Wilcoxon秩和检验 单因素方差分析 Kruskal-Walllis检验，Median中位数法等 多因素方差分析 Friedman检验，Kendall和谐系数， Cochran检验

32 参数检验： 总体分布已知，检验样本均值、方差是否有差异。
Z和t检验 样本含量Ｎ>100的两个大样本均数比较，采用Z检验；当样本容量小于30时（n<30），一般用t检验。 单样本t检验，比较用样本均值和已知总体均值是否有差异。 独立样本t检验，比较两组独立的样本均值之间是否差异。 配对样本t检验，比较相关样本、同一组样本接受两种不同处理或处理前后均值是否存在差异。 前提条件：若是单样本，必须服从正态分布；若是配对样本，每对数据的差值必须服从正态分布；若是两组独立样本，必须两组数据均服从正态分布，并且这两组样本的方差相等。需要观察数据的分布或进行正态性检验估计数据的正态假设（F检验，Levene’s检验）。

33 F检验（方差分析） 多个样本的均值比较。 要求：每组样本是相互独立的，各样本符合正态分布，各种条件下的组内方差皆相等，因变量为定距变量。
基本思想是将总变异分解为由研究因素所造成的部分和由抽样误差所造成的部分，通过比较来自不同部分的变异。 F检验只能说明在α水平下至少有两组均值差异有显著性，并不能知道到底哪两组均值间有差异。因此方差分析之后进行组间两两比较，检验方法有：LSD法、Bonferroni法、Scheffe法、Dunnett 法等，其中LSD法最灵敏。

34 非参数检验 不考虑研究对象总体分布的具体形式，也不对总体参数进行统计推断，而是对样本所代表的总体分布进行检验。由于这类方法不受总体参数的限制，故称非参数检验，又称任意分布检验（distribution-free test）

35 非参数检验适用于： 非正态分布的资料 方差不齐的资料 等级资料 一端或两端有不确定数值（如>10.0、<0.1等）的资料
分布不明的资料

36 将likert量表看做定序变量，可以进行的数据统计有：
中位数、众数、分位数、极差、四分位数差。 卡方检验、Mann-Whitney检验（单样本、两个独立样本）、Wilcoxon signed-rank检验（两个相关样本）、Kruskal-Wallis检验（多个独立样本）

37 卡方检验 用于定类变量的显著性检验，属于非参数检验。 首先假设H0为观察频数与期望频数没有差别， H1为观测频数与期望频数有差别。
统计量χ2值表示观察值与理论值之间的偏离程度。当卡方分布的自由度固定时，每个 值对应一个显著性概率p值。如果显著性p小于或等于用户所设定的显著性水平，则拒绝H0，接受H1。 计算卡方值时，要列出一个频数表，该表由若干行列构成，卡方分布自由度 =（行数 – 1）X（列数 – 1）。 卡方检验适用于以下几类问题： 检验某个定类变量各类出现的概率是否等于指定概率。 检验某两个定类变量是否相互独立。 检验某个连续变量的分布是否和某理论分布相一致。 检验两种方法的结果是否一致。

38 卡方检验适用条件 适用于定类变量； 计算卡方时，必须用绝对数，不能用相对数； 多组资料进行卡方检验时，各组理论频数最好不应小于5，否则要适当进行并组或增大样本数量；在2X2的列联表中，当5≦理论频次≦10，应使用Yate's Correction for Continuity； 当理论频次＜5或样本人数＜20时，应使用Fisher's exact probability test； 对于同一群受试者前后进行两次观察的重复性卡方检验时，应使用McNemar test。 

39 二项分布检验 对于二分变量，例如：是和否，有与无等，检验其频数分布是否符合二项分布。要求要求每个试验中只有两个可能的结果，试验是相互独立的，每次试验的结果是相互排斥的，任何一次试验的每个可能的结果的概率在每次试验中都是一样的。

40 单样本Kolmogorov-Smirnov检验（K-S检验）
对于定序变量，检验样本观测值的分布是否是符合理论分布：正态分布、泊松分布、均匀分布、指数分布。当检验结果不能拒绝总体分布为某分布时，并不能说明该样本来自该分布。

41 Kolmogorov-Smirnov正态性检验
它是检验单一样本是否来自某一特定分布的方法。比如检验一组数据是否为正态分布。它的检验方法是以样本数据的累计频数分布与特定理论分布比较，若两者间的差距很小，则推论该样本取自某特定分布族。即对于假设检验问题： H0:样本所来自的总体分布服从某特定分布 H1:样本所来自的总体分布不服从某特定分布 χ2检验与Kolmogorov-Smirnov正态性检验都采用实际频数和期望频数进行检验。它们之间最大的区别在于前者主要用于类别数据，而后者主要用于有单位的数量数据，有时前者也可以用于数量数据但必须将数据分组得到实际观测频数，并要求多变量之间独立，而后者可以不分组直接把原始数据进行检验因此k-s检验对数据的应用较完整。

42 两个独立样本的检验 Mann-Whitney U检验：主要用于判别两个独立样本所属的总体是否有相同的分布（与t检验类似）；
Kolmogorov-Smirnov两样本检验：推测两个独立样本是否来自具有相同分布的总体；将两样本混合并按升序排序，分别计算两个样本秩的累计频数和累计频率，两个累计频率详相减。如果差距较小，则认为两总体分布无显著差异。（样本数大于40） Moses Extreme Reactions检验：检验两个独立样本的观测值的散布范围是否有差异存在，以检验两个样本是否来自具有同一分布的总体；注重于对分布范围(变异程度)作检验，实际是检验H0：两样本所对应的总体具有相同的分布范围。要求样本足够大。 Wald-Wolfowitz 游程检验：考察两个独立样本是否来自具有相同分布的总体。 对这类问题的基本假设是：随机样本；两个样本是独立的；变量为定序或定距变量。

43 多个独立样本的检验 中位数（Median）检验：检验多个样本是否来自具有相同中位数的总体。
Kruskal-Wallis H检验：单向方差分析，检验多个样本在中位数上是否有差异。要求各个总体变量有相似形状的连续分布。当样本存在太多的结点（有两个或两个以上样本值相等称为结点），要修正H因子。该方法是两个独立样本Mann-Whitney检验的推广。假设条件是：独立随机样本，至少是定序变量。 Jonckheere-Terpstra检验：用于检验多个独立样本是否来自相同总体，适用于定序、定距变量；当数据是定序变量时，Jonckheere-Terpstra检验比Kruskal-Wallis H检验更有效。

44 两个相关样本的检验 Wilcoxon秩和检验：适合处理以下几类问题（1）两组实验对象随机配成对子，检验两种处理结果或一组受试对象的处理前后的比较；（2）检验两独立组有无显著差异；（3）利用多个样本资料作秩和检验，用来推断各样本资料所代表的总体分布位置是否不同，类似于单因素方差分析；（4）多组样本间的两两比较，如多组样本经秩和检验，被推断为各样本所代表的总体分布位置不相同时，应该进一步作两两比较，以确定哪两组总体分布位置不同。假设条件是：两个总体的分布有类似的形状（不一定对称），适用于定序变量。 符号检验：通过计算两个样本的正负符号的个数来检验两个样本是否来自相同总体。适用于定序变量。 McNemar检验：适用于两个相关的二分变量的检验，以研究对象作自身对照，检验其“前后”的变化是否显著。 Marginal Homogeneity检验：用于两个相关定序变量的检验，是McNemar检验的扩展。

45 多个相关样本秩和检验 Friedman检验：双因素方差分析，考察多个相关样本是否来自同一总体或一个因子各个水平是否对实验结果影响是否有显著不同。要求两个因子的各种水平的组合都有一个观测值。 Cochran检验：作为两相关样本McNemar检验的多样本推广，适用于定类变量和二分变量。 Kendall和谐系数检验：多个相关样本是否来自同一分布的总体。最常用于评价人信度检验。

46 相关分析 对于定类变量，常采用基于卡方值得出的列联系数、Phi系数、Cramer’s V系数、λ系数等。
对于定序变量，常采用γ系数，Kendall τb系数、Kendall-Stuart τC系数、Somers d系数等。最常用的Kendall系数适用于检验评价人之间的信度，常用于K个评委去评定N件事物，或1个评委先后K次评定N件事物。 对于定距变量，一般采用Pearson积差相关系数，当数据不满足积差相关分析的条件时，采用Spearman等级相关系数。积差相关系数的适用条件如下：（1）只适用于线性相关的情况；（2）样本中存在非正常值对积差相关系数的影响极大，要再进一步分析散点图取消非正常值后再重新计算；积差相关系数要同时配合散点图或直方图判断适合线性相关分析。Spearman等级相关对数据条件的要求没有积差相关系数严格，只要两个变量的观测值是成对的等级数据，不要求两个变量的总体分布形态和样本容量的大小。

47 相关系数一般都是利用样本数据计算的，需要对其进行检验，以确定其不是来自一个相关系数为0的总体，假设H0：ρ=0，两变量间无线性相关关系；假设H1：ρ≠0，两变量间有线性相关关系。
检验方法主要是t检验，公式为 ，自由度 = n-2，求得统计量后可根据自由度得到p值，通过p值与临界值比较进行判断。

48 多元回归分析 例：对企业资源管理系统（ERP系统）用户满意度的分析中，选取调查样本24人，其中男性52%，女性48%，平均年龄29.4岁，平均使用ERP系统3.2年，包括企业中各个职位的人。这个目标人群是ERP系统的终端用户，每天多次使用该系统。被试人来自24个企业。收回有效问卷21份。问卷分为三部分。第一部分是用户的个人信息，第二部分是对ERP系统的满意度，这部分问题使用Likert 5分量表。第三部分测量界面的可用性特性，即系统性能，兼容性，灵活性，用户引导，可学习性，最小记忆负荷，知觉有用性和知觉易用性，这部分问题使用Likert 7分量表。 Fethi Calisir, Ferah Calisir, (2004): The relation of interface usability characteristics,perceived usefulness, and perceived ease of use to end-user satisfaction with enterprise resource planning (ERP) systems, Computers in Human Behavior 20 (2004) ,505–515.

49 因变量 R2 自变量 b t 显著性（Sig.） 满意度 0.477 觉得有用 0.447 5.899 0.000<0.01 可学习性 0.179 2.364 0.022<0.05 0.540 觉得易用 0.381 3.529 0.001<0.01 系统性能 0.354 3.146 0.003<0.01 用户引导 0.261 2.497 0.016<0.05 0.087 0.294 2.156 0.036<0.05 R2叫做决定系数，R2等于“由回归方程得到的因变量y的估计值的方差”除以“y的真实值的方差”，R2表示回归直线和真实数据点的接近程度。从上表可以看到，用户满意度可以由“觉得有用”和“可学习性”两个显著因素来预测，R2 = 0.477，表示满意度48%的变化是由于觉得有用和可学习性的变化引起的。

50