2.1 小或有偏样本的使用
在心理学研究中，我们希望利用统计分析推论出普遍的结论，因此我们常常使用大样本的研究范式。在大样本研究范式里，有非常多的被试，因而任何一个不寻常的参与者都不会对结果形成多大影响，这样我们就可以得到一个相对普遍的结论。大样本研究设计已经成为心理学研究的一个标准。因此取样问题是心理学研究中一个非常重要的问题：我们在对数据作统计分析时就要想一想这些数据是怎么得来的，它的取样合理吗？所有的统计分析都是建立在数据的取得是合理、正确的前提下，如果取样不合理，无论多么高深和精美的统计方法都是无计于事的。合理的样本、准确的测量是使统计结论正确可靠的前提。但我们在进行研究时，有意无意地，在取样的合理性问题上总会打折扣。下面两种取样的问题在研究中就经常会发生：(1)样本过小；(2)有偏样本的使用。许多广告就会用小样本或有偏样本来误导消费者，比如说在电视上有一位明星说他喜欢喝某一品牌的饮料。广告商这样做的目的就是要给大家一个印象，因为这位明星喜欢这种品牌的饮料，所以所有的人（总体）也会喜欢它。而回归假象效应这一现象也说明了有偏样本的使用会导致我们得出错误的结论。所谓回归假象是指向平均数的回归，当我们从总体中挑选出极端分数组进行重测时，第二次测得的分数更接近于整个总体的平均数。我们在研究中经常会使用匹配技术，这时就可能有回归假象效应存在。如果在第一次测验的基础上对两组进行匹配，倘若研究者从通常做得很差的组中挑出高分者，从通常做得很好的组中挑出低分者，即使没有给予两组不同的实验处理，研究者仍可以预期他们在第二次测验中得分会很不同，其原因仅仅是因为向平均数回归。这方面一个典型的例子就是20世纪60年代在美国的一个“领先计划”研究。因此，无论何时你自己在进行研究和阅读别人的研究报告时，你都要问两个有关抽样的问题：(1)样本有多大？(2)样本是如何被选中的？
2.2 在统计学的基础：概率的理解上存在偏差
应用于心理学研究中的定量研究方法大部分是基于概率理论之上的，概率是统计学的基础。我们借助于概率达到对未来的预测。如气象学家会说，明天有80%的几率会下雨，或有20%的可能会下雪。如我们前面提到的赌徒的例子。但倘若我们对概率的理解不透彻，就有可能犯错误，赌徒的谬论就是典型的例子。即使给予事件将要发生的先决条件，我们也很难有绝对的把握认为此事件必然发生，我们所能知道的仅仅是发生机会的比率或是一特定的概率。如根据我们的研究发现具有某一心理特点的人中有90%难以完成某一水准的学业，我们能否就可以据此来预测一个具有这样心理特点的人就不能完成学业呢[2]？显然我们并不能得出这样的结论。基于概率和统计学基础上得出的结论是从总体中得出的，我们在总结自己的某一研究时，总会这样表述：从总体上说，什么是怎么怎么样的……总体上得出的结论在具体用到某一个人身上不能过分绝对化。
鉴于此，人们对大样本研究范式也提出了批评，认为个体的心理活动是非常独特的，这种独特性并非都能作出普遍的概括。经过充分混合个体分数的“统计磨合机”的加工，这些独特性就丧失殆尽了。单靠统计未必就能够抓住事物的本质特征[3]。斯金纳就曾呼吁在操作性研究中使用小样本设计，因为他想强调削弱统计分析的重要性。他认为人们把统计的作用夸大了，统计分析通常被看成了目的而不是帮助实验者推出实验结论的工具。
2.3 显著性检验问题
众所周知，统计显著性检验在心理统计学教科书中是作为推断统计的重要组成部分而引进的，它和参数估计组成了推断统计的两大基石[4]。心理学家有一个约定俗成的规定，即如果统计检验的计算表明虚无假设可能正确的概率小于0.05，那么我们就可以拒绝它而接受另一个假设。因为拒绝虚无假设可能犯错误的机会如此微小，我们有理由认为这么做是安全的。简单地就，推断统计被用于确定两种条件的结果差别是由自变量还是随机因素造成的。如果不同实验条件下所得的结果之间差异很大，而且这种差异由偶然因素导致的概率低于0.05时，那么研究者可以排除偶然因素导致该结果的可能性，而认为结果是自变量造成的。心理学家一般都认为推断统计比描述统计更能反映事物的本质，因为它用了概率论的知识，从样本数据到总体性质作了科学的推断。但是简单的显著性检验在应用中却会产生这样或那样的问题。尽管结论在统计上被认为是可信的，但由偶然因素（统计信度仍保持5%的错误概率）、一些未被注意到的混淆因素、或者实验者误差所造成的可能性仍然存在。例如，大多数聪明或大多数低智商的被试碰巧被分在一种条件中。尽管这些可能性不太容易出现，但有时它们确实发生了。