試驗研究設計的三種類型和十大誤區
在科研方法中，系統論及系統工程、試驗設計及優化、可靠性工程是三大通用基礎。系統論及系統工程是以系統集成為目的，研究影響因子之間的相互作用。試驗設計及優化是研究控制因子（引數）與回應（因變數）之間的因果關係和尋優方法。可靠性工程是使用設計和維修等手段使產品的均值和偏差在概率統計分佈上合理並滿足可靠度要求。試驗研究設計（experimental research design，簡稱ERD）是指試驗研究（experimental research，簡稱ER）的設計方法，在廣義上屬於試驗設計（Design of Experiments，簡稱DoE）的一部分，在狹義上專指安排研究對象和揭示因果關係或對比關係的試驗方法。
需要指出的是，研究（research）並不等同於試驗（experiment）。研究包括兩種手段，即試驗（例如找出陽光對植物生長的影響）和推論（deduction，例如畢氏定理的推導）。試驗研究是相對於推論研究而言。收集試驗資料的方法包括測量（measurement）、測試（testing）、模擬（simulation）、計算（computation）、調查問卷（survey）等。試驗需要具有變數（variable）和環境（setting）這兩個要素。變數包括因子（factor）和回應（response），而因子可以分為控制因子（control factor）和雜訊因子（noise factor），或者分為具有顯著影響的因子（significant factor）和無關的因子（extraneous factor）。環境指試驗涉及的硬體設備、軟體控制條件、試樣（或受試者，統稱研究對象）。
改變控制因子的取值，觀察研究物件的回應變化，從而得出對比性（如果有對照組）或非對比性（如果沒有對照組）的因果關係檢驗結論並驗證假說（hypothesis），是試驗研究區別於非試驗研究（即推論研究）的首要本質特徵。試驗研究的第二個特徵是由於依賴對因子的控制，從而容易發生人為錯誤，例如控制因子選擇錯誤、無關因子控制錯誤、雜訊因子分析錯誤。試驗研究在因子和回應上的錯誤會導致因果關係的邏輯推理錯誤和試驗結論無效。
試驗研究聚焦於因子對回應的影響，廣泛應用於社會科學、心理學、教育學、自然科學、工程技術、醫學等幾乎所有學科領域。一個比較簡單的試驗研究例子是取同一種植物的兩個樣本，將其中一個暴露在陽光下（稱為樣本A），而另一個遠離陽光（稱為樣本B）。在相同的澆水等培育條件下，如果當研究結束時，我們發現樣本A持續生長而樣本B死亡，那麼可以得出結論：陽光有助於該植物的生長。在人類行為學領域，社會學家主要使用試驗方法測試人類行為。例如，隨機選擇兩個人成為社會互動研究的對象，將其中一個人放入一個房間讓其在一年內不與任何人交往，而將另一個人安排在有幾個人居住或工作的房間內，享受人與人之間的互動。在實驗結束時，社會學家會發現這兩個人的行為有所不同。
在試驗設計（DoE）中，有幾個不同的領域聚焦於不同的內容。試驗研究設計（ERD）聚焦於研究物件的安排方法。全析因設計（full factorial design）和部分析因設計（partial factorial design）聚焦于各因子水準值的組合方法。對於少於3個因子的全析因設計，因子-回應的資料處理和展示方法可以採用參變數掃值（parametric sweeping）。對於多於3個因子的全析因設計，因子-回應的資料處理和展示方法通常只能採用回應曲面方法（response surface method，簡稱RSM）。部分析因設計包括傳統設計（traditional design）和非傳統設計（non-traditional design）。傳統設計包括正交設計（orthogonal design）、中心複合面設計（central composite face）、D-最優（D-Optimal）設計等大量試驗設計方法。非傳統設計包括拉丁超立方（Latin Hypercube，又稱空間填充法）和均勻設計（uniform design）。極差分析（analysis of range或ANOR）聚焦於使用正交設計而不經過回歸分析（regression analysis）即可手算粗糙尋優。方差分析（analysis of variance或ANOVA）聚焦於使用F檢驗（F-test）分析顯著性效果，包括因子對回應的影響是否顯著，以及回歸項和整個回歸方程是否顯著等。回歸分析或回應曲面方法聚焦於使用擬合器（emulator）建立因子與回應之間的數學關係，以便能夠預測回應並精細尋優。蒙特卡羅模擬（Monte Carlo Simulation，簡稱MCS）聚焦於使用隨機抽樣的方法產生隨機因子的隨機組合。以上這些試驗設計的主要領域均大量依靠統計學知識。
試驗研究設計的典型工作方式是在初步研究後形成一個假說，然後設計一個對照試驗（controlled experiment）。首先，確定哪些因子是相關的或獨立的。然後，將研究對象隨機分配到不同的試驗組，每組接受不同水準的因子變化影響。控制因子不發生任何變化的組稱為對照組（control group），能夠展示研究物件在沒有任何試驗干預情況下的回應或表現。分配研究物件的方法包括完全隨機設計和隨機分組設計。在完全隨機設計中，每個研究物件被隨機分配到一個控制因子變化水準（或在醫學研究中的一種治療方案）。在隨機分組設計中，首先根據共同特徵對研究物件進行分組，然後在各組內隨機分配控制因子的水準值。
試驗研究設計還可以被劃分為以下三種類型：預備試驗研究設計（pre-experimental research design），准試驗研究設計（quasi-experimental research design），真正試驗研究設計（true experimental research design）。
預備試驗研究設計包括以下三種類型：
- 單因子個案研究設計（One-Shot Case Study Research Design）。例如，學生在學期內上課，在期末接受考核。學生是研究物件。期末考試分數是回應。上課的內容是因子。
- 單組研究物件前測和後測研究設計（One-Group Pretest-Posttest Research Design）。例如，對一組病人在治療前和治療後分別收集回應資料。另一個例子是員工的培訓效果統計。在一名員工入職前，公司對其進行業務測試，稱為前測。在6個月的工作期間，該員工持續接受業務培訓。培訓內容是因子，員工的業績表現是響應。公司在每次培訓後對員工進行業務測試，稱為後測。
- 靜態組比較（Static-Group Comparison）。將2組或2組以上的試驗組置於觀察中，其中只有其中一組受到某種治療或控制因子水準值影響，其他組保持靜止。對所有組進行後測，並假設觀察到的組間差異即為治療效果或因子的影響。
准試驗研究設計與真正試驗研究設計既有相似之處，也有不同點。在准試驗研究設計中，研究物件不是隨機分配的。這種方法在教育研究中很常見，因為教育管理者有時不允許隨機選取學生作為研究物件。
真正試驗研究設計依賴於統計分析來驗證或否定某個假說。它是最準確的試驗研究設計類型，包含對照組和試驗組，以及至少一個可以由研究者控制的因子。研究物件的分佈必須是隨機的。這種設計具體包括以下兩種類型：
- 僅後測對照組設計（Posttest-Only Control Group Design）。針對試驗組和對照組均只進行後測，然後從組間差異得出結論。
- 前測-後測對照組設計（Pretest-Posttest Control Group Design）。
試驗研究設計需要避免以下十個方面的問題或誤區。
- 工作缺乏意義（lack of significance）：試驗研究設計必須包含針對“那又怎樣（so what）”這類問題的明確答案，必須清晰表達為什麼這項研究很重要，以及它對該領域有什麼貢獻。
- 沒有將自己的研究與過去的文獻聯繫起來（not linking the past with your study）：需要有全面的文獻綜述，並確定需要填補的知識空白點在哪裡。
- 研究問題沒有定義好（poorly defined research problem）或不夠具體（lack of specificity）：由於在選擇試驗設計之前必須先確定研究問題，因此必須明確具體地劃分和定義打算研究的問題，包括目標（objective）、疑問（question）、假說（hypothesis）。這些都不能寬泛、籠統或模糊。
- 省事主義（provincialism）：如果研究的應用範圍或地理區域過窄、抽樣或分析過於局限，研究結果的適用性就會大打折扣，甚至會被認為不夠典型或不具有普適價值。
- 無效的理論框架（invalid theoretical framework）：需要構建一個能夠被檢驗的、具有明確邏輯推導思路的假說。
- 缺乏對研究的局限性進行討論（lack of discussion on research limitations）；每項研究都有某種局限性。它們的原因和處理方法以及導致的資料缺失程度和對結果有效性的影響，應當被納入論文的討論或結論部分，並在試驗設計方法策劃時予以考慮。
- 研究工具和技術的描述不清晰（lack of clear description of research instruments and techniques）：需要解釋為什麼使用這些收集資料的工具（如問卷調查）和技術（如半結構化訪談）解決所研究的問題，尤其當這些工具和技術不是最先進的時候。需要論證所採用的工具和技術如何能夠提供合理可靠的資料來回答所研究的問題。
- 糟糕的抽樣（poor sampling）：試驗研究設計中的一個常見缺陷是採用接近抽樣（proximity sampling），即在抽樣時只考慮是否容易接觸到研究物件和是否容易獲得樣本，而非基於研究目的之真正需求，那麼這種抽樣方式產生的資料是不可信的。
- 不充分或不恰當的統計分析（insufficient or improper statistical analysis）：定量研究必須具有對統計資料的完整描述，包括均值、中位數等參數。
- 未充分考慮倫理影響（insufficient consideration on ethical implications）：試驗研究設計必須考慮如何將參與者的風險降到最低，同時還能保證解決所要研究的問題。否則，研究的客觀性和有效性會受到質疑。
