蕭文龍 部落格 Mac Shiau(blog)

【Knowledge Sharing】統計檢定力（功效）分析(power analysis)的重要性

     問題：請問我們的統計檢定(t, F, X square, ANOVA, MNOVA, Regression, SEM )的結果有多大的機率是正確的？ 這是為什麼我們努力推動統計分析之信效度的最後一里路：Statistical power，統計檢定力(功效)

• Statistical power is the probability that a statistical test will correctly reject a null hypothesis (Baroudi & Orlikowski,1989).

     檢定力（功效）分析是統計檢定時能正確拒絕 虛無(零)假設檢定(Null Hypothesis)的幾率，一般建議達0.8水準。

我們完成：

1. Evolution of power analysis.

2. 我們的期刊文章Correctly report power analysis，另外我們也可以提供 R code, 協助分析。

• Shiau, W.-L., Chen, H., Chen, K., Liu, Y.-H., and Tan, F. T. C.(2021). A Cross-Cultural Perspective on the Blended Service Quality for Ride-Sharing Continuance. Journal of Global Information Management(JGIM, SSCI，ABS 2*), Vol. 29 No. 6, Article 2, pp. 1-25.

3. 20211208 完成工作坊Workshop at ACIS（澳洲 IS 最大研討會）：

     A tutorial on making IS research more reliable and valid: perspectives from statistical power of NHST and power analysis in SEM

影片如下：https://v.youku.com/v_show/id_XNTgyNjE3MjIwOA==.html

  4. Prof. Ringle (SmartPLS developer) responses:

Dear Mac Shiau

I will discuss with the team on how to include power statistics into SmartPLS.

Best

Christian

5. Prof. Andrew (EIC of MISQ) responses:

     Thanks Prof Shiau - I am not sure if I can make it, but I do agree that we need to be careful with power analysis. I appreciate you reaching out.

Note: 為什麼推動統計分析之 信效度的最後一里路？ Statistical power，統計檢定力(功效)

     30 年前 Baroudi & Orlikowski,（1989）研究說明在IS 頂刊中，在假設小中大 效應時，有99%, 66%, and 34% 低於 0.8水平， 並且落後營銷和心理研究領域。

     約30 年後Mertens, et al.（2020）研究說明在IS 8大頂刊前100高被引文章的43篇數量文章中，有83.7% 在研究設計中未討論統計檢定力(功效) ，只有 4.7%提供事後統計檢定力(功效)，也只有9.3% 報告了統計檢定力(功效)。

     檢定力分析， (功效分析，power analysis)在虛無(零)假設顯著性檢定(Null Hypothesis Significant Test, NHST)中，扮演著極重要的角色，但卻常被忽略(Cohen, 1969,1988)。 檢定力分析在社會科學和行為科學中經常被提到和用到的統計檢定，若是沒有檢定力分析，顯著性檢定的用處將會受到很大的限制，因為我們無法確定達到顯著檢定的結果有 多大機率是正確的(Cohen, 1969,1988)。

     在完成Evolution of power analysis 後，我們確認統計分析之信效度的最後一里路：Statistical power，統計檢定力(功效)非常重要，若是您也認同，請轉發出去，讓更多研究者了解和 使用統計檢定力(功效)， 以確保研究的信效。