信賴區間與P Value

在科學家想要驗證一種新的治療方式是否有更好的使用價值時，要如何判斷這個治療方式是不是比原有的治療方式更有效呢？一般來說，在證明這個問題時，我們需要透過實驗設計去假設，所謂新的治療方式，並沒有比較優秀的價值 (檢定假設裡的虛無假設，Null Hypothesis)。在實驗的過程中，科學家努力去尋找的是有強而有力的證據以上的虛無假設是不正確的。在經歷過一系列的證據檢視後，才能讓新的治療方式宣稱具有更好的使用價值。
這裡牽涉到一個問題，需要甚麼樣的證據，才能推翻虛無假設。在牽涉病人權益的實驗中，很明顯的，我們可以知道人員是不可能無限制的收案，但要需要多少人數，才具有足夠的證據力呢?這時候，在公開社會中，p值就是作為評估證據強弱的一種依據。在科學家準備了隨機產生的樣本下，以此結果代表全體適用者。p值就是在新治療方式沒有更高價值的假定下(虛無假設下)，極端情況發生地概率的概率，數值越小，假設正確的可能性就越小，證據就越強，若相反則越大，證據就越弱。一般來說，在公開的研究討論上，我們需要一個標準去判斷試驗的證據是否足夠。最後的共識就是一直使用的0.05。在隨機樣本的處理下，一開始的假設是正確的，100次的試驗結果下，僅有5次的結果會出現錯誤的判斷。這可以做為一個臨界值，可作為參考，但並非作為唯一的標準。