問卷發展與驗證大致上的流程如下

問卷發展步驟

定義研究目標和問卷目的

• 確定並定義想要測量的目標概念
• 確認目標概念是否適合使用問卷測量
• 擬定問卷使用的目的
  • 主要目標對象（一般人？特定族群？）
  • 測量結果的使用目的（能力評估？調查？）

文獻、資料回顧與專家訪談

• 進行相關文獻回顧（包含已發表的論文、圖書、網路資源），以瞭解
  • 目標概念現有的定義。確定其是否符合研究者的需求。若不符需求則需要進行修改。
  • 有無現有相關的問卷。若有，確定其是否有缺失或是否符合研究者之需求。若有缺失或不符需求，則需要進行修改或是重新編製。
• 與相關領域的專家進行訪談，以獲取設計問卷題目有關的資訊
  • 對專家做出操作型定義

設計問卷題目

• 初步設計問卷題目的內容，包含以下內容
• 決定問卷使用的方式：
  • 常模參照（norm referenced）或標準參照（criterion referenced）
• 決定問卷的格式以及如何計分
  • 開放式 vs. 封閉式
    • 若是封閉式，要使用名義、次序、幾點的李克氏量尺？
  • 如何計分：
    • 各向度獨立計分
    • 總分

問卷題目修訂

評估內容效度與表面效度

內容效度

• 請相關專家評估問卷的內容是否能夠測量到問卷設計想要測量到的目標以及量尺設計的適當性。

  • 周延性、完整性：題目夠詳盡，可以全面地涵蓋欲測量目標概念的所有面向
  • 代表性：題目是否能夠充分反映欲目標概念，而不只是代表部份的特徵
  • 適切性：題目應該與所要測量的目標概念直接相關

  表面效度

  • 題目的順序：題目的順序是否可能影響作答的模式
  • 題目的用詞：是否有不適當的用詞或是模糊不清、易讓人誤解的語句
  • 題目的排版：排版是否易讀，不會讓人容易忽略重要訊息

施行注意事項

• 通常是書面評估，需先設計好專家評估表，方便專家進行評分或給予建議

第一次修改

• 根據專家意見、建議進行修改

評估表面效度

• 請目標族群（或一般民眾）評估測驗給他們的印象，是否看起來像是在測量研究者告訴他們要測量的目標
• 通常是一對一訪談，紀錄作答的反應以及歷程
  • 題幹述敘是否可以理解
  • 作答的選項是否明確，能適切反映作答者的想法
  • 整體問卷的建議（排版、可以新增的題目）

第二次修改並確定題庫

• 根據目標族群的建議修改題目作為題庫

問卷的心理計量特性驗證

施測

• 決定目標人數（低標300）
• 決定招募方式：網路廣告、公布欄、街訪…等
• 決定測驗形式：紙本、網路問卷
• 實際施測

分析

• 信度分析
• 效度分析

確定題庫

• 根據分析的結果選擇適當的題目