行為角色扮演是直接觀察法的一種變式，它比一般的人工設(shè)計(jì)情境采用了更多的結(jié)構(gòu)化或標(biāo)準(zhǔn)化因素。角色扮演測驗(yàn)一般向兒童呈現(xiàn)一組標(biāo)準(zhǔn)化的場面或情境，要求兒童面對場景做出就像真正碰到同一情境時一樣的反應(yīng)。通過選擇不同的場面，可以較短時間內(nèi)觀察到在自然情境中可能要好多天才能觀察到的社會技能。角色扮演觀察雖然對干預(yù)效果比較敏感（Berler等，1982），但還沒有研究證據(jù)表明兒童在角色扮演中得到改善的技能遷移到了日常生活的交往之中，或改善了同伴和教師的評定。研究者考察了角色扮演行為在兒童的自然交往、診斷分類、同伴接納及教師評定方面的預(yù)測力，結(jié)果絕大部分研究都表明，角色扮演行為的這類效標(biāo)關(guān)聯(lián)效度不夠高。

大多數(shù)研究都報告直接觀察有較好的評分者間信度，重測信度則依行為取樣的不同而變化，如果要將幾種特定行為聯(lián)合起來得到一個單獨(dú)的分?jǐn)?shù)，內(nèi)部一致性不顯得非常重要。在效度方面，盡管直接觀察有較好的表面效度，但效度因素仍需要在實(shí)際觀察中認(rèn)真考慮。所觀察的行為應(yīng)該與有效的社會效標(biāo)如同伴接納、教師評定相關(guān)。例如由于兒童的自主性行為與同伴接納和教師評定沒有相關(guān)，這種觀察作為社會技能指標(biāo)就是無效的；同樣，將交往發(fā)生率作為社會技能指標(biāo)也要極為謹(jǐn)慎地選擇，因?yàn)檠芯勘砻鳎煌l(fā)生率并不能預(yù)測兒童的社交地位（Hops，1988）。

為便于觀察，在對行為進(jìn)行操作定義時，研究者要確定行為的結(jié)構(gòu)，因而觀察分類的結(jié)構(gòu)效度也是很重要的。如果功能不同的行為被作為同一類編碼，則編碼的結(jié)構(gòu)效度會下降。另外，如果社會技能訓(xùn)練能增加目標(biāo)行為，也可為直接觀察的效度提供佐證。