Q. 冒頭の切り出しと切り返しを同時に変えたくなったらどうするか
A. 同時に変えると、どちらが効いたか分からなくなるので順番に試します。先に冒頭の切り出しを比べる理由は、接続直後の反応はサンプルが集まりやすく、週次で判断しやすいからです。切り返しは断られた件数だけが母数になるため、後回しのほうが効率的です。
Q. 数十件集まる前に差が大きく出たら判断してよいか
A. サンプルが少ない段階の差は偶然の可能性が高いので、判断は保留します。数十件に届くまで並行実施を続け、週次で傾向だけ記録してください。途中で片方に寄せると、残りの期間のデータがテストに使えなくなります。
Q. リストをランダムに振り分けられないときはどうするか
A. 業種や企業規模など架電先の条件が同じ比率になるよう、リストを分割してから担当者に割り当てます。時間帯も両パターンで同じ枠に揃えてください。偏りが残る場合は、その条件を記録しておき、結果を見るときに差し引いて解釈します。
Q. 現場がテスト中のトークを勝手に変えるのをどう防ぐか
A. テストの目的と期間を事前に共有し、比較するスクリプトを書面で固定します。通話録音を週次で数件聞き、指定の言い回しが守られているかを確認してください。守られない場合は、担当者の違和感を聞き取り、次回のテスト案に反映させる流れにします。