การทดสอบ A/B ใน Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys ใช้การทดสอบ A/B ที่มีประสิทธิภาพเพื่อตรวจสอบการเดินทางของลูกค้าตามทริกเกอร์ ช่วยให้คุณได้รับข้อมูลเชิงลึกเกี่ยวกับวิธีที่ดีที่สุดในการเข้าถึงลูกค้าของคุณ

เมื่อใช้การทดสอบ A/B คุณสามารถวัดว่ากลยุทธ์การส่งข้อความของช่องทางหรือเนื้อหาใดที่นําไปสู่ความสําเร็จที่สูงขึ้น การทดสอบแต่ละครั้งจะเปรียบเทียบกลุ่มผู้ใช้ควบคุม (เวอร์ชัน A) กับตัวแปร (เวอร์ชัน B) กลุ่มควบคุมจะได้รับประสบการณ์เริ่มต้น กลุ่มตัวแปรจะได้รับประสบการณ์หรือข้อความที่แตกต่างกัน โดยการเปรียบเทียบผลลัพธ์ของกลุ่ม คุณสามารถกําหนดได้ว่าแบบใดมีประสิทธิภาพมากที่สุด

การทดสอบ A/B ต้องการผู้ชมที่มีนัยสำคัญจึงจะมีประสิทธิภาพ การทดสอบกับกลุ่มเป้าหมายที่มีผู้ชมน้อยกว่า 1,000 คนอาจให้ผลลัพธ์ที่ไม่คาดคิด เช่น การแจกแจงที่ไม่เท่ากันในตัวแปร การทดสอบกับกลุ่มขนาดเล็กมากมักจะทำให้เกิดการแจกแจงที่ไม่สมส่วน ตัวอย่างเช่น หากกลุ่มเป้าหมายของคุณมีสมาชิกเพียง 10 คน อาจเป็นไปได้ว่ากลุ่มเป้าหมายหนึ่งอาจไปที่ตัวแปร A ในขณะที่ 9 คนไปที่ตัวแปร B นี่เป็นลักษณะการทำงานที่คาดหวังเมื่อขนาดผู้ชมมีขนาดเล็กมากจนแบบจำลองทางสถิติไม่มีข้อมูลเพียงพอที่จะเข้าถึงการกระจายที่ต้องการ

ตัวอย่างที่ 1: การสร้างการทดสอบ A/B สำหรับการเดินทางตามทริกเกอร์

ลองนึกภาพว่าคุณต้องการทดสอบอีเมลสองฉบับที่แตกต่างกันในการเดินทางตามทริกเกอร์ซึ่งจะเปิดใช้งานเมื่อมีคนทำการซื้อเสร็จสิ้น

1. สร้างเนื้อหาเริ่มต้นของคุณ ในตัวแก้ไขอีเมลตามปกติ ทำให้เนื้อหาสมบูรณ์แบบและตรวจสอบข้อผิดพลาดเพื่อให้แน่ใจว่าสามารถเผยแพร่ได้
2. เมื่อเนื้อหาของคุณพร้อม ไปที่ Customer Insights - Journeys>การมีส่วนร่วม>การเดินทาง และเลือกการเดินทางที่มีอยู่ หรือสร้างใหม่
3. หลังจากเลือกการเดินทางแล้ว ให้เลือกเครื่องหมายบวก (+) เพื่อเพิ่มองค์ประกอบ แล้วทำตามขั้นตอนต่อไปนี้:
   • เลือก ทดสอบว่ารูปแบบใดทำงานได้ดีกว่า

• เลือกช่องทางที่คุณต้องการทดสอบ ในตัวอย่างนี้ คุณต้องการทดสอบอีเมลสองฉบับ: เลือกฉบับหนึ่งสำหรับเวอร์ชัน A และอีกฉบับสำหรับเวอร์ชัน B จากนั้นเลือก สร้างการทดสอบ

1. เมื่อคุณเลือกไทล์การทดสอบ A/B บานหน้าต่างด้านข้างจะเปิดขึ้น

   

   บานหน้าต่างประกอบด้วยพารามิเตอร์ต่อไปนี้:

• ชื่อที่แสดง: ป้อนชื่อเพื่อระบุการทดสอบของคุณ ชื่อนี้จะแสดงในแผงการทดสอบ A/B และในการวิเคราะห์การเดินทางของลูกค้าเมื่อคุณดูว่าการทดสอบใดกำลังทำงานอยู่
• เวอร์ชัน: เลือกเนื้อหาสำหรับช่องทางที่คุณเตรียมไว้ในขั้นตอนที่หนึ่ง (ในกรณีนี้คืออีเมลสองฉบับที่คุณต้องการทดสอบ) คุณสามารถทําได้ผ่านรายการดรอปดาวน์โดยเลือกไทล์รองในเครื่องมือสร้างการเดินทาง หรือโดยการเลือกบนแผงด้านข้าง
• ผู้ชมเริ่มต้น: นี่คือกลุ่มผู้ชมที่คุณต้องการระงับจากการทดสอบ A/B ก่อนที่คุณจะได้รับผลลัพธ์ ตัวเลือกนี้ใช้ได้เฉพาะกับการเดินทางตามเซ็กเมนต์เท่านั้น เนื่องจากคุณมีจำนวนลูกค้าทั้งหมดอยู่แล้วเพื่อช่วยคุณตัดสินใจว่าคุณต้องการระงับจำนวนเท่าใด การเดินทางตามทริกเกอร์ไม่มีตัวเลือกนี้เมื่อลูกค้าเข้ามา เมื่อพวกเขาดำเนินการเสร็จสิ้น ดังนั้นจึงไม่ทราบจำนวนลูกค้าที่เข้าสู่การเดินทางทั้งหมด
• การกระจายตัวของการทดลอง: เลือกการกระจายกลุ่มผู้ชมที่คุณต้องการ แถบเลื่อนจะอยู่ที่ 50-50 โดยอัตโนมัติ แต่คุณสามารถตั้งค่าแถบเลื่อนเป็นการกระจายที่คุณต้องการได้ ขั้นต่ำที่เวอร์ชันสามารถรับได้คือ 10 เปอร์เซ็นต์ และสูงสุดคือ 90 เปอร์เซ็นต์ โปรดจําไว้ว่าเวอร์ชัน A คือกลุ่มควบคุม และเวอร์ชัน B เป็นตัวแปรของคุณ
• เมตริกการชนะ: กำหนดเงื่อนไขการชนะสำหรับการทดสอบของคุณโดยการเลือกเมตริกการชนะ: เวอร์ชันที่มีเหตุการณ์เป้าหมายการเดินทางมากที่สุด มีการคลิกมากที่สุด หรือมีการเปิดมากที่สุด สำหรับกรณีนี้ คุณต้องการเพิ่มอัตราการเปิด ดังนั้นคุณจะเลือกตัวเลือกอัตราการเปิด
• การทดสอบนี้สิ้นสุด: เลือกระหว่างการสิ้นสุดการทดสอบโดยอัตโนมัติหรือตามวันและเวลาที่ระบุ การให้การทดสอบตัดสินผู้ชนะจะเกิดขึ้นโดยอัตโนมัติเมื่อผลลัพธ์มีนัยสำคัญทางสถิติ ซึ่งหมายความว่าเมื่อกำหนดผู้ชนะที่ชัดเจนแล้วระบบจะส่งเวอร์ชันที่ชนะไปยังผู้ชมที่เหลือของคุณ รุ่นที่แพ้จะถูกยกเลิก หากคุณเลือกนัยสำคัญทางสถิติเป็นตัวเลือกเพื่อสิ้นสุดการทดสอบ A/B แต่ไม่มีผู้ชนะที่ชัดเจนหลังจาก 30 วัน ระบบจะส่งเวอร์ชันเริ่มต้นโดยอัตโนมัติ หากคุณสิ้นสุดการทดสอบก่อนกำหนด อาจใช้เวลาถึงสี่ชั่วโมงในการปล่อยกลุ่มควบคุม
• เวอร์ชันเริ่มต้น: สุดท้าย ให้เลือกเวอร์ชันเริ่มต้น ในกรณีที่การทดสอบไม่จบลงแบบประสบความสำเร็จ หากผู้ชนะไม่ถูกกำหนดโดยกำหนดเวลาที่ระบุผ่านวันที่และเวลาเวอร์ชันเริ่มต้นจะถูกส่งโดยอัตโนมัติ

1. การทดสอบ A/B ควรมีลักษณะดังนี้เมื่อคุณกำหนดค่าทุกอย่างและพร้อมที่จะเผยแพร่การเดินทาง:

   

ตัวอย่างที่ 2: การสร้างการทดสอบ A/B สำหรับการเดินทางตามเซ็กเมนต์

ลองนึกภาพว่าคุณต้องการสร้างการเดินทางเพื่อต้อนรับสมาชิกใหม่ที่เข้าร่วมโปรแกรมความภักดีของคุณในเดือนนี้ คุณต้องการเพิ่มอัตราการเปิดของคุณโดยการทดสอบหัวเรื่องที่แตกต่างกันสองบรรทัด

คุณจะต้องทำตามขั้นตอนที่หนึ่งถึงสามที่ระบุไว้ในตัวอย่างแรก แต่คุณจะสังเกตเห็นว่าบานหน้าต่างด้านข้างดูแตกต่างออกไป นี่เป็นเพราะการเดินทางตามเซกเมนต์ คุณมีจำนวนลูกค้าทั้งหมดที่จะเริ่มต้น สิ่งนี้ทำให้คุณสามารถสร้างการทดสอบ A/B ได้สองประเภท

1. การทดสอบ A/B โดยไม่มีกลุ่มควบคุม: การทดสอบ A/B นี้ทำงานคล้ายกับการเดินทางตามทริกเกอร์ ซึ่งลูกค้าจะผ่านการทดสอบเมื่อพวกเขาดำเนินการมาจนกว่าจะมีการกำหนดผู้ชนะ

   

2. การทดสอบ A/B ที่มีกลุ่มควบคุม: วิธีนี้ช่วยให้คุณบอกระบบได้อย่างชัดเจนว่าคุณต้องการทดสอบลูกค้ากี่ราย ตัวอย่างเช่น หากกลุ่มของคุณมีสมาชิกประจำ 100 คน คุณอาจทดสอบกับสมาชิก 20 เปอร์เซ็นต์หรือ 20 คนก่อน โดยแต่ละเวอร์ชันจะมีสมาชิก 10 คน หลังจากการทดสอบ A/B สมาชิกที่เหลืออีก 80 คนจะได้รับเวอร์ชันที่ชนะ คุณสามารถปรับผู้ชมเริ่มต้นและการกระจายตามที่คุณต้องการได้ตลอดเวลา

   

สำหรับตัวอย่างนี้ เรากำลังใช้การทดสอบ A/B กับกลุ่มควบคุม การตั้งค่าอื่นๆ ทั้งหมดจะเหมือนกับในตัวอย่างที่หนึ่ง

ตรวจสอบวงจรชีวิตของการทดสอบ A/B ของคุณ

หลังจากที่คุณเผยแพร่การเดินทางของคุณแล้ว คุณสามารถเปิดเพื่อติดตามวงจรชีวิตของการทดสอบของคุณได้

• ฉบับร่าง: การทดสอบเหล่านี้ยังไม่ได้ดําเนินการ ดังนั้นคุณยังคงสามารถแก้ไขการตั้งค่าได้
• กำลังดำเนินการ: การทดสอบเหล่านี้กำลังดำเนินการอยู่ในขณะนี้ การตั้งค่าถูกล็อก และคุณไม่สามารถทําการเปลี่ยนแปลงที่สําคัญได้
• หยุด: การทดสอบเหล่านี้ถูกหยุดลง และนักการตลาดสามารถเลือกเวอร์ชันที่จะส่งได้
• สิ้นสุดแล้ว: การทดสอบเหล่านี้เสร็จสมบูรณ์โดยการค้นหาผู้ชนะที่มีนัยสําคัญทางสถิติ หรือตามกําหนดเวลา เมื่อกําหนดเวลาสิ้นสุดตามวันที่และเวลาที่กําหนด ไม่สามารถใช้การทดสอบที่สิ้นสุดแล้วซ้ำได้

ทําความเข้าใจผลลัพธ์ของคุณ

ผลลัพธ์ของผลการทดสอบ A/B ที่เป็นไปได้มี 3 แบบ ดังนี้

• การทดสอบสรุปด้วยผู้ชนะที่ชัดเจน: การทดสอบสรุปว่าเวอร์ชันหนึ่งทํางานได้ดีกว่าอีกเวอร์ชัน เวอร์ชันที่ชนะจะมีตรา "ผู้ชนะ" และแจกจ่ายให้กับลูกค้าใหม่ๆ ที่เข้ามาในการเดินทางนี้
• การทดสอบไม่ได้ข้อสรุป: การทดสอบสรุปว่าผู้รับมีแนวโน้มที่จะมีส่วนร่วมกับเวอร์ชัน A เช่นเดียวกับเวอร์ชัน B ในกรณีนี้ ระบบจะส่งเวอร์ชันเริ่มต้นไปยังลูกค้าใหม่ที่เข้ามาในการเดินทาง
• การทดสอบหยุดลง: หมายความว่าคุณหรือเพื่อนร่วมงานคนหนึ่งของคุณหยุดการทดสอบก่อนที่จะได้ข้อสรุป ในกรณีนี้ เวอร์ชันที่คุณหรือเพื่อนร่วมงานของคุณระบุจะมีการส่งไปยังลูกค้าใหม่ที่เข้ามาในการเดินทาง

คำถามที่ถามบ่อย

1. ฉันสามารถทำการทดสอบ A/B ที่มีมากกว่าสองเวอร์ชันได้หรือไม่
   • ไม่ ไม่ใช่ในขณะนี้
2. เหตุใดฉันจึงไม่เห็นตัวเลือกกลุ่มควบคุมสำหรับการเดินทางตามเซกเมนต์
   • หากคุณใส่สาขาแอตทริบิวต์หรือไทล์ใดๆ ที่เปลี่ยนแปลงจำนวนรวมของเซ็กเมนต์ ตัวเลือกกลุ่มควบคุมจะหายไปเนื่องจากระบบไม่ทราบจำนวนลูกค้าที่ต้องระงับไว้จนกว่าการทดสอบจะเสร็จสิ้น
3. เหตุใดการทดสอบของฉันจึงสิ้นสุดลงโดยไม่คาดคิด
   • หากคุณเลือกที่จะสิ้นสุดการทดสอบด้วยนัยสำคัญทางสถิติระบบจะพยายามหาผู้ชนะภายใน 30 วันแรกนับจากเวลาที่คุณเผยแพร่การเดินทาง หากไม่มีเวอร์ชันใดได้รับการประกาศให้เป็นผู้ชนะ การทดสอบจะสิ้นสุดลงและเวอร์ชันเริ่มต้นจะถูกส่งไปยังผู้ชมที่เหลือ