Experiment Results

ตาราง Experiment Results

เมื่อ experiment ของคุณรันอยู่และ data source เชื่อมต่อแล้ว GrowthBook สามารถคำนวณผลทางสถิติได้ ไปที่ experiment ของคุณแล้วคลิก tab Results

ตารางแสดงอะไร

แต่ละแถวในตาราง results คือ metric หนึ่งตัว แต่ละ column หลังจาก column แรกคือ variation หนึ่งตัว cell แต่ละ cell แสดง:

Column	ความหมาย
Users	จำนวน unique users ที่ถูก assign ให้ variation นี้
Value	ค่า raw metric ของ variation นี้ (เช่น conversion rate, average order value)
Chance to Win	(Bayesian) ความน่าจะเป็นที่ variation นี้ดีกว่า baseline
Uplift	การเปลี่ยนแปลงสัมพัทธ์เทียบกับ control เช่น +3.2%
Confidence Interval	ช่วงของค่า uplift จริงที่เป็นไปได้ที่ confidence level ที่ตั้งไว้

การอ่านผล: ตัวอย่าง

สมมติ experiment มีสอง variations — Control (0) และ New Checkout (1) — และคุณติดตาม Purchase Rate (proportion metric):

• Control: 4.8% purchase rate, 10,000 users
• New Checkout: 5.2% purchase rate, 10,050 users
• Uplift: +8.3%
• Chance to Win: 87%
• 95% CI: +1.1% ถึง +15.8%

ความหมาย: ถ้าคุณรัน experiment นี้หลายครั้ง 87% ของครั้งที่รัน New Checkout จะดีกว่า Control ผลกระทบจริงน่าจะอยู่ระหว่าง +1.1% ถึง +15.8% นี่ดูดี แต่ยังไม่สรุปได้ — ทีมส่วนใหญ่รอให้ chance to win ผ่าน 95% ก่อน ship

การ refresh results

GrowthBook ไม่ poll warehouse อย่างต่อเนื่อง เพื่อดูตัวเลขที่อัปเดต:

1. คลิก Update Data ที่มุมขวาบนของ tab Results
2. GrowthBook รัน analysis queries กับ warehouse ของคุณและอัปเดตตาราง
3. คุณยังสามารถตั้ง automatic refresh ใน Data Source settings ได้ด้วย

Guardrail metrics

นอกจาก goal metrics หลักแล้ว คุณควรตั้งค่า guardrail metrics ในทุก experiment Guardrail metrics คือ metrics ที่ต้องไม่ถดถอย — เช่น page load time หรือ revenue per user

1. ใน experiment settings เลื่อนลงไปที่ Metrics
2. เพิ่ม metric ภายใต้ Guardrails แทนที่จะเป็น Goals
3. ถ้า guardrail metric แสดงการเปลี่ยนแปลงเชิงลบที่มีนัยสำคัญทางสถิติ GrowthBook จะ flag เป็นสีแดง — แม้ว่า goal metric ของคุณจะเป็นบวกก็ตาม

Dimensions

GrowthBook สามารถแบ่ง results ตาม dimension — attribute เชิงประเภทของผู้ใช้ (เช่น country, device type, plan tier) เพื่อใช้ dimensions:

1. กำหนด dimension SQL ใน Data Source settings โดย query ต้องคืน user_id และ column ค่า dimension
2. ใน tab Results เลือก dimension จาก dropdown Dimension
3. GrowthBook รัน analysis ใหม่แยกตามค่า dimension แต่ละค่า

Dimensions มีประโยชน์สำหรับตรวจสอบ heterogeneous treatment effects — เช่น checkout ใหม่อาจช่วย mobile users แต่ส่งผลเสียต่อ desktop users

🧪 รอ sample size เพียงพอก่อนเชื่อผล

การดูผลก่อนกำหนดและตัดสินใจเมื่อ sample size ยังน้อยเรียกว่า “peeking” — ทำให้ false positive rate เพิ่มขึ้นอย่างมาก ให้ experiment รันถึง sample size หรือระยะเวลาที่วางแผนไว้ก่อนสรุปผล ใช้ sequential testing option ของ GrowthBook ถ้าต้องการดูผลระหว่างทางอย่างปลอดภัย

ข้อแลกเปลี่ยน

ตัวเลือก	Benefit	Cost
รอผลจนครบ sample size ที่วางแผน	มั่นใจกว่าทางสถิติ	ใช้เวลานานกว่าจะได้ตัดสินใจ
ดูผลกลางทางแล้วตัดสินใจเร็ว	เร็วกว่า	เสี่ยง false positive ถ้าไม่ใช้ sequential testing

ข้อผิดพลาดที่พบบ่อย

• หยุด experiment ทันทีที่เห็น “ชนะ” โดยไม่รอ statistical significance
• มองแค่ metric เดียวโดยไม่เช็ค guardrail metrics
• ตีความ “ไม่ significant” ว่า “ไม่มีผล” ทั้งที่อาจแค่ sample size ไม่พอ

💡 ตัวอย่างจากของจริง

ทีม growth ที่ Spotify มีกฎห้าม ship ผล experiment ที่ยังไม่ถึง statistical significance ไม่ว่าผลจะดูดีแค่ไหนก็ตาม

"Chance to Win" ใน Bayesian results ของ GrowthBook หมายความว่าอะไร?

p-value ของ experiment ความน่าจะเป็นที่ variation นี้ดีกว่า baseline จากข้อมูลที่สังเกตได้ เปอร์เซ็นต์ผู้ใช้ที่ convert ใน variation นี้ ความกว้างของ confidence interval

จะ refresh experiment results ด้วยข้อมูล warehouse ล่าสุดได้อย่างไร?

โหลดหน้า browser ใหม่ คลิก Update Data ใน tab Results รัน experiment assignment query ด้วยตนเอง เชื่อมต่อ data source ใหม่

guardrail metric มีจุดประสงค์อะไร?

เป็น primary goal ที่ experiment กำลัง optimize เป็น metric ที่ต้องไม่ถดถอย — คอย flag การถดถอยแม้ goal metrics จะดูดี ควบคุม traffic split ระหว่าง variations ตั้งระยะเวลา experiment ขั้นต่ำ

"peeking" ในบริบทของ A/B testing คืออะไร?

การดูผลก่อนกำหนดและตัดสินใจก่อนถึง sample size ที่วางแผนไว้ การดู assignment query SQL ก่อนรัน experiment การใช้ dimensions เพื่อ segment ผล การตรวจ guardrail metrics หลัง experiment สิ้นสุด

Submit

Mark as complete