ab-test-planner

# machine-translated to hi from skills/ab-test-planner/SKILL.md — review: pending. Native fixes welcome via PR.name: ab-test-plannerdescription: "प्रोडक्ट फ़ीचर, UI बदलाव, ऑनबोर्डिंग फ़्लो और प्राइसिंग प्रयोगों के लिए सांख्यिकीय रूप से कठोर A/B टेस्ट डिज़ाइन करें। जब कोई प्रयोग सेट करने, A/B टेस्ट डिज़ाइन करने, सैंपल साइज़ निकालने या टेस्ट के नतीजे समझाने को कहे, तब इसका उपयोग करें। परिकल्पना, वेरिएंट की परिभाषा, सैंपल साइज़, अवधि का अनुमान, गार्डरेल मेट्रिक और नतीजों की व्याख्या की गाइड के साथ एक पूरा टेस्ट प्लान तैयार करता है।"

A/B टेस्ट प्लानर स्किल

ऐसे प्रयोग डिज़ाइन करें जिनके नतीजों पर भरोसा किया जा सके, सिर्फ़ दिशा का संकेत देने वाले नहीं। हर टेस्ट आउटपुट में परिकल्पना, सफलता के मेट्रिक, सैंपल साइज़, अवधि और नतीजों की व्याख्या की गाइड शामिल होती है।

आवश्यक इनपुट

जो दिया गया है उसी से काम करें। इनमें से कुछ न हो तो भी पूरा आउटपुट बनाएँ: हर खाली जगह को (माना गया, पुष्टि करें) चिह्नित एक उचित धारणा से भरें और अंत में उन धारणाओं की सूची दें। सवाल पहले सिर्फ़ तब पूछें जब मुख्य विषय ही न हो (लिखने के लिए कुछ हो ही नहीं)।

• क्या टेस्ट हो रहा है (फ़ीचर, UI बदलाव, कॉपी, प्राइसिंग, ऑनबोर्डिंग का चरण)
• परिकल्पना (या उसे बनाने में मदद माँगें)
• प्राथमिक मेट्रिक (कन्वर्ज़न रेट, क्लिक-थ्रू, पूर्णता दर आदि)
• बेसलाइन दर और न्यूनतम पता लगाने योग्य प्रभाव (MDE)
• प्रतिदिन योग्य उपयोगकर्ता (अवधि निकालने के लिए)

प्रयोग डिज़ाइन चेकलिस्ट

कोई भी टेस्ट चलाने से पहले पुष्टि करें:

• अनुमानित दिशा के साथ स्पष्ट परिकल्पना
• एक ही प्राथमिक मेट्रिक (साथ में अधिकतम 2 गार्डरेल मेट्रिक)
• न्यूनतम पता लगाने योग्य प्रभाव (MDE) तय
• सैंपल साइज़ की गणना हो चुकी
• टेस्ट की अवधि का अनुमान
• सेगमेंट अलग किया गया (चल रहे दूसरे टेस्ट से कोई ओवरलैप नहीं)
• रोलबैक प्लान तय

परिकल्पना टेम्पलेट

"हम मानते हैं कि [बदलाव] से [उपयोगकर्ता सेगमेंट] के लिए [प्राथमिक मेट्रिक] [X%] [बढ़ेगा/घटेगा], क्योंकि [डेटा या इनसाइट पर आधारित तर्क]।"

बिना दिशा वाली परिकल्पना के कभी टेस्ट न चलाएँ। "देखते हैं क्या होता है" कोई परिकल्पना नहीं है।

सैंपल साइज़ कैलकुलेटर का तर्क

यह सूत्र उपयोग करें (उपयोगकर्ता को सूत्र नहीं, नतीजा दें):

• बेसलाइन कन्वर्ज़न रेट: प्राथमिक मेट्रिक की मौजूदा दर
• MDE: सबसे छोटा बदलाव जिसे पकड़ना सार्थक हो (ज़्यादातर फ़ीचर के लिए 10–20% सापेक्ष बढ़त की सिफ़ारिश)
• सांख्यिकीय शक्ति: 80% (मानक)
• सार्थकता स्तर: 95% (p < 0.05)

आम स्थितियों के लिए पहले से निकाले गए अनुमान दें:

हमेशा चेतावनी दें: "ये अनुमान हैं। सटीकता के लिए Evan Miller के कैलकुलेटर या Statsig जैसे टूल का उपयोग करें।"

टेस्ट अवधि का मार्गदर्शन

न्यूनतम: पूरे 2 सप्ताह (साप्ताहिक मौसमीपन पकड़ने के लिए) अधिकतम: 4 सप्ताह (इसके बाद नवीनता का प्रभाव नतीजे बिगाड़ देता है)

अवधि = आवश्यक सैंपल ÷ (दैनिक ट्रैफ़िक × % एक्सपोज़्ड)

अगर ट्रैफ़िक इतना कम है कि 8 सप्ताह से कम में सार्थकता तक नहीं पहुँच सकता, तो इसे चिह्नित करें और दूसरा तरीका सुझाएँ (जैसे होल्डआउट टेस्ट, गुणात्मक रिसर्च)।

आउटपुट फ़ॉर्मैट

A/B टेस्ट प्लान — [टेस्ट का नाम] — [तारीख़]

परिकल्पना:

[भरा हुआ परिकल्पना टेम्पलेट]

वेरिएंट:

• कंट्रोल (A): [मौजूदा अनुभव]
• ट्रीटमेंट (B): [बदला हुआ अनुभव — ठोस रूप से बताएँ]

प्राथमिक मेट्रिक: [मेट्रिक का नाम + कैसे मापा जाता है] गार्डरेल मेट्रिक: [ऐसे मेट्रिक जो बिगड़ने नहीं चाहिए]

लक्षित सेगमेंट: [टेस्ट किसे दिखेगा — ट्रैफ़िक का %, उपयोगकर्ता प्रकार] ट्रैफ़िक विभाजन: [50/50 की सिफ़ारिश, जब तक रैंप-अप की ज़रूरत न हो]

आवश्यक सैंपल साइज़: प्रति वेरिएंट ~[N] उपयोगकर्ता अनुमानित अवधि: [X] सप्ताह ([Y] प्रतिदिन योग्य उपयोगकर्ताओं के आधार पर) सार्थकता सीमा: 95% विश्वास, 80% शक्ति

बहिष्करण: [कौन से उपयोगकर्ता सेगमेंट बाहर रखे जाएँ और क्यों]

रोलबैक ट्रिगर: अगर [गार्डरेल मेट्रिक] [X%] बिगड़े, तो टेस्ट तुरंत रोक दें।

नतीजों की व्याख्या गाइड:

• ✅ शिप करें अगर: ट्रीटमेंट 95% विश्वास पर प्राथमिक मेट्रिक में [X%]+ बढ़त दिखाए और गार्डरेल मेट्रिक स्थिर रहें
• 🔄 दोहराएँ अगर: दिशा सकारात्मक है पर सार्थक नहीं — अवधि बढ़ाने या फिर से डिज़ाइन करने पर विचार करें
• ❌ अस्वीकार करें अगर: सार्थकता पर कोई बढ़त नहीं या दिशा नकारात्मक
• ⚠️ अनिर्णायक: शिप न करें। इसे जीत न कहें।

---

दिशानिर्देश

• नियोजित सैंपल साइज़ तक पहुँचने से पहले नतीजे झाँकने के विरुद्ध हमेशा सलाह दें — p-hacking का जोखिम समझाएँ
• अगर उपयोगकर्ता कई वेरिएंट टेस्ट करना चाहे, तो multiple comparisons की समस्या समझाएँ और Bonferroni सुधार या Bayesian तरीका सुझाएँ
• अगर ट्रैफ़िक बहुत कम है (<1,000 उपयोगकर्ता/दिन), तो गुणात्मक विकल्प सुझाएँ: मॉडरेटेड टेस्टिंग, 5-सेकंड टेस्ट, या उपयोगकर्ता साक्षात्कार
• बिना गार्डरेल मेट्रिक वाले टेस्ट को कभी मंज़ूरी न दें — राजस्व, रिटेंशन या मुख्य एंगेजमेंट की हमेशा रक्षा करें

एंटी-पैटर्न

• बिना दिशा वाली परिकल्पना के टेस्ट न चलाएँ — "देखते हैं क्या होता है" से ऐसे नतीजे मिलते हैं जिनकी व्याख्या नहीं हो सकती
• पहले से तय सैंपल साइज़ तक पहुँचने से पहले विजेता घोषित न करें — नतीजे झाँकने से झूठे सकारात्मक बढ़ जाते हैं
• एक ही वेरिएंट में कई स्वतंत्र बदलाव टेस्ट न करें — पता नहीं चलेगा कि नतीजा किस बदलाव से आया
• जब लक्ष्य राजस्व या रिटेंशन हो, तब एंगेजमेंट मेट्रिक (क्लिक, पेज पर समय) को प्राथमिक मेट्रिक न बनाएँ — प्रॉक्सी मेट्रिक भटकाते हैं
• गार्डरेल मेट्रिक की अनदेखी न करें — जिस कन्वर्ज़न बढ़त से सपोर्ट टिकट उछल जाएँ, वह जीत नहीं है

गहरी सामग्री

यह स्किल सहायक फ़ाइलों के साथ आती है — उपलब्ध हों तो उनका उपयोग करें:

• references/test-validity-traps.md — वे वैधता-जाल जो चुपचाप A/B टेस्ट को अमान्य कर देते हैं। आउटपुट बनाते समय इसे लागू करें; इसमें वह कैलिब्रेशन और निर्णय-विवेक है जिसे ऊपर का संक्षिप्त तरीका संकुचित कर देता है।
• templates/test-plan.md — डिलिवरेबल का भरने योग्य संस्करण, गुणवत्ता-जाँच इनलाइन सहित। जब उपयोगकर्ता दस्तावेज़ खुद बनाना चाहे, उसे जनरेट करवाने के बजाय, तब यह पेश करें।

स्कोरिंग रूब्रिक (0–40)

इस स्किल का कोई भी आउटपुट सौंपने से पहले स्कोर करें; 32+ शिप-गुणवत्ता है।

गुणवत्ता जाँच

• परिकल्पना दिशात्मक है (कोई खास दिशा और परिमाण बताती है, "देखते हैं" नहीं)
• प्राथमिक मेट्रिक एक ही है (गार्डरेल मेट्रिक गौण हैं)
• सैंपल साइज़ वास्तविक MDE और बेसलाइन से निकाला गया है (अनुमान नहीं)
• टेस्ट अवधि में साप्ताहिक मौसमीपन का ध्यान है (न्यूनतम 2 सप्ताह)
• गार्डरेल मेट्रिक परिभाषित हैं (राजस्व या मुख्य एंगेजमेंट की रक्षा के लिए कम से कम एक)
• रोलबैक ट्रिगर एक ठोस सीमा के साथ बताया गया है

उदाहरण ट्रिगर वाक्य

• "एक प्रयोग सेट करो।"
• "A/B टेस्ट डिज़ाइन करो।"
• "सैंपल साइज़ निकालो।"
• "टेस्ट के नतीजे समझाओ।"

इस स्किल को अपने ब्राउज़र में चलाएँ: https://mohitagw15856.github.io/pm-claude-skills/skill/ab-test-planner.html