کسب بیشترین بازده از تست A/B و سایر تستهای کنترلشده
در سال 2012، یکی از کارکنان مایکروسافت که بر روی بینگ کار میکرد، ایدهای در مورد تغییر نمایش عناوین تبلیغات در موتور جستجو داشت. توسعهی آن نیاز به تلاش زیادی ندارد – تنها چند روز از زمان یک مهندس را میگیرد – اما این یکی از صدها ایدهی پیشنهادی بود و مدیران برنامه اولویت پایینی را برای آن لحاظ کردند. بنابراین این طرح تا شش ماه خاک خورد تا اینکه یک مهندس به آن نگاهی انداخت و متوجه شد که هزینهی کدنویسی آن بسیار اندک خواهد بود. او یک آزمون ساده و کنترلشدهی آنلاین – تست A/B – برگزار کرد تا تاثیر این تغییر را ارزیابی کند. تنها طی چند ساعت پس از تغییر نمایش عناوین، درآمد به طرز غیرمنتظرهای بالا رفت، بهگونهای که قابل باور نبود. معمولا چنین عملکرد غیرقابل باوری یک باگ و مشکل را نشان میدهد، اما این بار اینگونه نبود. یک تحلیل نشان داد که همین تغییر توانسته درآمد را به میزان قابل توجه 12 درصد افزایش دهد – بنابراین اگر در مقیاس سالیانه به آن نگاه شود، بیش از 100 میلیون دلار تنها از کشور آمریکا عاید خواهد شد – بدون اینکه به تجربهی کاربری فرد خدشهای وارد شود. این بهترین ایدهی درآمدزایی در تاریخ بینگ بوده، اما تا زمان انجام این آزمون نادیده گرفته شده بود.
خلاصه ایده
نیاز

نظرات شما