«قدرت این تکنیک‌ها روزبه‌روز افزایش می‌یابد»
جرمی کینگ قریب به سه دهه است که در حوزه‌ی فناوری کار می‌کند – و عمده‌ی 15 سال گذشته را صرف کمک به کمپانی‌ها کرده تا با بهره‌گیری از آزمونگری و داده، تصمیم‌گیری بهتری داشته باشند. او که هم‌اکنون مسئولیت معاون ارشد فناوری را در پینترست برعهده دارد، طی مصاحبه با مجله‌ی کسب‌وکار هاروارد از عواید رویکرد آزمونگری و بستر فرهنگی لازم برای پشتیبانی از آن گفته است. در ادامه‌ی گزیده‌هایی از این مصاحبه می‌آید:
مجله: از چه زمانی برای اولین بار آزمون A/B را تبدیل به بخشی از کار خود کردید؟
کینگ: سال‌های 2001 تا 2008 در ای‌بِی کار می‌کردم و در نیمه‌ی دوم دوران حضورم در آنجا، پلتفرم‌های آزمایشگاهی و تست A/B در کانون توجهاتشان جای گرفت، در روزهای نخست بسیاری از آزمایش‌ها تمرکزشان روی موتور جستجوی ای‌بی بود. در آن دوران، 100 میلیون کالا در سایت داشتیم و همواره سعی می‌کردیم که در هنگام جستجوی کاربر با عبارات متنوع، بهینه‌ترین گزینه‌ها را به او نشان دهیم. هدف این بود که علاوه بر نمایش آیتم‌های مرتبط، گزینه‌های تصادفی و غیرقابل‌انتظار نیز نشان داده شوند. در پلتفرم‌هایی نظیر ای‌بی، اتسی و پینترست، نباید بخش جستجوی شما خیلی هم دقیق باشد. زیرا خواهان مکاشفه‌گری و هدایت افراد به بخش‌های گوناگون هستید تا بتوانند آیتم‌های جدیدی پیدا کنند. بنابراین نتایج جستجوی گوناگون را می‌آزمودیم و عواملی نظیر تراکنش‌ها، نرخ کلیک و مدت‌زمان جستجو را می‌سنجیدیم تا به بهترین آمیزه‌ی ممکن برسیم.
آیا کمپانی باید دارای فرهنگ بخصوصی باشد که موجب رشد و پیشرفت آن در حوزه‌ی آزمونگری شود؟
به‌منظور موفقیت، افراد باید اصل تصمیم‌گیری بر اساس داده را رعایت کنند. برای دستیابی به این امر، اکثر کمپانی‌های جاافتاده باید نوعی دگرگونی در ساختار خود ایجاد کنند. تصمیمات اکثر سازمان‌ها به‌صورت یک‌طرفه و عمدتاً غریزی و توسط ارشدترین فرد داخل اتاق، متخصص امر یا فردی اتخاذ می‌شوند که مسئولیت مستقیم آن وظیفه را بر عهده دارد. در کمپانی‌های داده‌‌محور، احتمال شنیدن جملاتی نظیر «حدس می‌زنم که…» یا «شرط می‌بندم…» بسیار کمتر خواهد بود.
وقتی به پینترست پیوستم، تاثیرگذارترین مشاهده‌ام این بود که 65 درصد از کارکنان آنجا طی شش روز گذشته، حداقل یک جستار در سیستم کلان‌داده‌ی آنجا داشتند. در میان این افراد، نه صرفاً مهندسان محصولات و مدیران بلکه اعضای واحد منابع انسانی و حقوقی سازمان نیز حضور داشتند. پس از طرح پرسش در جلسات، خبری از گمانه‌زنی نبود و در عوض، لپ‌تاپ‌ها باز می‌شدند و جستجوهایی در میان تراکنش‌های مشتریان صورت می‌گیرند تا یک پاسخ داده‌‌محور ارائه شود.
سازمان‌های غیردیجیتال و قدیمی‌تر، چه دشواری‌هایی برای ورود به چنین محیط‌هایی دارند؟
پرسش‌های فراوان از انواع صنایع گوناگون دریافت می‌کنم که حاکی از بدبینی آن‌ها هستند: «آیا واقعاً باید به کل کمپانی اجازه بدهم که کل این داده‌ها را ببینند؟» دموکراسی داده مستلزم سرمایه‌گذاری و تغییر فرهنگ است، اما عواید حاصل از دسترسی بخش بزرگ‌تری از سازمان به داده‌ها نیز بسیار زیاد است، زیرا تصمیم‌گیری‌هایتان بهتر می‌شوند.
حدود هشت سال در والمارت بودید. فرهنگ آزمونگری آنجا را توصیف کنید.
هنوز هم کارکنان والمارت از «فروشگاه شماره‌ی هشت» می‌گویند که سم والتون از آنجا برای آزمودن تعدادی از روش‌های جدید خود بهره گرفت. روش انتخاب تعداد محدودی از شعب برای آزمودن ایده‌های جدید، هنوز هم ادامه دارد: والمارت حدوداً 10 فروشگاه تعیین‌شده برای آزمایش‌های خود دارد، به‌گونه‌ای که در هر منطقه حداقل یک شعبه‌ی آزمایشگاهی در نظر گرفته‌اند. آزمایش‌های آن‌ها عموماً شامل مسائلی نظیر طراحی محیط فروشگاه یا دستگاه‌های تعاملی می‌شوند. وقتی در کمپانی بودم، فروشگاهی را آزمایش کردیم که صرفاً راهروهای پرداخت اتوماتیک داشت و بدون صندوقدار بود.
همان‌طور که فکر می‌کنید، آزمونگری در یک فروشگاه فیزیکی، بسیار کندتر از محیط دیجیتال است. فرهنگ والمارت نیز متأثر از تاجرهایش است که با توجه به تجارب بالا، گهگاه بیشتر از غرایزشان بهره می‌گیرند تا اینکه به داده‌ها تکیه کنند. این رویکرد غریزی می‌تواند تا یک جایی موفق باشد. اما علی‌الخصوص وقتی با این مقیاس گسترده کار می‌کنید و روزانه هزاران محصول جدید به بازار می‌‌آورید (یعنی همان کاری که در walmart.com انجام می‌دادیم) هر فرد توانایی محدودی برای درک تک‌تک آیتم‌های جدید هر دسته و میزان فروش آن‌ها در هر منطقه دارد. بهتر است این وظیفه به یک کامپیوتر سپرده شود.
آیا باید افراد متفاوتی استخدام کنید تا پشتیبان شما برای یک فرهنگ آزمایش‌محور باشند؟
مطمئن نیستم که افراد متفاوتی را استخدام می‌کنیم، اما قطعاً به نوع متفاوتی از آشناسازی نیروها نیاز داریم. کمپانی‌هایی نظیر فیس‌بوک، گوگل و پینترست را با فرایندهای آشناسازی طولانی‌مدتشان می‌شناسند. دوستانی در فیس‌بوک دارم، جایی که کارکنان جدید به مدت دو هفته‌ی کامل در آموزش‌های داده‌ای شرکت می‌کنند تا همگی بتوانند انواع داده‌های موجود، نحوه‌ی دسترسی به آن‌ها و بهترین نحوه‌ی بهره‌برداری از آن‌ها برای تصمیم‌گیری مناسب را یاد بگیرند. این شکل از آموزش به سرمایه‌ی زیادی نیاز دارد.
آیا ممکن است تمرکز بیش‌ازحد کمپانی بر آزمایش‌ها موجب کند شدن فرایند تصمیم‌گیری‌شان شود؟
در پینترست، قدری مناقشه‌ی داخلی در این زمینه داشتیم. برای جلوگیری از مداخله‌ی آزمایش‌ها در مسیر تصمیم‌گیری، از تکنیکی استفاده می‌کنیم که «خودداری از بازی» نامیده می‌شود. فرض کنید حس غریزی شما می‌گوید که فلان تغییر در سایت، اثرات مثبتی به همراه خواهد داشت و از این قضیه مطمئن هستید. گاهی اوقات به‌جای دو هفته صبر برای اجرای یک تست A/B، بلافاصله آن را بر روی 99درصد از کاربران پیاده می‌کنیم، اما تجربه‌ی 1درصدشان را بدون تغییر می‌گذاریم. سپس آزمایش می‌کنیم تا مطمئن شویم که تجربه‌ی آن 99درصد، واقعاً بهتر از گروه کوچکی است که در بازی شرکت نکرده‌اند. بدین ترتیب می‌توانیم بلافاصله تغییر مدنظر خود را پیاده کنیم، اما کماکان آزمایش‌هایمان را انجام دهیم تا مبادا حس غریزی‌مان اشتباه باشد.
آیا نگران نیستید که هزینه‌های این‌گونه از آزمونگری فراتر از عواید آن باشند؟
مثلاً در پینترست، آزمایش‌هایی انجام می‌دهیم تا کیفیت عملکرد یادگیری ماشینی در شناسایی محتواهای مغایر با خط‌مشی جامعه‌ی خود را ارزیابی کنیم. سیستم جدیدی ساخته‌ایم که حاکی از افزایش 20درصدی قابلیت رصد این‌گونه از محتواها است. بدون آزمایش و مقایسه‌ی چندین و چندباره روش‌های گوناگون، به‌هیچ‌عنوان نمی‌توانستیم به چنین پیشرفتی برسیم. مثلاً فناوری‌های یادگیری ماشینی جدیدی توسعه داده‌ایم تا محتواهای خودزنی را شناسایی و حذف کنند و از حجم این محتواها در پینترست بکاهیم، گزارش‌ها حاکی از کاهش 88 درصدی این محتواها در میان اعضای جامعه‌ی ما هستند. در صورت گزارش یک پست با محتوای آسیب به خود، هم‌اکنون سه برابر سریع‌تر از همیشه آن را حذف می‌کنیم و بدین ترتیب افراد کمتری آن را می‌بینند. آزمایش‌های گوناگون به ما کمک کردند تا به چنین دستاوردی برسیم.
آیا احتمال دارد آزمون A/B نیز یک مد زودگذر دیگر باشد؟
من این‌گونه فکر نمی‌کنم. استفاده از این روش را از سال 2004 آغاز کردم وهم‌اکنون 15 سال از شروع آن گذشته است. قدرت این تکنیک‌ها روزبه‌روز افزایش می‌یابد. پلتفرم‌های مورد استفاده برای اجرای این آزمون‌ها بیشتر می‌شود و بهره‌وری‌شان نیز بیشتر از قبل شده است. انتظار دارم که به‌مرورزمان، درصد بیشتری از تصمیمات کسب‌وکار در تعداد فزاینده‌ای از کمپانی‌ها، از طریق اجرای همین آزمایش‌ها اتخاذ شوند.
نظرات شما