LC Waikiki ürün önerilerinin satışa katkısını nasıl test etti?

LC Waikiki ürün önerilerini yalnız kaç kişinin tıkladığıyla değerlendirmedi. Insider’ın vaka anlatımına göre, önerilerin parasal katkısını kontrol grubuyla karşılaştıran A/B/n testlerinden yararlandı. Buradaki önemli soru şu: Müşteri öneriyi gördüğü için mi satın aldı, yoksa zaten alacağı ürüne mi yöneldi? Siz de yeni bir öneri, rapor veya hatırlatma uyguladığınızda görünür hareketliliği gerçek ek katkıdan ayırabilirsiniz.

Bir öneri alanı güzel görünebilir. Kullanıcılar tıklayabilir, toplantıda herkes yeni tasarımı beğenebilir. Fakat bunların hiçbiri tek başına daha faydalı bir alışveriş deneyimi oluşturduğunuzu göstermez. Gelin bu ayrımı şirket vakasından günlük işlerinize taşıyalım.

LC Waikiki vakasında sorun neydi?

Insider’ın yayımladığı vaka önceki öneri yaklaşımlarının ve ölçüm yöntemlerinin LC Waikiki için yeterince açık sonuç vermediğini anlatıyor. Uygulamada ziyaretçinin davranışına göre kişiselleştirilen öneriler kullanıldı. A/B/n testiyle önerilerin etkisi bir kontrol grubuna karşı değerlendirildi.

Bu, çözümü sağlayan şirketin anlatımı. Sayfada deneyin tarihi, örneklem ayrıntıları ve sonuçların belirsizlik aralığı yer almıyor. Bu nedenle bütün satış artışını tek özelliğe bağlamak yerine, vakadaki ölçüm kararına odaklanmak daha yararlı: Bir özelliğin kullanılmasıyla işe katkısı aynı soru değil.

Birinci öğrenim: Kullanımı sonuçla karıştırmayın

Yeni bir özelliği değerlendirmeden önce kullanıcının hangi işini kolaylaştıracağını yazın. Ürün önerisi için bu, uygun seçeneği daha hızlı bulmak olabilir. İş ortamında ise bir hatırlatma, gerekli belgeyi zamanında teslim etmeyi kolaylaştırabilir. Her iki durumda da hareket ile amaç farklıdır.

Örneğin hatırlatma e-postasının açılması iletişimin görüldüğünü gösterir. Eksik belgenin teslim edilmesi ise hedef davranışa daha yakındır. Bunları ayrı kaydederseniz, yüksek açılma oranının arkasında tamamlanmayan işlerin kalıp kalmadığını görebilirsiniz.

Ana ölçütün yanına bir koruma ölçütü ekleyin. Daha çok sipariş elde ederken iadeler artıyorsa, ilk sonuç tek başına yeterli değildir. Daha hızlı belge toplarken müşteriden gereksiz bilgi istiyorsanız, işlem süresini başka birinin yükünü artırarak azaltmış olabilirsiniz.

İkinci öğrenim: Karşılaştırılabilir bir başlangıç hazırlayın

Öneri görenlerle görmeyenler baştan farklı olabilir. Daha ilgili müşterilere öneri gösterip daha az ilgili müşterileri kontrol grubu seçerseniz, sonuç tasarım kadar müşteri farkını da yansıtır. Karşılaştırmanın nasıl kurulduğu bu yüzden önemlidir.

Ofiste de yeni yöntemi yalnız en deneyimli kişilere uygulatıp eski yöntemi yeni başlayanlarda bırakırsanız temiz bir değerlendirme elde edemezsiniz. İşlerin zorluğu, dönem ve işlem sayısı değişiyorsa bunu kayda geçirin. Koşulları eşitleyemediğiniz yerde kesin neden-sonuç cümlesi kurmayın.

Bir denemenin amacı yöneticiyi ikna edecek en iyi sayıyı bulmak değildir. Hangi koşulda uygulamanın işe yaradığını öğrenmektir. Raporlarda gözlem, varsayım ve yorumu ayırmak, bulduğunuz farkı dürüst biçimde anlatmanıza yardımcı olur.

Üçüncü öğrenim: Ek katkının bedelini de hesaplayın

Satışa katkı, elde edilen toplam satışla aynı şey değildir. Zaten gerçekleşecek işlemler, indirim maliyeti, ek hizmet süresi ve iade yükü değerlendirmeyi değiştirebilir. Bir işlemin tamamlanması başka ekiplere yeni kontrol görevleri doğuruyorsa bunları da görünür tutun.

Küçük bir ofis denemesinde kapsamlı bir finansal model kurmanız gerekmeyebilir. Fakat yeni yöntemi uygulamak ve kontrol etmek için harcanan süreyi not edebilirsiniz. Kazanılan zaman başka bir yerde daha çok düzeltmeye dönüşüyorsa, uygulamanın tasarımını değiştirme ihtiyacı vardır.

Denemeyi iyi görünen dosyalardan kurmayın

Başarılı örnekler daha görünür olabilir. Fakat yanıt gelmeyen veya yarıda kalan dosyalar da uygulamanın parçasıdır. Bunları değerlendirmeden çıkarmak sonucu iyi gösterir. Denemeye hangi işlerin hangi koşulla dahil edildiğini baştan yazın. İnceleme sırasında bu tanımı değiştirmeyin.

Yeni mesaj daha çok kullanılınca kimin davranışının değiştiğini öğrenin. Çalışan eski bilgiyi daha kolay bulmuş olabilir; müşteri daha açık açıklama almış olabilir. Bu iki kazanım farklıdır. Sonraki düzenlemede hangisinin hedeflendiği belli olsun.

Sonuç istediğiniz yönde değilse hemen başka metin üretmeyin. Talebin zamanını ve belgenin anlaşılabilirliğini inceleyin. Müşteri henüz bilgiye sahip değilse daha güzel mesaj onu hızlandırmayabilir. Denemenin katkısı engelin yerini bulmak olabilir. Yorum notunda sadece sonucu değil, yeni soruyu da koruyun. Gösterge değişmezken kullanıcı daha az açıklama isteyebilir; bu ayrı bir gözlem olarak yazılabilir. Tek tabloya bütün faydayı sıkıştırmak zorunda değilsiniz.

Ofiste uygulanabilecek doldurulmuş bir deney

Şöyle bir durum düşünün: Satış destek ekibindesiniz. Teklif hazırlanması için müşteriden adres ve teslimat bilgisi bekleniyor. Eksik bilgiler yüzünden dosyalar tekrar tekrar geri dönüyor. Yeni bir hatırlatma mesajını sınamak istiyorsunuz.

Deneme notunuz şöyle olabilir:

Mesajın daha güzel bulunması olumlu olabilir; ancak karar tablosunda eksik bilginin tamamlanması esas alınır. Yanıt vermeyen müşterileri listeden çıkarıp yalnız başarılı dosyalara bakmayın. Bu, gerçek akışı olduğundan iyi gösterebilir.

Deneme başlamadan dosya seçimini ilgili ekiplerle netleştirin. Şirketinizin onaylı müşteri iletişim düzenini koruyun. Aynı gün farklı mesajlar gitmesini önlemek için hangi dosyada hangi metnin kullanılacağını birlikte belirleyin.

Sonucu nasıl anlatabilirsiniz?

Değerlendirmede önce neyi denediğinizi, sonra ne gözlediğinizi söyleyin. Ardından hangi ayrıntının belirsiz kaldığını belirtin. Örneğin yeni mesajın farklı teklif türlerinde aynı etkiyi göstermediğini gördüyseniz, genel bir başarı ilanı yerine hangi dosyalarda kullanacağınıza karar verin.

Beklenen fark görülmediyse deneme boşa gitmiş değildir. Müşterilerin belge adını anlamadığını, dosyanın yanlış zamanda istendiğini veya örneğin yetersiz kaldığını öğrenebilirsiniz. Bu bilgi sonraki değişikliği daha küçük ve hedefli yapmanızı sağlar. PDCA ile küçük süreç iyileştirmesi deneme sonrası düzenlemeyi yapılandırmak için kullanılabilir.

LC Waikiki vakasından taşınabilecek esas öğrenim, her yerde aynı öneri aracını kullanmak değil. Yeni bir uygulamanın katkısını, makul bir karşılaştırma ve gerçek iş sonucuyla değerlendirmek. İş hayatındaki bu tür değerlendirme yeteneklerini geliştirmek isterseniz kariyer gelişim kursunun programını inceleyebilirsiniz.

Sık sorulan sorular

A/B/n testi yalnız e-ticaret için mi uygundur?

Hayır. Birden fazla seçeneği karşılaştırmak için farklı alanlarda kullanılabilir. Ancak çalışanları veya müşterileri etkileyen denemelerin şirket kuralları, veri kullanımı ve iletişim izinleri korunmalıdır. Her ofis değişikliğine istatistiksel deney demek de gerekmez.

Kontrol grubu oluşturamıyorsanız ne yapmalısınız?

Önceki ve sonraki iş akışını kaydedebilirsiniz. Dönem, dosya türü ve ekip değişikliklerini de yazın. Bu karşılaştırma fikir verebilir; fakat aynı anda değişen diğer etkenleri ayıramıyorsanız sonucu kesin uygulama etkisi gibi sunmayın.

Tıklama oranı hiç mi önemli değildir?

Önemlidir, ama ara göstergedir. Öneri görülmüyor veya anlaşılmıyorsa tasarımı incelemenize yardımcı olur. Son değerlendirmede kullanıcının gerçekten aradığı seçeneği bulup bulmadığı ve işlemin sağlıklı tamamlanması da incelenmelidir.

Başarısız bir denemeyi yöneticiye nasıl anlatırsınız?

Deneme sorusunu, gözlenen sonucu ve sonraki küçük değişikliği birlikte anlatın. Sonucu gizlemek yerine, artık hangi varsayımın zayıfladığını gösterin. Böylece deneme bir başarısızlık etiketi değil, daha iyi karar için bilgi olur. Gözlem ve yorumu ayırma denemenin sınırlı sonucunu açık anlatmaya yardımcı olur.