Booking.com’un 2020’de yayımlanan bir araştırmasında indirim kararı, yalnız satın alma ihtimaliyle değil teklifin yaratacağı ek etki ve maliyet sınırıyla ele alınıyor. İndirimi alan müşterinin satın alması, indirimin bu satışı oluşturduğunu tek başına göstermez; müşteri zaten alacak olabilir. Uplift modelleme, teklifin fark yarattığı müşteriyi ayırmaya çalışır. Sizin kampanya değerlendirmenizde de soru yalnız “Kaç satış oldu?” değil. “Teklif verilmeseydi ne olurdu ve ek sonucun maliyeti neydi?” olmalıdır. Bu tarihli araştırma, şirketin bütün güncel kararlarının açıklaması değildir.
İndirim maliyetinin görünmeyen tarafı
Bir kampanya çok sayıda sipariş getirebilir. Fakat bazı müşteriler aynı ürünü tam fiyatla alacaksa indirim gelir kaybı da oluşturabilir. Diğer müşteriler için teklif satın alma kararını gerçekten değiştirebilir. Bu iki davranışı aynı kampanya toplamında görmek zordur.
2020 tarihli Booking.com araştırmacılarının makalesi, promosyonun ek sonucunu belirli yatırım getirisi sınırları içinde iyileştiren bir modelleme yaklaşımı sunuyor. Çalışma çevrimdışı değerlendirme ve çevrimiçi rastgele kontrollü denemeler içeriyor. Araştırma, hedeflenen sonuçta artışı maliyet sınırlarıyla birlikte ele alıyor. Buradaki iddiayı bu makale kapsamıyla sınırlıyoruz; her indirim türünün bugün aynı yöntemle yönetildiğini söylemiyoruz.
Vakayı çalışan açısından değerli yapan, kampanyanın iki ayrı sorusunu görünür hale getirmesi. Müşteri ne yapıyor ve teklif hangi farkı yaratıyor? Satın alma tahmini ile teklifin ek katkısı aynı şey değil.
İlk öğrenim: Kampanyadan sonraki satış ek satış değildir
Bir teklifin ardından alınan siparişler ölçülebilir. Ancak bunları tümüyle kampanyanın başarısı saymak için teklif olmayan duruma dair karşılaştırma gerekir. Önceki dönemin satışı yardımcı olabilir, ama talep veya sezon değişikliği sonucu etkileyebilir.
Bu nedenle uygun kontrol yaklaşımını denemeden önce konuşun. Benzer müşterilere neyin hangi koşulda gösterileceği, sürenin ne olduğu ve sonuç ölçüsünün nasıl seçildiği açık olsun. Sonuç olumlu göründükten sonra farklı müşteri gruplarını seçmek yanıltıcı olabilir.
Korelasyonla nedenselliği ayırmak, bu ayrımın temelini oluşturur. Aynı anda artan iki sayı, birbirinin nedeni olmayabilir. Kampanya dönemiyle yoğun sezonun çakışması basit bir örnektir.
İkinci öğrenim: Maliyet, yalnız indirim tutarı değildir
Bir ek satışın değeri için fiyat indiriminin yanında hizmet ve operasyon yükü de düşünülebilir. Teslimat, destek veya iptal maliyeti değişebilir. Kampanya artışı, bütün katkının arttığı anlamına gelmez. Kullanılan iş ölçüsünü baştan netleştirmek gerekir.
Burada her maliyeti tek modelde kusursuz tahmin etmek zorunda değilsiniz. İlk adım, hangi maliyetin hesapta bulunduğunu ve hangisinin bulunmadığını açıklamak olabilir. Böylece raporu okuyan kişi sonucu kapsamıyla değerlendirir. Eksik maliyeti sıfır kabul etmeyin.
Sonucun para tarafı sizin yetkiniz dışında kalıyorsa ilgili ekiple ortak çalışın. Analistin görevi bütün kararları tek başına almak olmayabilir; gerekli soruları ve veri ihtiyacını hazırlamak olabilir. Finansal etkiyi değerlendiren kişiyle aynı tanımları kullanmak önemlidir.
Üçüncü öğrenim: Kişiselleştirme önce veri sorusudur
Farklı müşteri gruplarına farklı teklif vermek çekici olabilir. Ancak grubun neden seçildiği ve hangi veriye dayandığı açık olmalıdır. Eski veride görülen ilişki yeni dönemde değişebilir. Ürün ve müşteri davranışı birlikte izlenir.
Uplift, karmaşık bir teknik terim olarak kalmak zorunda değil. Sade soru, teklifin kimin davranışında fark yaratacağıdır. Fakat bu soru sırf sezgiyle kesin cevaplanmaz. Deneme, uygun veri ve sonuç kontrolü gerekir. Hassas veriler için kurumun izin ve kullanım sınırlarını da koruyun.
Raporda gözlem ve yorumu ayırmak, kampanya metnini daha dürüst hale getirir. Gözlenen sipariş artışını yazın; farkın nedenini açıklayan varsayımları ayrı belirtin. Son kararı bu ayrımla destekleyin.
- Karşılaştırmayı kurun
Teklifi alan ve almayan uygun grupları önceden belirleyin.
- Maliyeti ekleyin
Satışın yanında kampanyanın ve hizmetin maliyetini hesaplayın.
- Sınırı açıklayın
Sonucu kullanılan dönem ve müşteri grubuyla birlikte anlatın.
Eğitim hizmetinde kampanya çalışma notu
Şöyle bir durum düşünün: Kurum içi eğitim satan bir ekip, eski müşterilere indirim sunmak istiyor. Önceki kampanyadan sonra kayıt geldiği için aynı teklifin tekrarlanması düşünülüyor. Analist olarak önce hangi kaydın teklife bağlı olduğunu nasıl ayırabileceğinizi soruyorsunuz.
Çalışma notunda hedef şöyle yazılabilir: “Yeni dönem eğitim kararını henüz vermeyen uygun müşterilerde teklifin ek etkisini anlamak.” Deneme grubunun kimlerden oluşacağı ilgili ekiplerle belirlenir. Güncel teklif, hizmet şartı ve sonuç dönemi baştan kaydedilir. Gerçek müşteri verisi yalnız yetkili ortamda kullanılır.
Raporun iki sütunu vardır: “Gözlenen sonuç” ve “Değerlendirme için eksik bilgi”. İlkinde kayıtlar, iptaller ve kullanılan indirimler bulunur. İkincisinde benzer grubun teklifsiz davranışı, maliyet ve dönem farkları yazılır. Bu düzen, hazır olmayan veriden kesin karar üretmenizi önler.
Örneğin teklif grubunda daha çok kayıt görünse bile aynı grubun zaten yüksek satın alma niyeti varsa yorum değişebilir. Ya da kayıt artışıyla destek ihtiyacı büyür. Bunları sonuçtan sonra bahane olarak değil, deneme tasarımında sorulacak ihtiyaçlar olarak ele alın.
Kampanya sonunda bütün sonucu tek “başarılı” etiketiyle kapatmayın. Hangi grupta fark görüldüğünü, maliyetin hangi bölümünün hesaplandığını ve neyin belirsiz kaldığını yazın. Yeni teklif için karar daha dar olabilir: aynı kapsamda devam, belirli grupta değişiklik veya daha iyi veriyle yeniden deneme.
Bu örnekte öğrenim büyük bir yapay zeka modeli kurmak değil. Doğru soruyu ölçüyle eşleştirmek. Küçük bir ekip de kampanya satışını ek satıştan ayırmak için daha dikkatli kayıt tutabilir. Ancak doğru ölçüm için gereken uzmanlık varsa ilgili kişiyi sürece dahil etmek önemlidir.
Bugün son kampanya raporunuza bakıp toplam satışın yanında karşılaştırma ve maliyet bilgisinin olup olmadığını kontrol edebilirsiniz. Analiz ve karar anlatımınızı iş örnekleriyle geliştirmek için kariyer gelişim kursunun programını inceleyebilirsiniz.
Sık sorulan sorular
Uplift modelleme neyi tahmin etmeye çalışır?
Bir teklif veya uygulamanın yaratacağı ek farkı anlamaya çalışır. Satın alma olasılığı yüksek olan kişiyle teklif nedeniyle davranışı değişecek kişi aynı olmayabilir. Yöntemin değerlendirilmesi uygun karşılaştırma ve veri gerektirir; sonuç kendiliğinden doğru sayılmaz.
Bu makale Booking.com’un bugünkü bütün indirimlerini açıklıyor mu?
Hayır. Yazı 2020 araştırmasının belirli yaklaşımını inceliyor. Güncel tüm sistemler hakkında sonuç çıkarmıyoruz. Araştırma dönemini ve kullanılan değerlendirme kapsamını korumak, eski teknik uygulamayı bugüne yanlış taşımayı önler.
Küçük ekip bu fikirden yararlanabilir mi?
Evet, önce doğru soruyu sorarak. Teklif sonrası satışla ek etkiyi ayırın; maliyet ve karşılaştırma ihtiyacını yazın. Karmaşık model kurmadan önce kayıt düzenini iyileştirmek faydalı olabilir. Eksik veriden kesin neden üretmeyin.
Kampanya sonucunu yöneticiye nasıl anlatmalıyım?
Sonuç, maliyet, karşılaştırma ve açık soruyu kısa biçimde ayırın. Karar günlüğü, teklif seçildiğinde hangi bilgiye dayanıldığını sonradan değerlendirmek için yardımcı olabilir. Beklentiyle gerçekleşeni aynı kayıtta karıştırmayın.
