Geçen yazılarımda mobil oyunlarda olmazsa olmaz özelliklerden bahsetmiştim ve bu özellikleri ‘yeni oyuncu kazanımı (new user aquisition), bağlılık (retention) ve gelir yaratma (monetization)’ başlıkları altında toplamıştım. Bu yazılarımın hepsinde değinmeye çalıştığım ortak konu ise bu özelliklerin ‘test’ ve ‘optimize’ edilmesiydi.

Mobil oyunlarda (özellikle free to play iş modelini uygulayan oyunlarda) optimizasyon çok ama çok önemli. Bunun en büyük sebebi ise mobil oyun sektöründe her geçen gün artan rekabet seviyesi. 2012 yılında EA’de mobil oyunlar ürün yöneticisi olarak işe başladığımda açıkçası free to play mobil oyun sektöründe çok fazla rekabet yoktu. Rekabet çok fazla olmadığı için ürün yöneticilerinin günlük yaşantısında yaptıkları şeyler aşağıdaki gibiydi;

1. Yeni ürün özellikleriyle (game features) ilgili dizayn dökümanları yazmak.
2. Yazdıkları ürün özelliklerinin oyuna doğru bir şekilde eklendiğinden emin olmak.
3. Oyuna eklenen ürün özelliklerinin oyun metriklerini ne yönde ve nasıl değiştirdiğini gözlemlemek.

Rekabetin artmasıyla birlikte oyun yöneticileri daha fazla dizayn dökümanları yazmak zorunda kalmaya başladı çünkü rekabet, daha fazla oyun özellikleriyle oyuncularından daha fazla para kazanmaya başlıyordu. Tabii bu durum bir yere kadar devam edebilirdi çünkü oyuna ekleyeceğiniz özellikler ciddi büyüklüklerde ‘mühendis takımlarına’ sahip olmanızı gerektiriyordu. Takımların büyümeye başlamasıyla da verimlilik düşmeye ve maliyetler artmaya başladı. Bunun sonucunda ürün yöneticileri strateji değiştirmek zorunda kaldı. Değişen stratejiye göre oyuna yeni oyun özelliklerinin eklemesinin yanında aynı zamanda oyunda var olan oyun özelliklerinin maksimum fayda sağlamasına da önem verilmeye başlandı. Bu durumu aslında ‘süreç optimizasyonuna verilen önemin artması‘ olarak da tanımlayabiliriz.

Kanımca günümüzde mobil oyun ürün yöneticilerini diğer yönetici tiplerinden ayıran en büyük fark mobil oyun ürün yöneticilerinin süreçleri anlamlı küçük parçalara ayırarak her bir süreci optimize etmelerini sağlayacak aksiyon planları geliştirebilmeleri. Zaten şu ana kadar gördüğüm kadarıyla süreçte yer alan adımları optimize edemeyen ürün yöneticileri veya oyun firmaları oyun metriklerini ne yazık ki bir sonraki seviyeye çıkartamıyor.

Ürün yöneticileri oyunlarına ekledikleri yeni oyun özelliklerini genelde yeni oyuncu kazanımı, bağlılık ve gelir yaratma metriklerinin daha yüksek seviyelere çıkması için eklerler. Bu özellikleri eklerken de %80 ihtimalle bazı kararların verilmesi aşamasında ikileme düşerler. Bu durumu basit bir örnekle açıklamaya çalışayım (anlatımı kolay olması açısından daha kompleks bir örnek vermek istemedim);

• Örnek : Oyuna yeni başlayan oyuncuların oyunla ilgilili temel unsurları öğrenmesi amacıyla eklenen eğitim süreci (tutorial) kısa mı olmalı yoksa uzun mu olmalı ?
  • Kısa olması durumunda :
    • Avantaj :  Oyuncular oyuna bir an evvel başlayabilecek.
    • Dezavantaj : Oyunun önemli unsurlarını oyunun başında tam olarak anlatamayacağım için oyuncular tutorial sonunda ne yapacaklarını tam olarak bilemeyecek ve bağlılıkları (retention) olumsuz bir şekilde etkilenecek.
  • Uzun olması durumunda:
    • Avantaj : Oyuncular oyunla ilgili temel unsurları çok iyi bir şekilde öğrenecek ve oyundan daha fazla zevk alacaklar. Bu durum da bağlılık (retention) metriklerimi olumlu yönde etkileyecek.
    • Dezavantaj : Oyuncular uzun tutorial yüzünden daha oyunun başında oyunu bırakacak.

Bu sorunun cevabıyla ilgili ürün yöneticilerinin deneyimlerine ve rekabete bakarak tabii ki bir fikri olacaktır fakat bu fikrin hakikaten ‘en iyi cevap’ mı olduğu noktası kesin değildir. Oyunun tamamını bir süreç (funnel) olarak düşünürsek daha ilk adımdan (tutorial süreci) itibaren oyuncuların büyük bir bölümünü kaybetmek istemeyiz. Bu soruya verilebilecek ‘en iyi’ cevabı bulmak isteyen ürün yöneticileri A/B test yöntemini seçeceklerdir.

Yukarıdaki örnekten çıkarak oyunumuzda aşağıdaki gibi bir durumun olduğunu varsayalım;

D1 retention %35 seviyelerinde ve rekabete göre D1 retention’ımız çok düşük.

Her A/B test planı bir hipotezle başlar. Yukarıda belirttiğim durumdan yola çıkarak hipotezimizi şöyle yazabiliriz;

Tutorial’ın uzun olması oyunun D1 retention’ını olumsuz olarak etkilemektedir.

Hipotezimizin doğru olup olmadığını ise test etmemiz gerekli. Bunun için oyuncularımı 3 farklı gruba ayırıyorum;

• Test Grubu #1 : 
  • Oynayacakları Tutorial Uzunluğu : 2 dakika
  • Grup 1’e dahil olacak oyuncu oranı : %10
• Test Grubu #2 :
  • Oynayacakları Tutorial Uzunluğu : 5 dakika
  • Grup 2’ye dahil olacak oyuncu oranı : %10
• Kontrol Grubu (oyunda var olan – mevcut- tutorial’ı oynayacak oyuncu grubu)
  • Oynayacakları Tutorial Uzunluğu : 7 dakika
  • Grup 2’ye dahil olacak oyuncu oranı : %80

Bu gruplara dahil olan yeni oyuncuların retention oranlarını yaklaşık 1 hafta süreyle takip ediyor ve karşılaştırıyorum. 1 hafta sonunda karşıma aşağıdaki gibi bir tablo çıkıyor;

• Grup #1 D1 Retention : %44
• Grup #2 D1 Retention : %40
• Kontrol Grubu D1 Retention : %35

Sonuçlardan gördüğümüz kadarıyla hipotezimiz doğru. Tutorial süremizin uzun olması D1 retention değerlerimizi olumsuz yönde etkiliyor. Bu sonucun arından A/B test dizaynımızda bundan sonra oyunumuzu oynamaya başlayan her oyuncunun 2 dakikalık tutorial’ı görmesini sağlacak şekilde 1 numaralı gruba dahil olacak oyuncu sayısını %100’e çıkartıp diğer grupları %0’a indiriyoruz.

2 Önemli Not

Not #1 : Genelde gruplar arasında elde edilen sonuçlarda ciddi bir fark görüldüğünde A/B Test çalışması ‘statistical significance‘ sonuçlarına bakılmadan uygulanır. Zynga’da ise her A/B test sonucunda mutlaka ‘statistical significance’ değerlerine bakılırdı. Çünkü elde ettiğiniz değerlerin o gruba dahil olan kısmın çoğunluğu tarafından mı yoksa sadece belirili bir kısım tarafından mı elde edildiği bakılması gereken önemli bir noktadır. Örnek olarak oyunda kullanılan ‘premium currency’ (gerçek para ile satın alınan para birimi) fıyatlarının belirlenmesinde 2 farklı fiyat noktası seçilebilir. Gruplardan biri düşük fiyat görürken diğeri daha yüksek bir fiyat görebilir. Daha yüksek fiyat gören grubun daha fazla gelir üretiyor olması o gruptaki herkesin yüksek fiyatları tercih ediyor olması anlamına gelmeyebilir. Belki o grupta yer alan sadece 2 kişi (whale oyuncular) o grubun daha yüksek gelir yaratmasını sağlıyor olabilir. Bu durumda premium currency daha yüksek fiyatlandırılmalıdır gibi bir sonuç yanlış olacaktır.

Not #2 : Yukarıda belirttiğim ‘tutorial’ örneğinde ürün yöneticisi olarak problemi anlayabilmek için tek çözüm A/B test değildir. Yazımın başında bahsettiğim gibi ürün yöneticileri süreçleri anlamlı parçalara ayırarak aksiyon planı çıkartabilen kişilerdir. Ürün yöneticisinin tutorial’daki her bir adım ile ilgili datayı takip ediyor olması oyuncuların tutorial süresince hangi adımda oyunu oynamayı bıraktıklarını çok net bir şekilde gösterebilir. Başka bir ifadeyle tutorial’ın son adımlarında ciddi bir tamamlanma düşüşü gözleniyorsa bu büyük bir ihtimalle tutorial’ın uzunluğundan sıkılan oyuncuların oyunu bırakmasından kaynaklanıyordur.

Mobil Oyun Ürün Yöneticileri genelde neleri test etmelidir ?

Bu liste çok kolay bir şekilde uzatılabilir fakat aşağıda elimden geldiğince önemli olanlarına yer vermeye çalıştım;

• Oyuncuların oyuna başladıkları anda ellerinde bulunan premium currency miktarının test edilmesi : Bu miktarın az olması durumunda geliri arttırma ihtimaliniz daha yüksek olacaktır fakat retention’ınız düşük olabilir. Oyuncuları gruplara ayırarak bu oyuncuların retention ve monetization metriklerini gözlemleyerek optimum premium currency miktarını belirleyebilirsiniz.
• Store (market) dizaynının test edilmesi :
  • Satın al butonunun büyklük, renk ve yerleşim yeri olarak test edilmesi.
  • Markette yer alan ürünlerin pahalıdan ucuza veya ucuzdan pahalıya göre dizilerek hangi dizilişin daha fazla gelir yarattığını görmek.

• Fiyatlandırma Testi : Oyunda yer alan önemli oyun içi nesnelerinin, paketlerin
• farklı fiyat noktalarıyla test edilmesi.
  • Son zamanlarda bu tip fiyatlandırma testlerini yaparken çok dikkatli olmak gerekli. Oyun için iletişim tekniklerinin (chat vb.) artmasıyla birlikte oyuncular oyun-içi nesnelerin ve paketlerin fiyatlarını birbirleriyle paylaşarak satın almaya değip değmeyeceğini sıklıkla tartışmaya başladılar. Farklı fiyatlar gören oyuncular ise neden aynı faydayı daha farklı fiyatlara satın aldıklarını forum, App Store reviews gibi yerlerde çok negatif bir şekilde dile getirebiliyorlar.
• App Review testi : Oyunculara oyununuzu App Store / Google Play’de ne zaman review etmelerini istemeniz gerektiğini test edebilirsiniz. Örnek; Level atladıktan sonra mı yoksa ilk PvP (Player vs. Player) galibiyetini aldıktan sonra mı ?
• Push Notification testi : Oyunculara günlük bazda gönderdiğiniz Push Notification sayılarını optimize etmek için A/B testinden faydalanabilirsiniz.
• Oyun Zorluk Testi : Genelde oyuncular ne kadar hızlı level atlarlarsa o kadar mutlu olurlar fakat level’ları hızlı bir şekilde atlıyor olmaları demek oyundan elde edeceğiniz gelirlerin de düşük olması anlamına gelebilir. Çünkü genelde hızlı ve kolay bir şekilde level atlayan oyuncular para ödemeye eğilimli değillerdir. Oyun zorluk ve monetization dengesini kurmak için A/B test yöntemi kullanılabilir.

Peki A/B Test yapabilmek için hangi araçlar kullanılabilir ?

A/B Test alt yapısını geliştirmek kolay bir iş değil. Bu alt yapı maliyetinin kısa vadede ROI pozitif olmasını beklemek doğru bir beklenti olmayacaktır. Genelde bu yatırımları yapan firmalar (örnek; Zynga) yatırımın orta ve uzun vadede ROI pozitif bir yatırım olacağını bilirler. Örnek olarak Zynga’daki A/B test alt yapısını gördüğümde ağzım açık kalmıştı diyebilirim. Sadece A/B değil neredeyse alfabenin sonuna kadar gidebilen bir test platformu yaratılmıştı şirket içerisinde. Aynı zamanda A/B testlerden çıkan sonuçların sistem tarafından otomatik olarak bir çok metrik açısından karşılaştırılması ve ürün yöneticilerine bir özet halinde sunulması hayatımızı çok ama çok kolaylaştırmıştı.

Günün sonunda A/B Test kurgularını sadece çok parası olan şirketler yapmıyor. Şu anda bir çok firma oyun geliştiricilerinin bu ihtiyaçlarını çok basit entegrasyonlar ve düşük maliyetlere saglayabiliyor. Bu konuda benim tavsiye edebileceğim firmaların başında Swrve geliyor. Swrve ile birlikte oyununuzda neredeyse her şeyin A/B testini yapabiliyor ve sonuçları son derece okunması kolay grafiklerde karşılaştırabiliyorsunuz.