Mobil Oyunlarda A/B Test Nedir ? Neleri test etmeli ? Örneklerle açıkladım.

Geçen yazılarımda mobil oyunlarda olmazsa olmaz özelliklerden bahsetmiştim ve bu özellikleri ‘yeni oyuncu kazanımı (new user aquisition), bağlılık (retention) ve gelir yaratma (monetization)’ başlıkları altında toplamıştım. Bu yazılarımın hepsinde değinmeye çalıştığım ortak konu ise bu özelliklerin ‘test’ ve ‘optimize’ edilmesiydi.

AB_TEST

Mobil oyunlarda (özellikle free to play iş modelini uygulayan oyunlarda) optimizasyon çok ama çok önemli. Bunun en büyük sebebi ise mobil oyun sektöründe her geçen gün artan rekabet seviyesi. 2012 yılında EA’de mobil oyunlar ürün yöneticisi olarak işe başladığımda açıkçası free to play mobil oyun sektöründe çok fazla rekabet yoktu. Rekabet çok fazla olmadığı için ürün yöneticilerinin günlük yaşantısında yaptıkları şeyler aşağıdaki gibiydi;

  1. Yeni ürün özellikleriyle (game features) ilgili dizayn dökümanları yazmak.
  2. Yazdıkları ürün özelliklerinin oyuna doğru bir şekilde eklendiğinden emin olmak.
  3. Oyuna eklenen ürün özelliklerinin oyun metriklerini ne yönde ve nasıl değiştirdiğini gözlemlemek.

Rekabetin artmasıyla birlikte oyun yöneticileri daha fazla dizayn dökümanları yazmak zorunda kalmaya başladı çünkü rekabet, daha fazla oyun özellikleriyle oyuncularından daha fazla para kazanmaya başlıyordu. Tabii bu durum bir yere kadar devam edebilirdi çünkü oyuna ekleyeceğiniz özellikler ciddi büyüklüklerde ‘mühendis takımlarına’ sahip olmanızı gerektiriyordu. Takımların büyümeye başlamasıyla da verimlilik düşmeye ve maliyetler artmaya başladı. Bunun sonucunda ürün yöneticileri strateji değiştirmek zorunda kaldı. Değişen stratejiye göre oyuna yeni oyun özelliklerinin eklemesinin yanında aynı zamanda oyunda var olan oyun özelliklerinin maksimum fayda sağlamasına da önem verilmeye başlandı. Bu durumu aslında ‘süreç optimizasyonuna verilen önemin artması‘ olarak da tanımlayabiliriz.

Kanımca günümüzde mobil oyun ürün yöneticilerini diğer yönetici tiplerinden ayıran en büyük fark mobil oyun ürün yöneticilerinin süreçleri anlamlı küçük parçalara ayırarak her bir süreci optimize etmelerini sağlayacak aksiyon planları geliştirebilmeleri. Zaten şu ana kadar gördüğüm kadarıyla süreçte yer alan adımları optimize edemeyen ürün yöneticileri veya oyun firmaları oyun metriklerini ne yazık ki bir sonraki seviyeye çıkartamıyor.

Ürün yöneticileri oyunlarına ekledikleri yeni oyun özelliklerini genelde yeni oyuncu kazanımı, bağlılık ve gelir yaratma metriklerinin daha yüksek seviyelere çıkması için eklerler. Bu özellikleri eklerken de %80 ihtimalle bazı kararların verilmesi aşamasında ikileme düşerler. Bu durumu basit bir örnekle açıklamaya çalışayım (anlatımı kolay olması açısından daha kompleks bir örnek vermek istemedim);

Okumaya devam et “Mobil Oyunlarda A/B Test Nedir ? Neleri test etmeli ? Örneklerle açıkladım.”

Mobil Oyunlarda A/B Test Nedir ? Neleri test etmeli ? Örneklerle açıkladım.

MOBİL OYUNLARDA OLMAZSA OLMAZ ÖZELLİKLER–RETENTION

Bir önceki yazımda mobil oyunlarda olmazsa olmaz yeni kullanıcı kazanımı odaklı özelliklerden bahsetmiştim. Bu yazımda ise mobil oyunlarda olmazsa olmaz retention (bağlılık) odaklı özelliklerden bahsedeceğim.

MVP Retention

Zaman Limitli Yeni Oyuncu Paketleri

Bu özelliği ne kadar doğru bir şekilde Türkçeye çevirebildim bilmiyorum ama İngilizce’de bu özellik ‘Time Limited Bundles for New Players‘ olarak anılır. Bu paketler genelde oyununuzu yeni oynamaya başlamış oyuncuların belirli bir zaman süresince görebilecekleri indirimli paketlerdir. Bu özellik aynı zamanda gelir yaratma adına geliştirilebilecek bir özellik olarak görülebilir fakat buradaki asıl amaç oyuncuların oyuna para harcamalarını sağlayıp zamanlarını satın almaktır.

Bu tekliflerin genel karakteristikleri;

  • Oyunu oynamaya başladıktan ilk 72 saat (3 gün) süresince geçerli olur. Bu süre dolduktan sonra oyuncular bu tekliflere tekrar ulaşamazlar.
  • Sadece bir defa satın alınabilir : Bu teklifler satın alındıktan sonra kaybolur yani başka bir ifadeyle oyuncular tekrar bu teklifi satın alamazlar.
  • Normal fiyata göre %80 ve üzeri indirimle satışa sunulur. Yukarıda bahsettiğim gibi burada amaç oyunculardan para almaktan ziyade, oyuncuların bağlılığını satın almaktır.
  • Teklifler gerçek para ile fiyatlandırılır. Başka bir ifadeyle paketin fiyatı 100 Altın, Elmas vb. para birimleriyle değil Dolar, Euro, TL gibi para birimleriyle fiyatlandırılır. Fiyatlandırmanın gerçek para birimiyle yapılmasındaki amaç oyuna yeni başlayan oyuncuların kafasını karıştırmadan olabildiğince anlaşılır bir şekilde net olarak paketin değerini kullanıcıya anlatmaktır. Bu tip teklifler oyuna daha fazla para harcama eğiliminde olan oyunculardan daha az gelir üretmeye sebep olabilir ama bu tip oyuncuların sayısı çok az olduğundan oyun geliştiriciler genelde bu durumu göz ardı ederler.
  • A/B Test ile optimum maliyet / fayda noktası bulunur. Oyun geliştiriciler oyunlarını bir çok ülkede lanse etmeden önce sadece bir kaç tane ülkede lanse ederek oyunlarındaki son düzeltmeleri yaparlar. Bu aşamada ‘zaman limitli oyuncu paketleri’ de sürekli olarak fiyat ve içerik olarak A/B test ile denenir.
    • Paket A Fiyatı : 1.99 USD
      • Paket A İçeriği : 1000 Altın + 1 X Silah
    • Paket B Fiyatı : 1.99 USD
      • Paket B İçeriği : 5000 Altın + 1 X Silah
    • Bu paketlerin fiyatları aynı olmasına rağmen içerikleri farklıdır. Ürün yöneticileri Paket B’nin oyuncuları daha iyi retain edeceğinden emindirler çünkü teklif daha cazip bir teklif. Fakat diğer pakete göre ‘ne kadar fazla‘ retain edeceği soru işaretidir. İşte bu noktada ürün yöneticileri çeşitli analizlerle her iki paketi gören oyuncuların retention’larını karşılaştırır. Arada çok ciddi bir fark varsa Paket B denenebilir. Arada ciddi bir fark yoksa daha fazla içeriği daha ucuza vermemek için Paket A tercih edilebilir.

Push Notifications

Geçmişte Facebook üzerinden oynanan web oyunlarında kullanıcıları oyuna geri çekebilmek kolaydı.

Okumaya devam et “MOBİL OYUNLARDA OLMAZSA OLMAZ ÖZELLİKLER–RETENTION”

MOBİL OYUNLARDA OLMAZSA OLMAZ ÖZELLİKLER–RETENTION

Zynga, Pekin ofisini bugün itibariyle kapattı. Peki neden ?

Bloğumdaki ilk yazım olan ‘ben kimim‘ bölümünde belirttiğim gibi bundan 3 ay öncesine kadar Zynga’nın Pekin ofisinde çalışıyordum. Daha sonra Zynga’dan ayrılıp Çin’in en büyük oyun şirketlerinden biri olan Perfect World’e geçiş yaptım. Zynga’dan ayrılma kararını vermek kolay olmamıştı ama şirketin hem globalde hem de Pekin’deki durumunu düşününce ayrılma kararını vermek daha doğru bir karar gibi duruyordu. Aynı zamanda Çinli şirketlerin oyun sektöründe Çin içerisinde elde ettikleri büyük başarıları globale taşıma isteklerinin olması ve bu isteklerinde çok agresif ve büyük bütçelerle çalışmak istemeleri de beni Perfect World’e çeken etkenler arasındaydı.

Bugün (12 Şubat 2015) Zynga 2014 yılı 4. çeyrek sonuçlarını açıkladı. Şu anki CEO Don Mattrick, finansal tablolarla birlikte Pekin ofisini kapatma kararı aldıklarını da açıkladı. Zynga Pekin ofisinde yaklaşık 71 kişi çalışıyordu. Ofisin kapatılacağını Zynga Pekin ofisinde çalışan arkadaşlarımdan daha 1 hafta öncesinde öğrenmiştim ve bugün itibariyle de herkes öğrenmiş oldu.

Peki Zynga Pekin ofisi neden kapatıldı ?

Bu sorunun cevabını vermek için çok fazla detaya giremeyeceğim çünkü şirket bilgilerini her ne kadar Zynga’dan ayrılmış olsam da sözleşmem gereği paylaşamıyorum. Fakat her ne kadar detaylı olmasa da ofisin kapatılmasıyla ilgili bir kaç tane sebebi paylaşmak istedim. Paylaşmamdaki amacım ise bir ofisin kapanmasına kadar giden süreçte yapılan yanlışları paylaşarak sektörde olan kişilerin biraz da olsa yaşanmışlıklardan ders çıkarmasına yardımcı olmak ve mümkünse aynı hataların yaşanmamasını sağlamak.

Okumaya devam et “Zynga, Pekin ofisini bugün itibariyle kapattı. Peki neden ?”

Zynga, Pekin ofisini bugün itibariyle kapattı. Peki neden ?

Mobil Oyunlarda Olmazsa Olmaz Özellikler – Yeni Kullanıcı Kazanımı

Bir önceki yazımda mobil oyunlarda MVP’nin (Minimum Viable Product) nasıl belirleneceğini örneklerle anlatmaya çalışmıştım. Özetle MVP’nin oyun türü, hedef kitle gibi kriterler doğrultusunda oyundan oyuna farklılık gösterebileceğini belirtmiştim.

MVP’nin bu kadar değişkenlik gösterdiği bu durumda akıllara şöyle bir soru gelebilir;

Bütün mobil oyunlarda olmazsa olmaz ortak özellikler neler ? Bu özellikleri görebileceğimiz bir liste yok mu ?

EA ve Zynga gibi büyük oyun şirketlerinde çalışan ürün yöneticileri sürekli olarak pazardaki diğer rakip oyunları takip eder. Bu oyunlarda ortak olan özellikleri not alır ve şirket içerisinde diğer ürün yöneticileri ile paylaşır. Bu bilgi birikimi ‘best practices’ adı altında ortak bir alanda tutulur ve ürün yöneticilerinin yeni çıkacak oyunları için hızlı bir şekilde ‘feature roadmap’ hazırlamasına yardımcı olur. Başka bir ifadeyle ürün yöneticileri her oyun için ‘feature roadmap’ hazırlamaya sıfırdan başlamazlar, diğer oyunlarda olan best practice’lerin üzerlerine bir şey koymaya zaman ayırırlar. Bu durum gerçekten de ürün yöneticilerinin zamanlarını daha inovatif, fark yaratmaya yönelik işler için kullanmasına yardımcı olur.

Ürün yöneticileri olmazsa olmaz diye anılan özellikleri 3 ana kategori altında toplarlar;

  1. Yeni Kullanıcı Kazanımı (User Acquisition)
  2. Bağlılık (Retention)
  3. Gelir Yaratma (Monetization)

Mobil Oyun Yeni Kullanıcı

Bu yazımda sadece ‘yeni kullanıcı kazanımı‘ ile ilgili olmazsa olmaz özelliklere yer vereceğim. Bir sonraki yazımda önce ‘retention’ bazlı özelliklere daha sonra da ‘monetization’ bazlı özelliklere yer vereceğim.

Yeni Kullanıcı Kazanımı (User Acquisition)

Günümüzde mobil ortamda yeni kullanıcı kazanmak hem çok zor hem de çok maliyetli. Bu sebeple oyununuzun yeni kullanıcı kazanamıyla ilgili temel özelliklere sahip olması maliyetlerinizi düşürmenizde ciddi bir önem taşır. Peki nedir bu özellikler ?

Okumaya devam et “Mobil Oyunlarda Olmazsa Olmaz Özellikler – Yeni Kullanıcı Kazanımı”

Mobil Oyunlarda Olmazsa Olmaz Özellikler – Yeni Kullanıcı Kazanımı

Mobil Oyunlar: MVP (MINIMUM VIABLE PRODUCT) nedir ? Zynga’da MVP’yi nasıl belirliyorduk ?

Özellikle Free to Play (oyunu indirmenin ve oynamanın bedava olduğu fakat oyunda fark yaratmak isteyenlerin küçük miktarlarda para harcadığı) oyun modelinde artan rekabetle birlikte oyuncuların oyununuzdan beklentisi de çok hızlı bir şekilde yükseliyor. Bundan 2 yıl önce Facebook üzerindeki oyunlarda arkadaşınıza göndereceğiniz ‘hediyeler’ arkadaşlarınızla iletişim kurabilmeniz için yeterli bir özellik iken şu anda oyuncularına real-time chat (eş zamanlı chat) sunamayan oyunlar ne yazık ki rekabete karşı oyuna 1-0 geride başlıyor.

En basit tanımıyla MVP (Minimum Viable Product), lansman aşamasında beklentileri karşılayacak temel özelliklerin tümüne sahip olan üründür. Peki kaynakların sınırlı olduğu bir ortamda MVP’yi (Minimum Viable Product) nasıl belirleyebiliriz ?

MVP

MVP’yi etkileyen faktörleri genel olarak aşağıdaki gibi sıralayabiliriz;

Oyun Türü

Daha önceki yazımda belirttiğim gibi yeni bir oyun geliştirme kararı verilmeden önce pazardaki açıkların ve fırsatların iyi bir şekilde incelenmesi gerekir. Bu aşamada genel olarak nasıl bir oyun türü seçeceğinizin kararını da vermiş olursunuz.

Bazı genel oyun türlerini ve alanında başarılı olmuş oyunları aşağıda listeledim;

Okumaya devam et “Mobil Oyunlar: MVP (MINIMUM VIABLE PRODUCT) nedir ? Zynga’da MVP’yi nasıl belirliyorduk ?”

Mobil Oyunlar: MVP (MINIMUM VIABLE PRODUCT) nedir ? Zynga’da MVP’yi nasıl belirliyorduk ?

MOBİL OYUNLAR : ÜRÜN YÖNETİCİLERİNİN EN ÇOK DİKKAT ETMESİ GEREKEN 8 METRİK

EA ve Zynga’da ürün yöneticisi adaylarına mülakatlarda sorulan sorulardan bir tanesi ürün yöneticilerinin günlük yaşantılarında ofise geldikleri andan itibaren neler yaptıklarının sorulmasıdır. Bu soruya; ‘sabah ofise ilk geldiğimde oyunumun bir önceki güne ait temel metriklerine bakarak yolunda gitmeyen ya da beklentilerin dışında gerçekleşen bir şey var mı diye bakarım’ diyen ürün yöneticisi 10 üzerinden 8 puan alır. Bu soruya; ‘Daha ofise gelmeden cep telefonuma e-mail olarak gelen temel oyun metriklerine bakar, beklentilerin dışında gerçekleşen bir şeyler olursa not alır, ofise geldiğimde bu durumun sebebini araştırmak için data analizi yaparım’ diyen ürün yöneticisi adayı 10 üzerinden 10 puan alır. Çünkü bu ürün yöneticisi bilir ki yaptığımız iş ofis saatleriyle sınırlı değildir.

Ürün yöneticilerinin en çok dikkat etmesi gereken 8 metrikle ilgili detaylara geçmeden önce ürün yöneticilerinin neden bu metriklere ihtiyaç duyduğunu kısaca anlatmak istedim.

OYUN SEKTÖRÜNDE ÜRÜN YÖNETİCİLERİ NEDEN ÜRÜNLE İLGİLİ ÖNEMLİ METRİKLERİ HER GÜN TAKİP ETMEK ZORUNDA ?

Yaklaşık 3 yıl öncesine baktığımızda mobil oyunlarda genel kabul görmüş iş modeli ‘premium‘ oyunlar üzerine kuruluydu. Bu modele göre oyunları App Store vb. marketlerden indirebilmeniz ve oynayabilmeniz için çok küçük de olsa bir bedel ödemeniz gerekiyordu. Bu modelin dezavantajı potansiyel oyuncu sayınızın çok ciddi bir şekilde olumsuz olarak etkileniyor olmasıydı. Avantajlı yanı ise oyununuzu indiren ve oynayan herkesten az da olsa bir bedel tahsil etmiş oluyordunuz.

BusinessModels2

Premium iş modelinde oyun geliştiriciler daha oyuncular oyunu oynamaya başlamadan oyuncuların %100’ünden bir şekilde gelir elde edebiliyorlardı. Bu durum da oyun geliştiricilerin oyunla ilgili daha fazla geliştirme yapmaları veya oyuncu deneyimini daha yüksek seviyelere çıkarmaları adına yeterli motivasyonu sağlamıyordu. Oyun geliştiriciler mevcut oyuna geliştirmeler yapmaktansa yeni bir oyun geliştirme eğiliminde oluyorlardı çünkü oyunculardan tekrar gelir elde edebilmenin yegane yolu premium iş modelinde farklı bir oyunu oyuncuların beğenesine sunmaktı.

Peki dünyanın her yerinde ‘premium iş modeli’ genel kabul görmüş iş modeli miydi ? Hayır. Bu model sadece dünyanın batısında (Amerika, Avrupa vb.) ülkelerde uygulanıyordu. Dünyanın diğer ucunda yani Uzakdoğu’da (Çin, Güney Kore vb.) oyun geliştiriciler çoktan ‘free to play’ iş modeline geçmişlerdi bile. Bu modele göre oyuncular oyunları ‘ücretsiz’ bir şekilde indirebiliyor ve oynayabiliyorlardı. Oyuncular, diğer oyunculara karşı fark yaratmak veya onlardan daha hızlı bir şekilde daha iyi olabilmek için küçük miktarlarda para harcayarak oyun geliştiricilerin para kazanmasını sağlıyorlardı. Bu sebeple free to play oyun modelinde oyun geliştiriciler için her şey premium modelin tam aksine oyuncuların oyunu indirmesinden sonra başlıyor. Yani başka bir ifadeyle oyun geliştiricilerin oyuncularına daha iyi bir oyun deneyimini yaşatma konusunda çok ciddi bir motivasyonları var. Çünkü daha iyi bir oyun deneyimi sunamayan oyun geliştiriciler oyunculardan para kazanamayacak ve çok kısa bir süre içerisinde de kapılarına kilit vurmak zorunda kalacaklar.

Peki oyuncuların daha iyi bir oyun deneyimine sahip olmalarını kim sağlayacak ? Tabii ki ‘ürün yöneticileri’ sağlayacak. Nasıl sağlayacak ? Oyunla ilgili en önemli metrikleri her gün gözlemleyerek.

ÜRÜN YÖNETİCİLERİNİN HER GÜN TAKİP ETMESİ GEREKEN EN ÖNEMLİ 8 METRİK

Bu metrikler öncelik sırasına göre aşağıdaki gibi sıralanabilir (duruma göre bu metriklerin öncelik sırası değişebilir) – (bazı metriklerin Türkçesini bulmakta zorlandığım için bu metriklerin İngilizce adlarını kullanmak zorunda kaldım);

Top 8 Metrik

RETENTION (Bağlılık)

‘Retention’ kelimesini Türkçe olarak ‘bağlılık’ diye çevirdim ama tam anlamıyla ne kadar doğru oldu çok emin değilim. Bana göre ‘retention’ oyun dünyasındaki en önemli metrik. ‘Retention’, oyununuzu bugün oynamaya başlayan kullanıcıların % kaçının daha sonraki günlerde de oynamaya devam ettiğini gösteren bir metriktir. Oyun sektöründe genelde ‘retention’ metriği ‘D1,D7,D14,D30 retention’ şeklinde söylenir.

Okumaya devam et “MOBİL OYUNLAR : ÜRÜN YÖNETİCİLERİNİN EN ÇOK DİKKAT ETMESİ GEREKEN 8 METRİK”

MOBİL OYUNLAR : ÜRÜN YÖNETİCİLERİNİN EN ÇOK DİKKAT ETMESİ GEREKEN 8 METRİK

MOBİL OYUNLAR : FİKİR AŞAMASINDAN LANSMANA KADAR GEÇEN SÜREÇ VE ÜRÜN YÖNETİCİLERİNİN ÖNEMİ

Çevremdekilere oyun sektöründe çalıştığımı söylediğimde bana genelde aşağıdaki sorular sorulur (sorulma sıklığına göre sıralama yaptım);

  1. Bu oyun fikirleri kimin aklına geliyor, oyunlar nasıl piyasaya çıkıyor ?
  2. Bu işte çok para var mı ?
  3. Bu oyunları kim oynuyor ?

Bu yazımda ilk sorunun üzerinde duracağım. Diğer soruların cevaplarını ilerleyen yazılarımda vereceğim.

SÜREÇ NASIL İŞLİYOR ?

Eminim ki ‘yeni oyun’ geliştirme süreçleri şirketten şirkete farklılık gösterecektir ama benim EA ve Zynga’da gördüğüm kadarıyla (4 tane oyunu fikir aşamasından başlayarak lanse etmiş bir ürün yöneticisi olarak) süreç aşağıdaki gibi işliyor;

Ürün Lansman Süreci

  1. Oyun fikrinin ortaya atılması
  2. Fikrin ne kadarlık bir ticari başarı getirebileceğinin araştırılması
  3. Oyunla ilgili başarı kriterinin belirlenmesi (Winning Aspiration)
  4. Onay Sunumu (bir sonraki aşamaya geçebilmek için belirli kişilerin onayını almak)
  5. Oyunun prototip versiyonun hazırlanması.
  6. Potansiyel oyunculardan geril bildirim alınması (pazar araştırması, fokus gruplar, anketler vb…) ve oyuncu ihtiyaçlarına göre ürün yol haritasının (roadmap) çıkartılması.
  7. Başarıya ulaşmak için izlenecek pazarlama stratejisinin belirlenmesi
  8. Onay Sunumu
  9. Geliştirme takımının kurularak ürün geliştirme sürecinin başlaması.
  10. Onay Sunumu
  11. Pazara  giriş / Lansman

Tabii ki bu maddelerin arasında ortaya çıkan daha detaylı süreçler de var ama şimdilik fazla detaya girmeyeceğim.

OYUN FİKRİNİN ORTAYA ATILMASI

Aslında oyun fikri şirket çalışanlarının hepsinden gelebilir. Oyun fikri sadece ürün yöneticileri, oyun tasarımcıları veya Executive Producer’lardan gelebilir gibi bir kural yok. Fikre değer veren şirketler genelde bu fikirlerin hepsini belirli bir havuzda toplarlar. Bu fikirler her ay belirli kişiler tarafından değerlendirilerek fikir sahipleriyle iletişime geçilir ve beğenilen fikirlerlerle ilgili daha detaylı bilgi istenir. Peki oyun fikirlerinin % kaçı bu yöntemle çıkmıştır ? Gördüğüm kadarıyla çok açıkça söyleyebilirim ki oyun fikirlerinin %5’i bu şekilde çıkmıştır.

Peki oyun fikirlerinin geriye kalan %95’i nasıl ortaya çıkıyor ? Bu durum genelde 2 şekilde ortaya çıkıyor;

Okumaya devam et “MOBİL OYUNLAR : FİKİR AŞAMASINDAN LANSMANA KADAR GEÇEN SÜREÇ VE ÜRÜN YÖNETİCİLERİNİN ÖNEMİ”

MOBİL OYUNLAR : FİKİR AŞAMASINDAN LANSMANA KADAR GEÇEN SÜREÇ VE ÜRÜN YÖNETİCİLERİNİN ÖNEMİ