Bir İnsan Kaç Anket Doldurursa Artık “Gerçek Katılımcı” Değildir?

Online araştırmalarda çok sık ankete katılmak fraud anlamına gelir mi? Profesyonel katılımcılar, botlar, AI ve survey fraud arasındaki giderek bulanıklaşan sınırı inceliyoruz.

Online araştırmalarda veri kalitesi tartışması uzun süredir botlar, sahte profiller, VPN kullanımı, duplicate katılımcılar ve son dönemde yapay zekâ tarafından üretilen cevaplar etrafında dönüyor.

Fakat sektörün önünde daha zor bir soru var:

Bir katılımcının gerçekten insan olduğunu biliyorsak, verdiği cevapların da gerçek olduğunu varsayabilir miyiz?

Daha da önemlisi:

Bir insan günde onlarca, hatta yüzlerce ankete katılıyorsa onu hâlâ sıradan bir tüketici olarak değerlendirebilir miyiz?

Sebastian Berger tarafından yayımlanan The Ambiguity of Frequent Survey Participation: Is “Hyperactivity” a Signal of Professional Fraud? başlıklı analiz tam olarak bu gri alana dikkat çekiyor.

Ve ortaya çıkan tablo, online araştırma sektörünün alıştığı “gerçek insan / bot” ayrımından çok daha karmaşık.

Anketlerin önemli bölümünü çok küçük bir grup dolduruyor

Online paneller hakkında zihnimizde oldukça düzenli bir model var.

Bir kişi panele kaydolur. Zaman zaman profiline uygun bir araştırma daveti alır. Ankete katılır. Görüşlerini paylaşır. Teşvikini alır ve günlük hayatına devam eder.

Gerçek saha dünyası ise pek böyle çalışmıyor.

Greenbook yazısında aktarılan CASE4Quality çalışmasının bulgusu çarpıcı:

Cihazların yalnızca %3'ü, tüm tamamlanan anketlerin %19'unu üretiyor.

Daha da dikkat çekici olan, bu küçük grubun yaklaşık %40'ının günde 100'den fazla anket tamamlaması.

Bir insanın günde 100 araştırmaya katılması doğal olarak bazı soruları beraberinde getiriyor.

Bu kişiler gerçekten araştırmaya katılmayı seven son derece aktif tüketiciler mi?

Anketleri gelir kaynağına dönüştürmüş profesyonel katılımcılar mı?

Yoksa sistemin açıklarını kullanmayı öğrenmiş profesyonel fraud aktörleri mi?

Sorun şu ki yalnızca frekansa bakarak bunların hangisinin doğru olduğunu söylemek mümkün değil.

Çok anket doldurmak fraud değildir

Belki de tartışmanın en önemli noktası burada.

Yüksek katılım frekansı bir fraud kanıtı değil, risk sinyalidir.

Bir kişinin son 24 saat içinde 30 ankete katılmış olması kuşkusuz sıra dışıdır. Ancak bu bilgi tek başına kişinin sahtekâr olduğunu göstermez.

İnsanların zamanları, gelir seviyeleri, çalışma biçimleri ve ankete katılma motivasyonları farklı olabilir.

Evden çalışan biri, öğrenci, emekli veya boş zamanı fazla olan bir kişi çok sayıda ankete tamamen meşru biçimde katılabilir.

Fakat denklemin diğer tarafı da var.

Profesyonel survey fraud'un ekonomik olarak anlamlı hale gelebilmesi için yüksek hacim gerekiyor.

Greenbook yazısında verilen uç örneklerden birinde Venezuelalı bir fraud aktörünün ayda 3.000'den fazla ankete katıldığı aktarılıyor.

Dolayısıyla ilişkiyi şöyle kurmak daha doğru:

Her hyperactive respondent fraud değildir. Fakat profesyonel fraud büyük ölçüde hyperactivity gerektirir.

Bu küçük ayrım, araştırma kalitesi açısından oldukça önemli.

Belki de hyperactive respondent'ı sektörün kendisi yaratıyor

Burada tartışmayı biraz daha ileri götürmek gerekiyor.

Çünkü çok sık ankete katılan insanları yalnızca davranışları üzerinden değerlendirdiğimizde sistemin diğer tarafını görmezden geliyoruz.

Online sample giderek metalaştı.

Panel şirketleri arasında fiyat rekabeti arttı.

Katılımcılara verilen teşvikler birçok pazarda düşük kaldı.

Aynı zamanda anketler uzadı, screening süreçleri karmaşıklaştı ve katılımcılar bazen dakikalarca soru cevapladıktan sonra araştırmadan elenmeye başladı.

Üstelik routing sistemleri sayesinde bir araştırmaya uygun olmayan katılımcı hızla başka bir araştırmaya yönlendirilebiliyor. Birden fazla sample kaynağı ve panel aynı araştırmanın katılımcı ihtiyacını karşılamak için birleştirilebiliyor.

Ortaya ilginç bir ekonomik teşvik sistemi çıkıyor:

Ara sıra ankete katılmak ekonomik olarak pek anlamlı değil.

Para kazanmak isteyen katılımcının daha fazla ankete katılması gerekiyor.

Daha fazla ankete katıldıkça screening sistemlerini öğreniyor.

Hangi cevapların hangi araştırmalara kabul edilmesini sağlayacağını fark ediyor.

Hangi demografik profillerin daha değerli olduğunu keşfediyor.

Ve zaman içerisinde sıradan katılımcı ile professional respondent arasındaki sınır bulanıklaşmaya başlıyor.

Buradaki rahatsız edici soru şu:

Sektör kendi hyperactive respondent problemini kendisi yaratıyor olabilir mi?

Bir taraftan katılımcıyı mümkün olduğunca çok araştırmaya yönlendiren ekonomik bir sistem kurup diğer taraftan “Bu kişi neden bu kadar fazla ankete katılıyor?” diye şüphelenmek biraz tuhaf.

Profesyonel katılımcı ile profesyonel fraud aynı şey değil

Bu ayrımı özellikle korumamız gerekiyor.

Bir kişinin araştırma sistemini iyi tanıması onun mutlaka sahtekâr olduğu anlamına gelmez.

Ancak araştırmalara sürekli katılan insanlar zaman içinde ister istemez farklılaşır.

Soru kalıplarını tanırlar.

Screening mantığını öğrenirler.

Marka araştırmalarının yapısını bilirler.

Likert ölçeklerine alışırlar.

Attention check sorularını fark ederler.

Hangi soruların neyi ölçmeye çalıştığını daha kolay tahmin ederler.

Bu durumda kişi tamamen dürüst cevap verse bile başka bir metodolojik problem ortaya çıkar:

Bu kişinin araştırmaya verdiği tepki hâlâ sıradan tüketicinin tepkisiyle aynı mıdır?

Aslında mesele yalnızca fraud değildir.

Bir noktadan sonra professional respondent bias tartışmasına dönüşür.

Çünkü araştırma deneyiminin kendisi katılımcıyı değiştirmeye başlamıştır.

Fraud tespiti neden tek bir kurala bırakılamaz?

Greenbook makalesinin güçlü taraflarından biri fraud detection için tek bir sihirli filtre önermemesi.

Bunun yerine katmanlı bir yaklaşım savunuluyor.

Örneğin bir katılımcının:

• device fingerprint'i,
• geçmiş survey participation frekansı,
• attempt/completion oranı,
• kullandığı teknolojiler,
• panel profili,
• anketteki cevap tutarlılığı,
• açık uçlu cevapları,
• AI-generated content ihtimali,
• input ve davranış pattern'ları

birlikte değerlendirilebilir.

Tek tek bakıldığında bunların hiçbiri kesin fraud kanıtı olmayabilir.

Örneğin VPN kullanımı geçmişte güçlü bir risk göstergesiydi.

Bugün ise VPN'ler tarayıcılara ve tüketici güvenlik ürünlerine kadar girmiş durumda. Dolayısıyla “VPN kullanıyor = fraud” yaklaşımı artık güvenilir değil.

Benzer şekilde bir kişinin 24 saat içerisinde 30 survey tamamlaması şüpheli olabilir.

Ama tek başına yeterli değildir.

Fakat aynı kişinin 30 araştırmaya katıldığını, neredeyse bütün screener'lardan geçtiğini, cihazında otomasyon belirtileri bulunduğunu ve açık uçlu cevaplarında AI kullanımına ilişkin davranışsal işaretler görüldüğünü düşünelim.

Artık elimizde tek bir sinyal değil, bir risk profili vardır.

Modern fraud detection'ın gitmesi gereken yön de muhtemelen burası.

Kimlik doğrulamak problemi çözmeyebilir

İlk bakışta çözüm oldukça basit görünebilir:

Katılımcının gerçek insan olduğunu doğrulayalım.

Telefon doğrulaması yapalım.

Kimlik isteyelim.

Banka hesabını doğrulayalım.

Hatta yüz tanıma kullanalım.

Sorun şu ki bunlar identity verification sağlar; cevapların doğruluğunu garanti etmez.

Gerçek bir insan da araştırmada yalan söyleyebilir.

Dahası profesyonel fraud aktörleri synthetic identity, sanal telefon numaraları, deepfake görüntüler veya başkalarına ait hesaplarla bu sistemleri aşmaya çalışabilir.

Bunun yanında kimlik doğrulamanın başka bir maliyeti vardır:

Gerçek katılımcıyı araştırmadan uzaklaştırabilir.

Düşük bir teşvik karşılığında 15 dakikalık ankete katılan bir tüketiciden ayrıca kimlik belgesi, telefon doğrulaması veya biyometrik veri istemek oldukça ciddi bir friction yaratabilir.

Ve burada araştırma sektörü paradoksal bir noktaya gelir:

Fraud'u engellemeye çalışırken iyi katılımcıları kaybetmeye başlayabilir.

Belki kimliği değil, tutarlılığı doğrulamalıyız

Greenbook yazısındaki en ilginç önerilerden biri burada ortaya çıkıyor.

Katılımcının kim olduğunu sürekli doğrulamaya çalışmak yerine:

“Bu kişinin söylediği şeyler zaman içerisinde birbirleriyle tutarlı mı?”

sorusunu sormak.

Örneğin panel profilinde bulunan anonimleştirilmiş sosyodemografik, psikografik ve davranışsal bilgiler ankette verilen cevaplarla karşılaştırılabilir.

Bir araştırmada üst düzey yönetici olduğunu söyleyen kişinin başka araştırmalarda sürekli öğrenci olduğunu belirtmesi bir sinyal olabilir.

Benzer biçimde tüketim davranışları, kategori kullanımı veya yaşam tarzı cevapları zaman içerisinde tamamen değişiyorsa risk puanı yükseltilebilir.

Buradaki kritik nokta tek bir cevabın doğru olup olmadığını belirlemek değil.

Katılımcının zaman içerisindeki davranışsal tutarlılığını ölçmek.

Bu yaklaşım aynı zamanda fraud detection'ı “kimlik kontrolü” probleminden çıkarıp behavioral anomaly detection problemine dönüştürüyor.

Ve AI'ın araştırma sektöründe gerçekten değer yaratabileceği alanlardan biri tam olarak burası olabilir.

Asıl problem teknoloji değil, teşvik sistemi olabilir

Buraya kadar fraud detection teknolojisini konuştuk.

Fakat Greenbook yazısının sonunda çok daha yapısal bir problem ortaya çıkıyor.

Panel şirketlerinin ekonomik modeli katılımcıların araştırmalara katılmasına dayanıyor.

Özellikle yüksek frekanslı katılımcılar sistem içerisinde ciddi miktarda interview üretiyor.

Şimdi aynı panel şirketinden şunu yapmasını istiyoruz:

En fazla interview üreten kullanıcılarının bir bölümünü sistemden çıkar.

Burada açık bir çıkar çatışması ihtimali oluşuyor.

Berger bu nedenle fraud detection sorumluluğunun panel sahibinden bağımsız yapılara taşınmasını tartışıyor. Non-panel-owning araştırma şirketleri, sample aggregator'lar veya araştırma şirketlerinin kendi kalite sistemleri bu rolü üstlenebilir.

Bu öneri bence teknik fraud detection yöntemlerinden bile daha önemli.

Çünkü mesele artık algoritmanın ne kadar iyi olduğu değil.

Algoritmanın kimin ekonomik çıkarına hizmet ettiği.

Araştırma sektörünün yeni problemi: İnsan olduğunu kanıtlamak yetmiyor

Online araştırmanın kalite problemi yıllarca oldukça basit tanımlandı:

Gerçek katılımcıları bulalım, botları ve sahte katılımcıları temizleyelim.

Fakat AI, otomasyon, sample marketplace'leri ve profesyonel katılımcı ekonomisi bu ayrımı giderek anlamsızlaştırıyor.

Artık karşımızda en az dört farklı katılımcı tipi olabilir:

Gerçek ve doğal katılımcı.

Ara sıra araştırmaya katılan ve deneyimini paylaşan kişi.

Gerçek ama profesyonel katılımcı.

Çok sayıda araştırmaya katılan, sistemin nasıl çalıştığını bilen fakat dürüst cevap veren kişi.

Gerçek insan olan profesyonel fraud aktörü.

Kimliğini veya özelliklerini değiştirerek araştırmalardan ekonomik kazanç sağlamaya çalışan kişi.

Otomasyon veya AI destekli katılımcı.

İnsan müdahalesinin giderek azaldığı bot, agent veya hibrit sistemler.

Ve önümüzdeki yıllarda bunların arasındaki sınırlar daha da bulanıklaşacak.

Belki de yanlış soruyu soruyoruz

Araştırma sektörünün uzun süredir sorduğu soru şu:

“Bu katılımcı gerçek mi?”

Yakın gelecekte bu soru tek başına yeterli olmayabilir.

Daha doğru sorular şunlar olabilir:

Bu davranış gerçekçi mi?

Bu kişinin cevapları zaman içerisinde tutarlı mı?

Bu katılımcının araştırmaya maruz kalma seviyesi sonuçları etkiliyor mu?

Bu kişinin verdiği veri, araştırma kararında kullanılabilecek kadar güvenilir mi?

Çünkü bir katılımcının biyolojik olarak insan olması, ürettiği verinin araştırma açısından kaliteli olduğu anlamına gelmiyor.

Aynı şekilde çok sayıda ankete katılması da otomatik olarak fraud olduğu anlamına gelmiyor.

Araştırmanın geleceğinde veri kalitesinin belki de en zor kısmı tam olarak bu olacak:

İnsan ile makineyi ayırmak değil, güvenilir davranış ile manipüle edilmiş davranışı ayırmak.

Ve bunu tek bir fraud filtresiyle çözmek mümkün görünmüyor.