Mark, yürümeye başlayan çocuğunda bir şeylerin ters gittiğini fark etti. Oğlunun penisi şişmiş görünüyordu ve canını acıtıyordu. San Francisco’da evde oturan bir baba olan Mark, Android akıllı telefonunu aldı ve ilerlemesini takip edebilmek için sorunu belgelemek için fotoğraflar çekti.

Şubat 2021’de bir Cuma gecesiydi. Eşi, Cumartesi olduğu ve devam eden bir pandemi olduğu için ertesi sabah için bir acil konsültasyon planlamak üzere sağlık deva sağlayıcısındaki bir danışman hemşireyi aradı. Hemşire, doktorun önceden inceleyebilmesi için fotoğraf göndermemi söyledi.

Mark’ın karısı kocasının telefonunu aldı ve oğullarının kasık bölgesinin birkaç yüksek kaliteli yakın çekimini iPhone’una mesaj attı, böylece onları sağlık deva sağlayıcısının mesajlaşma sistemine yükleyebilirdi. Birinde, Mark’ın eli şişkinliği daha iyi göstermeye yardımcı olacak şekilde görünüyordu. Mark ve karısı, bu hızlı dijital veri yakalama ve alışverişini mümkün kılan teknoloji devlerini veya bu devlerin görüntüler hakkında ne düşünebileceğini hiç düşünmediler.

Fotoğrafların yardımıyla doktor sorunu teşhis etti ve antibiyotik reçete etti, bu da hızla düzeldi. Ancak bu bölüm Mark’ı çok daha büyük bir sorunla baş başa bıraktı, bu ona on yıldan fazla iletişim, e-posta ve fotoğrafa mal olacak ve onu bir polis soruşturmasının hedefi haline getirecek bir sorundu. Potansiyel itibarın zarar görmesinden korktuğu için yalnızca ilk adıyla tanımlanmasını isteyen Mark, çocukların cinsel istismarı materyallerini değiş tokuş eden insanları tuzağa düşürmek için tasarlanmış bir algoritmik ağa yakalanmıştı.

Teknoloji şirketleri rutin olarak çok fazla veri yakaladıkları için, cezai davranışları tespit etmek ve önlemek için sunucularından geçenleri inceleyerek nöbetçi gibi davranmaya zorlandılar. Çocuk savunucuları, cinsel istismar görüntülerinin yaygın çevrimiçi yayılmasıyla mücadele etmek için şirketlerin işbirliğinin gerekli olduğunu söylüyor. Ancak, The Times’ın gün yüzüne çıkardığı en az iki vakada masum davranışları uğursuz bir ışıkla aydınlatan dijital fotoğraf albümleri gibi özel arşivlere bakmayı gerektirebilir (kullanıcıların beklemeyeceği bir şey).

Dijital bir sivil özgürlükler kuruluşu olan Electronic Frontier Foundation’da teknoloji uzmanı olan Jon Callas, vakalara kanaryalar adını verdi. “bu özel kömür madeninde.”

“Bunlardan onlarca, yüzlerce, binlerce daha olabilir” dedi.

Suçlamaların zehirli doğası göz önüne alındığında, Bay Callas, yanlış bir şekilde işaretlenen çoğu insanın olanları yayınlamayacağını tahmin etti.

Mark, “Bu şirketlerin izlediğini ve mahremiyetin olmasını umduğumuz gibi olmadığını biliyordum” dedi. “Ama ben yanlış bir şey yapmadım.”

Polis kabul etti. Google yapmadı.

‘Ciddi Bir İhlal’

Orta yaşlarda bir Gmail hesabı kurduktan sonra, 40’lı yaşlarındaki Mark, büyük ölçüde Google’a güvenmeye başladı. Randevularını karısıyla Google Takvim’de senkronize etti. Android akıllı telefon kamerası, fotoğraflarını ve videolarını Google bulutuna yedekledi. Google Fi ile bir telefon planı bile vardı.

Oğlunun fotoğraflarını çektikten iki gün sonra, Mark’ın telefonundan bir bildirim sesi geldi: Hesabı, “Google’ın politikalarını ciddi şekilde ihlal eden ve yasa dışı olabilecek” “zararlı içerik” nedeniyle devre dışı bırakıldı. “Daha fazla bilgi” bağlantısı, “çocukların cinsel istismarı ve sömürüsü” de dahil olmak üzere olası nedenlerin bir listesini verdi.

Mark ilk başta kafası karıştı ama sonra oğlunun enfeksiyonunu hatırladı. “Aman Tanrım, Google muhtemelen bunun çocuk pornosu olduğunu düşünüyor” diye düşündü.

Alışılmadık bir şekilde, Mark, kullanıcılar tarafından sorunlu olarak işaretlenen görüntü içeriğini kaldırmak için büyük bir teknoloji şirketinin otomatik aracında yazılım mühendisi olarak çalışmıştı. Bilgisayarların hata yapmamasını sağlamak için bu tür sistemlerin genellikle döngüde bir insan olduğunu biliyordu ve o kişiye ulaşır ulaşmaz davasının çözüleceğini varsayıyordu.

Oğlunun enfeksiyonunu açıklayan Google’ın kararının gözden geçirilmesini talep eden bir form doldurdu. Aynı zamanda Google’ın reddinin domino etkisini keşfetti. E-postalarını, arkadaşlarının ve eski iş arkadaşlarının iletişim bilgilerini ve oğlunun ilk yıllarına ait belgeleri kaybetmekle kalmadı, Google Fi hesabı da kapandı, yani başka bir operatörden yeni bir telefon numarası almak zorunda kaldı. Eski telefon numarasına ve e-posta adresine erişimi olmadan, diğer internet hesaplarında oturum açmak için ihtiyaç duyduğu güvenlik kodlarını alamadı ve onu dijital hayatının çoğundan mahrum etti.

“Bir sepette ne kadar çok yumurta varsa, sepetin kırılma olasılığı o kadar yüksek” dedi.

Google yaptığı açıklamada, “Çocukların cinsel istismarı materyali iğrenç ve bunun platformlarımızda yayılmasını önlemeye kararlıyız” dedi.

Mark’ın temyiz başvurusunda bulunmasından birkaç gün sonra Google, başka bir açıklama yapmadan hesabı eski durumuna getirmeyeceği yanıtını verdi.

Mark bunu bilmiyordu, ancak Google’ın inceleme ekibi de yaptığı bir görüntüyü işaretlemişti ve San Francisco Polis Departmanı onu çoktan araştırmaya başlamıştı.

Google Görselleri Nasıl İşaretler?

Mark’ın sorunları başladıktan sonraki gün, aynı senaryo Teksas’ta da devam ediyordu. Houston’da yürümeye başlayan bir çocuğun “iç kısımlarında” enfeksiyon vardı, babası, Mark’ın hikayesini anlatırken rastladığım bir çevrimiçi gönderide yazdı. Çocuk doktorunun isteği üzerine, sadece ilk adıyla kimliğinin açıklanmasını isteyen Cassio, fotoğrafları çekmek için bir Android kullandı ve bu fotoğraflar otomatik olarak Google Fotoğraflar’a yedeklendi. Daha sonra bunları Google’ın sohbet servisi aracılığıyla karısına gönderdi.

Cassio, Gmail hesabı devre dışı bırakıldığında bir ev satın almanın ve sayısız dijital belge imzalamanın ortasındaydı. İpotek komisyoncusundan e-posta adresini değiştirmesini istedi, bu da Cassio’nun emlakçısı ona kefil olana kadar komisyoncuyu şüpheli hale getirdi.

Baş ağrısıydı, dedi Cassio.

Sömürülen veya cinsel istismara uğrayan çocukların görüntüleri, teknoloji devleri tarafından her yıl milyonlarca kez işaretleniyor. 2021’de yalnızca Google, 600.000’den fazla çocuk istismarı materyali raporunda bulundu ve bunun sonucunda 270.000’den fazla kullanıcının hesabını devre dışı bıraktı. Mark’ın ve Cassio’nun deneyimleri büyük bir kovaya düştü.

Teknoloji endüstrisinin, sözde çocuk pornografisinin geniş çevrimiçi alışverişini ciddi şekilde bozmak için ilk aracı, benzersiz dijital kodlara veya karmalara dönüştürülen bilinen kötüye kullanım görüntülerinden oluşan bir veritabanı olan PhotoDNA idi; bir fotoğraf küçük şekillerde değiştirilmiş olsa bile bir eşleşmeyi tespit etmek için çok sayıda görüntüyü hızlıca taramak için kullanılabilir. Microsoft’un 2009’da PhotoDNA’yı piyasaya sürmesinden sonra, Facebook ve diğer teknoloji şirketleri bunu yasa dışı ve zararlı görüntüleri dolaşan kullanıcıları ortadan kaldırmak için kullandı.

Ulusal Kayıp ve İstismara Uğrayan Çocuklar Merkezi’nin başkanı o sırada “Bu müthiş bir araç” dedi.

Neredeyse on yıl sonra, 2018’de Google, çocukların daha önce hiç görülmemiş sömürücü görüntülerini tanıyabilen yapay olarak akıllı bir araç geliştirdiğinde daha büyük bir atılım gerçekleşti. Bu, yalnızca istismara uğrayan çocukların bilinen görüntülerini değil, yetkililer tarafından potansiyel olarak kurtarılabilecek bilinmeyen kurbanların görüntülerini bulmak anlamına geliyordu. Google, teknolojisini Facebook da dahil olmak üzere diğer şirketlerin kullanımına sundu.

Mark’s ve Cassio’nun fotoğrafları telefonlarından Google’ın sunucularına otomatik olarak yüklendiğinde, bu teknoloji onları işaretledi. EFF’den Jon Callas, taramayı müdahaleci olarak nitelendirdi ve birinin kişisel cihazındaki bir aile fotoğraf albümünün “özel bir alan” olması gerektiğini söyledi. (Bir Google sözcüsü, şirketin yalnızca bir kullanıcı tarafından “olumlu bir eylem” yapıldığında tarama yaptığını söyledi; bu, kullanıcının telefonunun fotoğrafları şirketin bulutuna yedeklemesini içerir.)

Bay Callas, “Hepimizin endişelendiği kabus tam da bu,” dedi. “Aile albümümü tarayacaklar ve sonra başım belaya girecek.”

Google için bir insan içerik moderatörü, çocukların cinsel istismarı materyalinin federal tanımını karşıladıklarını doğrulamak için yapay zeka tarafından işaretlendikten sonra fotoğrafları incelerdi. Google böyle bir keşif yaptığında, kullanıcının hesabını kilitler, istismara yönelik diğer materyalleri arar ve federal yasaların gerektirdiği şekilde, Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi’ndeki CyberTipline’a rapor verir.

Kâr amacı gütmeyen kuruluş, kötüye kullanım materyalleri için takas odası haline geldi; geçen yıl 29.3 milyon veya günde yaklaşık 80.000 rapor aldı. CyberTipline’ı yöneten Fallon McNulty, bunların çoğunun internette sürekli dolaşımda olan daha önce bildirilen görüntüler olduğunu söyledi. Bu nedenle, 40 analistten oluşan personeli, potansiyel yeni kurbanlara odaklanıyor, böylece bu davaları kolluk kuvvetleri için önceliklendirebiliyorlar.

Bayan McNulty, “Genel olarak, NCMEC personeli bir CyberTipline raporunu incelerse ve raporda daha önce görülmemiş istismar amaçlı materyaller bulunursa, bunlar tırmanacaktır” dedi. “Bu, henüz kimliği belirlenmemiş veya korunmamış ve zarar görmemiş bir çocuk olabilir.”

Bayan McNulty, Google’ın, kuruluşunun daha fazla araştırma için polise bildirebilmesi için bu görüntüleri tespit etme konusundaki şaşırtıcı yeteneğinin “sistemin olması gerektiği gibi çalıştığının bir örneği” olduğunu söyledi.

CyberTipline personeli, tarama amacıyla teknoloji şirketleriyle paylaşılan karma veri tabanına yeni kötüye kullanım görüntüleri ekler. Mark’ın karısı bunu öğrendiğinde, Apple’ın hesabını işaretleyebileceği korkusuyla Mark’ın oğullarının çektiği fotoğrafları iPhone’undan sildi. Apple, geçen yıl iCloud’da çocukların cinsel tacize uğradığı bilinen tasvirleri taramayı planladığını duyurdu, ancak gizlilik gruplarının direnişinden sonra sunum süresiz olarak ertelendi.

2021’de CyberTipline, yetkilileri “4.260’tan fazla potansiyel yeni çocuk kurban” konusunda uyardığını bildirdi. Mark ve Cassio’nun oğulları da bunlar arasında sayıldı.

‘Suç İşlenmedi’

Aralık 2021’de Mark, San Francisco Polis Departmanından postayla bir manila zarfı aldı. Dosyada, kendisine soruşturulduğunu bildiren bir mektup ile Google’a ve internet servis sağlayıcısına sunulan arama emirlerinin kopyaları yer alıyordu. İletişim bilgileri verilen bir müfettiş, Mark’ın Google hesabındaki her şeyi sormuştu: internet aramaları, konum geçmişi, mesajları ve şirkette sakladığı herhangi bir belge, fotoğraf ve görüntü.

“Çocuk istismarı videoları” ile ilgili arama, oğlunun fotoğraflarını çekmesinden bir hafta sonra Şubat ayında yapılmıştı.

Mark, davanın kapandığını söyleyen müfettiş Nicholas Hillard’ı aradı. Bay Hillard, Mark ile temasa geçmeye çalışmış ancak telefon numarası ve e-posta adresi işe yaramamıştı.

Bay Hillard raporunda “Olayın suç unsurlarını karşılamadığını ve suç oluşmadığını belirledim” diye yazdı. Polis, Google’ın Mark hakkında sahip olduğu tüm bilgilere erişebildi ve bunun çocuk istismarı veya istismarı teşkil etmediğine karar verdi.

Mark, Bay Hillard’ın hesabını geri alabilmek için Google’a masum olduğunu söyleyip söyleyemeyeceğini sordu.

Mark’a göre Bay Hillard, “Google ile konuşmalısınız” dedi. “Yapabileceğim bir şey yok.”

Mark, polis raporunu sağlayarak davasını tekrar Google’a temyiz etti, ancak boşuna. İki ay önce hesabının kalıcı olarak silindiğine dair bir bildirim aldıktan sonra Mark, bir avukatla Google’a dava açma ve bunun ne kadara mal olabileceği hakkında konuştu.

“Muhtemelen 7,000 dolar değerinde olmadığına karar verdim” dedi.

John’s Üniversitesi’nde çevrimiçi içerik denetimi hakkında yazan bir hukuk profesörü olan Kate Klonick, “bir fotoğrafta görünmeyen şeyleri, örneğin bir görüntüyü paylaşan insanların davranışları veya içeriğin niyetleri gibi hesaba katmanın zor olabileceğini” söyledi. alan kişi.” Taranan milyarlarca görüntü göz önüne alındığında, insanların yanlışlıkla işaretlendiği yanlış pozitifler kaçınılmazdır. Klonick, istismara uğrayan çocukları belirleme avantajı göz önüne alındığında, çoğu insan muhtemelen bu takasın değerli olduğunu düşünecek olsa da, Klonick, şirketlerin yanlışlıkla işaretlenen masum insanları temize çıkarmak ve eski durumuna getirmek için “sağlam bir sürece” ihtiyacı olduğunu söyledi.

Bayan Klonick, “Bu sadece bir içerik denetimi ve sansür vakası olsaydı sorunlu olurdu” dedi. “Fakat bu, birinin kolluk kuvvetlerine rapor edilmesiyle sonuçlanması bakımından iki kat tehlikelidir.”

Bir ebeveynin potansiyel olarak bir çocuğun velayetini kaybetmesiyle daha da kötü olabilirdi. Bayan Klonick, “Bunun nasıl tırmanabileceğini hayal edebilirsiniz,” dedi.

Cassio da polis tarafından soruşturuldu. 2021 sonbaharında Houston Polis Departmanından bir dedektif aradı ve ondan karakola gelmesini istedi.

Cassio, dedektife çocuk doktoruyla olan iletişimini gösterdikten sonra, çabucak aklandı. Ancak o da, Google’ın web hizmetlerinin ücretli bir kullanıcısı olmasına rağmen, on yıllık Google hesabını geri alamadı. Artık e-posta için insanların kendisiyle alay ettiği bir Hotmail adresi kullanıyor ve verisinin birden çok yedeğini alıyor.

Gördüğünde Mutlaka Bilmiyorsun

Çıplak çocukların tüm fotoğrafları pornografik, sömürücü veya taciz edici değildir. Kuzey Carolina Üniversitesi’nde çocuk pornografisi suçları hakkında yazan bir hukuk profesörü olan Carissa Byrne Hessick, cinsel istismar içeren görüntüleri neyin oluşturduğunu yasal olarak tanımlamanın karmaşık olabileceğini söyledi.

Ancak Bayan Hessick, polisle tıbbi görüntülerin uygun olmadığı konusunda hemfikir olduğunu söyledi. ‘Çocuğa tecavüz yok’ dedi. “Cinsel olmayan nedenlerle alındı.”

Makine öğreniminde bir bilgisayar programı, ikisi arasında ayrım yapana kadar “doğru” ve “yanlış” bilgilerle beslenerek eğitilir. Banyodaki bebeklerin veya fıskiyelerin içinde çıplak koşan çocukların fotoğraflarının işaretlenmesini önlemek için, Google’ın yapay zekası, kötüye kullanımı tanımak için hem Google tarafından geçmişte kullanıcı hesaplarında bulunan potansiyel olarak yasa dışı materyallerin resimleriyle hem de kötüye kullanımın göstergesi olmayan resimlerle eğitildi, neyi işaretleyeceğine dair daha kesin bir anlayış vermek için.

Mark’ın oğlunun çektiği fotoğrafları gördüm. Onları işaretleme kararı anlaşılabilirdi: Bir çocuğun cinsel organının açık fotoğraflarıdır. Ancak bağlam önemlidir: Hasta bir çocuk için endişelenen bir ebeveyn tarafından alındılar.

Google’ın çocuk güvenliği operasyonları başkanı Claire Lilley, “Teletıp ve özellikle Covid çağında, ebeveynlerin teşhis koymak için çocuklarının fotoğraflarını çekmesinin gerekli olduğunun farkındayız” dedi. Şirketin çocuk doktorlarına danıştığını söyledi, böylece insan incelemecileri, tıbbi nedenlerle çekilen fotoğraflarda görünebilecek olası koşulları anlıyor.

Amerikan Pediatri Akademisi Çocuk İstismarı ve İhmali Konseyi başkanı Dr. Suzanne Haney, ebeveynlere, doktor tarafından yönlendirilse bile çocuklarının cinsel organlarının fotoğraflarını çekmemelerini tavsiye etti.

Dr. Haney, “Bir çocuğun cinsel organlarını fotoğraflayan biriyle rahat etmesi en son isteyeceğiniz şey” dedi. “Mutlaka zorundaysanız, buluta yüklemekten kaçının ve hemen silin.”

Çoğu doktorun, ebeveynlerden bu tür fotoğrafları çekmesini istemenin risklerinden habersiz olduğunu söyledi.

Dr. Haney, şirketin kötüye kullanımla mücadele çabaları hakkında “Yaptıkları için Google’ı alkışlıyorum” dedi. “Korkunç bir sorunumuz var. Ne yazık ki, çocukları için doğru olanı yapmaya çalışan ebeveynlere bağlandı. ”

Bu yılın başlarında bir müşteri destek temsilcisi Cassio’ya, Google Hangouts’u kullanarak resimleri karısına göndermenin sohbet hizmetinin hizmet şartlarını ihlal ettiğini söyledi. Şartlar, “Hangouts’u çocukları sömürecek şekilde kullanmayın” diyor. “Google’ın bu içeriğe karşı sıfır tolerans politikası var.”

Mark’a gelince, Google’dan Bayan Lilley, yorumcuların çektiği fotoğraflarda kızarıklık veya kızarıklık tespit etmediğini ve hesabının sonraki incelemesinin, Google’ın da sorunlu olarak değerlendirdiği altı ay öncesine ait bir görüntü ortaya çıktığını söyledi. genç bir çocuk çıplak bir kadınla yatakta yatıyor.

Mark bu görüntüyü hatırlamıyordu ve artık ona erişimi yoktu, ancak kulağa, yakalamak için ilham alacağı özel bir an gibi geldiğini, başka biri tarafından görüntüleneceğini veya yargılanacağını fark etmediğini söyledi.

“Hayal edebiliyorum. Bir sabah uyandık. Eşim ve oğlumla güzel bir gündü ve o anı kaydetmek istedim” dedi. “Keşke pijamalarla yatsaydık, bunların hepsi önlenebilirdi.”

Bir Google sözcüsü, kolluk kuvvetleri iki adamı aklamış olsa da şirketin kararlarının arkasında durduğunu söyledi.

Varsayılan olarak Suçlu

Hukuk profesörü Bayan Hessick, teknoloji şirketlerinin çocuk cinsel istismarını ele almak ve kökünü kazımak için kolluk kuvvetlerine sağladığı işbirliğinin “inanılmaz derecede önemli” olduğunu, ancak düzeltmelere izin vermesi gerektiğini düşündüğünü söyledi.

“Google’ın bakış açısından, bu kişilerin hizmetlerini kullanmasını reddetmek daha kolay,” diye spekülasyon yaptı. Aksi takdirde, şirketin “çocuklara karşı neyin uygun olduğu ve sonra neyin fotoğraflanmasının uygun olup olmadığı” gibi daha zor soruları çözmesi gerekecekti.

Mark’ın hâlâ bilgilerini geri alabileceğine dair umudu var. San Francisco polisi, Google hesabının içeriğini bir flash sürücüde muhafaza ediyor. Mark şimdi bir kopyasını almaya çalışıyor. Bir polis sözcüsü, departmanın kendisine yardım etmeye istekli olduğunu söyledi.

Nico Grant raporlamaya katkıda bulundu. Susan Beachy araştırmaya katkıda bulundu.