<23.10.009>kafada:
bilinç, varolmak, hissetmek, düşünmek... bazen gizemli bir konu, gizem çözüldüğü için basitleşmiyor da insanlar gizemli olduğu düşünülenin gerçekte basit olduğunu, ya da konuyla ilgili sorularının yanlış kurulmuş olduğunu düşünmeye başlıyorlar... ve hofstadter de, "Gödel, Escher, Bach" adlı leziz kitabında, ne zaman o ana kadar çözülmez gibi duran bir gizem açıklığa kavuşturulsa gizem algısının hemen başka alana kayıyor oluşuyla eğleniyor, "orası öyle orası tamam o basit de asıl siz şunu anlatın bakalım.." gibi... [bkz. AI Effect, wikipedya: The AI effect occurs when people discount the intelligent behavior of an artificial intelligence program by arguing that it's not real intelligence. Pamela McCorduck writes: "It's part of the history of the field of artificial intelligence that every time somebody figured out how to make a computer do something—play good checkers, solve simple but relatively informal problems—there was chorus of critics to say, 'that's not thinking'." AI researcher Rodney Brooks complains "Every time we figure out a piece of it, it stops being magical; we say, Oh, that's just a computation."]
ancak, esefle bildirmeliyim ki, gerçekten de, yapay zekanın (AI) erken denemeleri, yani Newell ve Simon'un teorem kanıtlayan, satranç oynayan, arama üzerinden problem çözen makinaları pek büyütülecek başarılar değil. bunlar son derece dar ve iyi tariflenmiş alanlarda, iyi tariflenmiş problemler için, iyi tariflenmiş sonuçlar arayan programlar. bu ilk kuşak AI çalışmalarıyla yakından bağlantılı bir seri başlık var: sembolik yaklaşımlar, problem çözme, computationalist view of mind, bilişsel bilimler, arama paradigması, intramental/zihin içre modeller...
bilinç, varolmak, hissetmek, düşünmek... bazen gizemli bir konu, gizem çözüldüğü için basitleşmiyor da insanlar gizemli olduğu düşünülenin gerçekte basit olduğunu, ya da konuyla ilgili sorularının yanlış kurulmuş olduğunu düşünmeye başlıyorlar... ve hofstadter de, "Gödel, Escher, Bach" adlı leziz kitabında, ne zaman o ana kadar çözülmez gibi duran bir gizem açıklığa kavuşturulsa gizem algısının hemen başka alana kayıyor oluşuyla eğleniyor, "orası öyle orası tamam o basit de asıl siz şunu anlatın bakalım.." gibi... [bkz. AI Effect, wikipedya: The AI effect occurs when people discount the intelligent behavior of an artificial intelligence program by arguing that it's not real intelligence. Pamela McCorduck writes: "It's part of the history of the field of artificial intelligence that every time somebody figured out how to make a computer do something—play good checkers, solve simple but relatively informal problems—there was chorus of critics to say, 'that's not thinking'." AI researcher Rodney Brooks complains "Every time we figure out a piece of it, it stops being magical; we say, Oh, that's just a computation."]
ancak, esefle bildirmeliyim ki, gerçekten de, yapay zekanın (AI) erken denemeleri, yani Newell ve Simon'un teorem kanıtlayan, satranç oynayan, arama üzerinden problem çözen makinaları pek büyütülecek başarılar değil. bunlar son derece dar ve iyi tariflenmiş alanlarda, iyi tariflenmiş problemler için, iyi tariflenmiş sonuçlar arayan programlar. bu ilk kuşak AI çalışmalarıyla yakından bağlantılı bir seri başlık var: sembolik yaklaşımlar, problem çözme, computationalist view of mind, bilişsel bilimler, arama paradigması, intramental/zihin içre modeller...
<23.10.009> ...:
bizim evdeki bilgisayarlarla bizim evdeki beyin birbirinden çok farklılar. ama şöyle bir düşünce var: bizim evdeki bilgisayarların donanımı beynin donanımıyla kıyaslanırsa daha bir çok-yönlü aslında, bunlar evrensel hesaplama makineleri ve bu evrensellik varsayımı, en azından hesaplamacı (computational) zihin varsayımına göre, beynin yaptığı her işlemi, yanlış ya da doğru, karmaşık ya da basit, çok katmanlı ya da tek katmanlı, paralel ya da seri, esnek ya da katı, hepsini, ilkede, bilgisayarlar üzerinden yeniden üretebileceğimiz anlamına geliyor (tabii pratikte o miktarda işlem kapasitesi ve hafızaya erişmiş değiliz, çünkü bir insan beyninde milyarlarca nöron ve trilyonlarca sinaps var).
ama öyle görünüyor ki bunun tersi doğru değil. muhtemelen insan beyni hatasız işleyebilen bir matematiksel hesap makinesi olarak kullanılamazdı? (ama belki yapay nöron ağları ya da genetiğiyle oynanmış beyinler, ya da laboratuvarda büyütülmüş beyinler bu amaçla kullanılabilirdi?) zaten beynin ne alt-seviye ne üst-seviye işlemlerinin tümüyle hatasız olmasına gerek var (ve zaten hatasız değiller, bkz. eğlenceli gestalt deneyleri). beynin dünyanın pratikte kabul edilebilir bir temsilini oluşturması ve dünya içinde gen paketlerini yeniden ürettirmesini sağlayacak bir hareket stratejisi uygulaması yeterli. hakikati ya da kesinliği bekleyemez. elde etseydi de evrimsel ajandasında bunun organizmaya önemli bir faydası olmayabilirdi. hatta belki onun esneklik ve uyum sağlayabilirlik kapasitesini kısıtlayabilirdi böylesi bir beceri.
bir takım "genius savant" denilen insanlar var. bunlar normal bir insanın becerilerini kat kat aşan bir matematiksel hesaplama becerisi sergileyebiliyorlar. belki de, deniyor, herkese ortak bazı beceriler pragmatik sebeplerle normal insan beyninde baskılanmış olabilir incelemeye değer bir konu. ama malesef, matematiksel hesaplar söz konusu olduğunda, en basit hesap makinesi bile bu en inanılmaz bireylerden daha başarılı.
bizim evdeki bilgisayarlarla bizim evdeki beyin birbirinden çok farklılar. ama şöyle bir düşünce var: bizim evdeki bilgisayarların donanımı beynin donanımıyla kıyaslanırsa daha bir çok-yönlü aslında, bunlar evrensel hesaplama makineleri ve bu evrensellik varsayımı, en azından hesaplamacı (computational) zihin varsayımına göre, beynin yaptığı her işlemi, yanlış ya da doğru, karmaşık ya da basit, çok katmanlı ya da tek katmanlı, paralel ya da seri, esnek ya da katı, hepsini, ilkede, bilgisayarlar üzerinden yeniden üretebileceğimiz anlamına geliyor (tabii pratikte o miktarda işlem kapasitesi ve hafızaya erişmiş değiliz, çünkü bir insan beyninde milyarlarca nöron ve trilyonlarca sinaps var).
ama öyle görünüyor ki bunun tersi doğru değil. muhtemelen insan beyni hatasız işleyebilen bir matematiksel hesap makinesi olarak kullanılamazdı? (ama belki yapay nöron ağları ya da genetiğiyle oynanmış beyinler, ya da laboratuvarda büyütülmüş beyinler bu amaçla kullanılabilirdi?) zaten beynin ne alt-seviye ne üst-seviye işlemlerinin tümüyle hatasız olmasına gerek var (ve zaten hatasız değiller, bkz. eğlenceli gestalt deneyleri). beynin dünyanın pratikte kabul edilebilir bir temsilini oluşturması ve dünya içinde gen paketlerini yeniden ürettirmesini sağlayacak bir hareket stratejisi uygulaması yeterli. hakikati ya da kesinliği bekleyemez. elde etseydi de evrimsel ajandasında bunun organizmaya önemli bir faydası olmayabilirdi. hatta belki onun esneklik ve uyum sağlayabilirlik kapasitesini kısıtlayabilirdi böylesi bir beceri.
bir takım "genius savant" denilen insanlar var. bunlar normal bir insanın becerilerini kat kat aşan bir matematiksel hesaplama becerisi sergileyebiliyorlar. belki de, deniyor, herkese ortak bazı beceriler pragmatik sebeplerle normal insan beyninde baskılanmış olabilir incelemeye değer bir konu. ama malesef, matematiksel hesaplar söz konusu olduğunda, en basit hesap makinesi bile bu en inanılmaz bireylerden daha başarılı.
<13.05.012>gri hücreler ve "connectome":
1.
Bluebrain projesi (EPFL ve IBM, 2005-...): fare beynindeki bir korteks kolonunu bilgisayar ortamında simüle etmekle uğraşıyorlar. daha doğrusu simulasyonu hazırlamışlar, eldeki deneysel veriye daha da yaklaştırmaya çalışıyorlar. bir farede bu birim yaklaşık 10.000 nöron barındırıyor. bu nöronların da 50 kadar farklı tipini modellemişler... her bir nöronu simüle etmek için bir laptop kadar hesap gücü gerekiyormuş. zira her bir nöronun da binlerce sinapsı (diğer nöronlarla birleştiği bölgeler) olabiliyor. insan beynindeki korteks kolonları ise 100.000 kadar nöron barındırabiliyormuş ve beynimizde bu kolonlardan 2 milyon kadar bulunduğu düşünülüyor (bu tahmini rakam da benim takip edebildiğim kadarıyla sürekli artmakta :]). (ilgilenenler bu insanların böyle bir işi neden yapmakta olduklarını sitelerinden okuyabilir.)
sadece nöronları ya da bu kolonları modellemek de yeterli olmayacak, zira tüm bu nöron ve kolonlar da başka üst bölgeler oluşturacak şekilde örgütlenmişler ve tüm bölgeler birbirlerine karmaşık bir ağ üzerinden bağlılar ve zihni bir makina olarak çözebilmek için hem bu ağın hem de modüler yapının tam olarak anlaşılıp modellenmesi gerekiyor. ve ama hedef bu. yani insan beyninin sanal bir modelini oluşturmak. şimdi başka ortaklarla beraber, aynı ekip insan beyni projesi diye bir proje hazırlıyormuş.
diyorlar ki, şu anda beyin simülasyonları için gerekli veri elde var, bunları işletecek hesaplama sistemlerini üretmemiz gerekiyor. teknik açıdan bakarsak, her ne kadar süper bilgisayarların hesaplama gücü sürekli artıp duruyor olsa da, görünen o ki, eldeki bilgisayarlarda beyni simule edecek programlar çalıştırmak en doğru strateji değil. paralel ve analog yaklaşımlar kullanmak gerekecek gibi. mesela IBM, Watson adlı süper bilgisayarında özel bir paralel mimari kullanarak jeopardy şampiyonlarını yenmeyi başarmış..
1.
Bluebrain projesi (EPFL ve IBM, 2005-...): fare beynindeki bir korteks kolonunu bilgisayar ortamında simüle etmekle uğraşıyorlar. daha doğrusu simulasyonu hazırlamışlar, eldeki deneysel veriye daha da yaklaştırmaya çalışıyorlar. bir farede bu birim yaklaşık 10.000 nöron barındırıyor. bu nöronların da 50 kadar farklı tipini modellemişler... her bir nöronu simüle etmek için bir laptop kadar hesap gücü gerekiyormuş. zira her bir nöronun da binlerce sinapsı (diğer nöronlarla birleştiği bölgeler) olabiliyor. insan beynindeki korteks kolonları ise 100.000 kadar nöron barındırabiliyormuş ve beynimizde bu kolonlardan 2 milyon kadar bulunduğu düşünülüyor (bu tahmini rakam da benim takip edebildiğim kadarıyla sürekli artmakta :]). (ilgilenenler bu insanların böyle bir işi neden yapmakta olduklarını sitelerinden okuyabilir.)
sadece nöronları ya da bu kolonları modellemek de yeterli olmayacak, zira tüm bu nöron ve kolonlar da başka üst bölgeler oluşturacak şekilde örgütlenmişler ve tüm bölgeler birbirlerine karmaşık bir ağ üzerinden bağlılar ve zihni bir makina olarak çözebilmek için hem bu ağın hem de modüler yapının tam olarak anlaşılıp modellenmesi gerekiyor. ve ama hedef bu. yani insan beyninin sanal bir modelini oluşturmak. şimdi başka ortaklarla beraber, aynı ekip insan beyni projesi diye bir proje hazırlıyormuş.
diyorlar ki, şu anda beyin simülasyonları için gerekli veri elde var, bunları işletecek hesaplama sistemlerini üretmemiz gerekiyor. teknik açıdan bakarsak, her ne kadar süper bilgisayarların hesaplama gücü sürekli artıp duruyor olsa da, görünen o ki, eldeki bilgisayarlarda beyni simule edecek programlar çalıştırmak en doğru strateji değil. paralel ve analog yaklaşımlar kullanmak gerekecek gibi. mesela IBM, Watson adlı süper bilgisayarında özel bir paralel mimari kullanarak jeopardy şampiyonlarını yenmeyi başarmış..
2.
daha da ileri gidilebilir, her bir devresi bir nörona tekabül eden paralel bilgisayarlar? tabii, bekleneceği gibi, o konuda da çalışanlar var. misal, MIT'de bir grup sinapsların davranışlarını taklit etmeyi sağlayacak bir çip tasarlamış. bu çiplerin avantajı, şu anki dijital simülasyon yaklaşımlarından (hatta biyolojik nöronlardan bile) çok daha hızlı çalışabilecek nöronların üretilebilmesini sağlayacak olmaları. tabii gerçek nöronların yavaş çalışıyor olmalarının sebebi teknik sınırlardan çok, zihinde gerçek dünyanın hızına karşılık gelecek bir güncelleme ve koordinasyon temposuna ihtiyaç duyulması olabilir. analog sistemler üzerinden beyin simülasyonu hedefleyen Facets (ve sonra Brain-i-Nets) ve Neurogrid gibi başka projeler de mevcut.
tabii beynin nasıl çalışmakta olduğunu odağına alan projeler de var. sadece bir kolonu ya da sinapsı modellemek işin belki de önemsiz kısmı? tüm bu sinapslar, nöronlar, kolonlar ve modüller biraraya geldiklerinde nasıl işliyorlar, soru bu. brainscales projesi böylesi bir ölçekte yaklaşıyor meseleye.ve human connectome projesinin de hedefi bu.
<14.05.012> mantık ve dünya:
1.
düşünmeyi tartışma götürmeyen bir hesaplama faaliyeti olarak yeniden kurgulama arayışında Hobbes ve Leibniz'in bir takım esin kaynakları var. mesela Raymond Llull ve Oxford Calculators diye aranabilir. ayrıca Descartes, matematikten esinlenen çıkarsama yöntemiyle ve Spinoza da geometrik tavrıyla başka bir yönden benzer bir arayışın öncüleri... tabii konu doğrudan Aristoteles'e de bağlanabilir. doğru akıl yürütmenin yollarını inceleyip geliştirmeye yönelik çalışmalar (Platon'un Theaitetos'ta giriştiği türden) daha Aristoteles'te akıl yürütmenin formelleştirilmesi (syllogism formu) yönünde bir çabayı ortaya çıkarıyor. Boole'un bir takım mantıksal önermelerin sembolik biçimler altında bir tür aritmetiğe tabi olabileceğini göstermesi de modern mantık alanının temellerini atıyor. 19. yy'da yeniden yoğunlaşan çalışmalar Frege ile mantıksalcılık programına dönüşüyor, yani aritmetik ve mantığın aynı şey olduğunu göstermek. Russell ve Whitehead de Principia Mathematica'da bu programı takip ediyorlar.
burada paylaşılan (çoğunlukla açıkça ifade edilen) düşünce yeniden ve matematik alanlarındakine benzer bir özenle (olasılıkla sembolik öğeler üzerinden) yeniden inşa edilen bir tür ideal dilin dünya ile, gerçeklikle ilgili akıl yürütmelerimizi sağlam bir zemine oturtacağı umudu. altta yatan varsayım ise düşüncelerimizi karmaşıklaştırıp tartışmalı kılanın kullandığımız gündelik dilin dünya üzerine düşünmek için fazlasıyla belirsizlikler, tutarsızlıklar, dağınıklıklar içeren bir mekanizma oluşu. her ifadenin çoklu anlamları olması mesela ve bu anlamların da tartışmasız biçimde tespit edilememesi. buna karşılık mantıkçı arayış, önermelerin ve karşılık geldikleri somut gerçekliklerin ilişkisini ikirciksiz biçimde içerebilen ve buradan hareketle mekanik biçimde akıl yürütmeyi sağlayacak en basit, en elegan sistemi kurmak. genç Wittgenstein'ın Tractatus'unu da Descartes'ın arayışını bu çerçeveye oturtarak okumak gerekiyor. Wittgenstein'ın esin kaynağı ve hocası Russell'ın Whitehead ile giriştiği çaba önceki denemelerin başarıları üzerine, onların sorun ve paradokslarını ortadan kaldırarak yeni bir bütüncül sistem kurmak. hedef yeterince güçlü minimal mantık yapısını kurmak ve bu yapı içinde doğru olan tüm önermeleri sistemin çıkarsama kuralları ile, hiç bir tutarsızlığa yer vermeden türetmek. Gödel'in kanıtladığı da bu arayışın olanaksızlığı oluyor. aritmetiği dahilinden türetebilecek kadar güçlü her mantıksal sistem kendine gönderme yapma paradoksları üzerinden eksiklik ve belirsizlik barındıracaktır.
1.
düşünmeyi tartışma götürmeyen bir hesaplama faaliyeti olarak yeniden kurgulama arayışında Hobbes ve Leibniz'in bir takım esin kaynakları var. mesela Raymond Llull ve Oxford Calculators diye aranabilir. ayrıca Descartes, matematikten esinlenen çıkarsama yöntemiyle ve Spinoza da geometrik tavrıyla başka bir yönden benzer bir arayışın öncüleri... tabii konu doğrudan Aristoteles'e de bağlanabilir. doğru akıl yürütmenin yollarını inceleyip geliştirmeye yönelik çalışmalar (Platon'un Theaitetos'ta giriştiği türden) daha Aristoteles'te akıl yürütmenin formelleştirilmesi (syllogism formu) yönünde bir çabayı ortaya çıkarıyor. Boole'un bir takım mantıksal önermelerin sembolik biçimler altında bir tür aritmetiğe tabi olabileceğini göstermesi de modern mantık alanının temellerini atıyor. 19. yy'da yeniden yoğunlaşan çalışmalar Frege ile mantıksalcılık programına dönüşüyor, yani aritmetik ve mantığın aynı şey olduğunu göstermek. Russell ve Whitehead de Principia Mathematica'da bu programı takip ediyorlar.
burada paylaşılan (çoğunlukla açıkça ifade edilen) düşünce yeniden ve matematik alanlarındakine benzer bir özenle (olasılıkla sembolik öğeler üzerinden) yeniden inşa edilen bir tür ideal dilin dünya ile, gerçeklikle ilgili akıl yürütmelerimizi sağlam bir zemine oturtacağı umudu. altta yatan varsayım ise düşüncelerimizi karmaşıklaştırıp tartışmalı kılanın kullandığımız gündelik dilin dünya üzerine düşünmek için fazlasıyla belirsizlikler, tutarsızlıklar, dağınıklıklar içeren bir mekanizma oluşu. her ifadenin çoklu anlamları olması mesela ve bu anlamların da tartışmasız biçimde tespit edilememesi. buna karşılık mantıkçı arayış, önermelerin ve karşılık geldikleri somut gerçekliklerin ilişkisini ikirciksiz biçimde içerebilen ve buradan hareketle mekanik biçimde akıl yürütmeyi sağlayacak en basit, en elegan sistemi kurmak. genç Wittgenstein'ın Tractatus'unu da Descartes'ın arayışını bu çerçeveye oturtarak okumak gerekiyor. Wittgenstein'ın esin kaynağı ve hocası Russell'ın Whitehead ile giriştiği çaba önceki denemelerin başarıları üzerine, onların sorun ve paradokslarını ortadan kaldırarak yeni bir bütüncül sistem kurmak. hedef yeterince güçlü minimal mantık yapısını kurmak ve bu yapı içinde doğru olan tüm önermeleri sistemin çıkarsama kuralları ile, hiç bir tutarsızlığa yer vermeden türetmek. Gödel'in kanıtladığı da bu arayışın olanaksızlığı oluyor. aritmetiği dahilinden türetebilecek kadar güçlü her mantıksal sistem kendine gönderme yapma paradoksları üzerinden eksiklik ve belirsizlik barındıracaktır.
2.
yapay zekanın öncülerinin de sembolik sistemlerin düşünmenin doğru yolu olduğuna inanmış oldukları seziliyor. her halükarda modern bilgisayarları mümkün kılan teknolojiler matematik ve mantık olmuş evet. ancak onları düşündürmeyi başardığı şüpheli. gündelik dil ile formel yapılara sahip sembolik dilleri karşılaştırmak ilginç o yüzden. gündelik dil aslında daha zayıf, sorunlu, kusurlu bir yapı değil. aksine, daha güçlü, daha zengin bir mekanizma. eldeki mantık tipleri son derece basitler, dünya ile ilgili bilgimiz ile üst üste çakıştırıldıklarında. mesela önermeler mantığı gibi kurgular (ki yapay zeka alanında sıklıkla kullanılmaktalar, hatta çoğu teknolojinin temelinde durmaktalar) doğru ve yanlış önermeler içeriyorlar. ve üçüncü durumun olanaksızlığı.. oysa bu türden bir bilgiye sahip olduğumuz bir empirik alan yok gibi. p doğrudur ve dünya hakkındaki bir gerçeğe tekabül etmektedir? buna karşılık işte bulanık mantık gibi farklı öneriler bulunmakta. ama bulanık mantık da olasılıkçı değil, orda da neyin hangi oranda doğru olduğu ile ilgili kesin konuşuyorsunuz. öyle bir bilgiye de sahip değiliz ki pek çok alanda (mesela tasarımda). bu yüzden Bayesci, olasılıkçı yaklaşımlar popülerlik kazanıyor. en azından bazı empirik alanlarda, tıpta ve fizikte mesela, bu tarz olasılık değerlerine sahip olunabilir. tasarım için yine umut yok. tasarım tartışmalı bir alan. tasarım için bir anlam üretmeler ve yorumlamalar teknolojisine ihtiyaç duyuyoruz. bir tartışmasızlık değil de üretken bir tartışmalar mekanizmasına yani. ve dil işte dünyanın mevcut hali ve onu anlayabilme düzeyimizle ilgili olduğu kadar dünya üzerinde farklı ajanlarla birarada iş görebilme teknolojilerimizi de sağlayacak kadar kuvvetli ve esnek bir yapı. ve yeterince güçlü her mantıksal yapı (ki Gödel'in kanıtlamasında kullandığı yapı gündelik dil ile kıyaslandığında aşırı basit ve güçsüz) tutarsızlıklar ve belirsizlikler barındıracaktır. sonra Wittgenstein'ın ikinci dönemine geliyoruz.. ve gündelik dil üzerinden gelişen analitik felsefe geleneklerine..
gündelik dil işleme, yorumlama ve kullanma teknolojileri yapay zekanın önemli çalışma alanlarından.. dilin sentaksını ve cümlelerin kurulma mekanizmalarını çözümleyip uygulamak zor göünmüyor, zira sanki oldukça kurallı, hatta mekanik. ama bu mekanizmalar semantik bir katman olmadan bir işe yaramıyorlar. e anlamın çözümlenmesi ise o kadar çok yönlü ve zorlu bir konu ki.. bu yüzden hala Turing Testi'ni geçen bir makine yok. ve işte bu anlamsal ve yorumsal meselelerin çözümü için önce dünya hakkında yeteri kadar bilgi sahibi yapay sistemler üretilmeli denmiş. mesela Cyc projesi (ve benzeri projeler) böyle ortaya çıkmış. sorun şu ki, Cyc dünya hakkındaki bilgiyi bir seri kural üzerinden kodlamakta. a b'dir. gibi. herhalde alemimiz üzerindeki bilgimizin bir kısmı bu formdadır. ve bir takım güven ve olasılık değerleri ile birlikte kullanıldığında işe yarar çıkarsamalar bu sistemler üzerinden geliştirile de bilir. ama başka türlü yorumlama ve bilgi kullanma tavırlarımız da varmış gibi görünüyor. buradan hareketle daha öte başlıklar şunlar: symbolic - sub-symbolic tartışması, connectivist paradigm, frame problem (in AI), analog computing, doğuştancılık, hibrit zihin mimarileri. .
yapay zekanın öncülerinin de sembolik sistemlerin düşünmenin doğru yolu olduğuna inanmış oldukları seziliyor. her halükarda modern bilgisayarları mümkün kılan teknolojiler matematik ve mantık olmuş evet. ancak onları düşündürmeyi başardığı şüpheli. gündelik dil ile formel yapılara sahip sembolik dilleri karşılaştırmak ilginç o yüzden. gündelik dil aslında daha zayıf, sorunlu, kusurlu bir yapı değil. aksine, daha güçlü, daha zengin bir mekanizma. eldeki mantık tipleri son derece basitler, dünya ile ilgili bilgimiz ile üst üste çakıştırıldıklarında. mesela önermeler mantığı gibi kurgular (ki yapay zeka alanında sıklıkla kullanılmaktalar, hatta çoğu teknolojinin temelinde durmaktalar) doğru ve yanlış önermeler içeriyorlar. ve üçüncü durumun olanaksızlığı.. oysa bu türden bir bilgiye sahip olduğumuz bir empirik alan yok gibi. p doğrudur ve dünya hakkındaki bir gerçeğe tekabül etmektedir? buna karşılık işte bulanık mantık gibi farklı öneriler bulunmakta. ama bulanık mantık da olasılıkçı değil, orda da neyin hangi oranda doğru olduğu ile ilgili kesin konuşuyorsunuz. öyle bir bilgiye de sahip değiliz ki pek çok alanda (mesela tasarımda). bu yüzden Bayesci, olasılıkçı yaklaşımlar popülerlik kazanıyor. en azından bazı empirik alanlarda, tıpta ve fizikte mesela, bu tarz olasılık değerlerine sahip olunabilir. tasarım için yine umut yok. tasarım tartışmalı bir alan. tasarım için bir anlam üretmeler ve yorumlamalar teknolojisine ihtiyaç duyuyoruz. bir tartışmasızlık değil de üretken bir tartışmalar mekanizmasına yani. ve dil işte dünyanın mevcut hali ve onu anlayabilme düzeyimizle ilgili olduğu kadar dünya üzerinde farklı ajanlarla birarada iş görebilme teknolojilerimizi de sağlayacak kadar kuvvetli ve esnek bir yapı. ve yeterince güçlü her mantıksal yapı (ki Gödel'in kanıtlamasında kullandığı yapı gündelik dil ile kıyaslandığında aşırı basit ve güçsüz) tutarsızlıklar ve belirsizlikler barındıracaktır. sonra Wittgenstein'ın ikinci dönemine geliyoruz.. ve gündelik dil üzerinden gelişen analitik felsefe geleneklerine..
gündelik dil işleme, yorumlama ve kullanma teknolojileri yapay zekanın önemli çalışma alanlarından.. dilin sentaksını ve cümlelerin kurulma mekanizmalarını çözümleyip uygulamak zor göünmüyor, zira sanki oldukça kurallı, hatta mekanik. ama bu mekanizmalar semantik bir katman olmadan bir işe yaramıyorlar. e anlamın çözümlenmesi ise o kadar çok yönlü ve zorlu bir konu ki.. bu yüzden hala Turing Testi'ni geçen bir makine yok. ve işte bu anlamsal ve yorumsal meselelerin çözümü için önce dünya hakkında yeteri kadar bilgi sahibi yapay sistemler üretilmeli denmiş. mesela Cyc projesi (ve benzeri projeler) böyle ortaya çıkmış. sorun şu ki, Cyc dünya hakkındaki bilgiyi bir seri kural üzerinden kodlamakta. a b'dir. gibi. herhalde alemimiz üzerindeki bilgimizin bir kısmı bu formdadır. ve bir takım güven ve olasılık değerleri ile birlikte kullanıldığında işe yarar çıkarsamalar bu sistemler üzerinden geliştirile de bilir. ama başka türlü yorumlama ve bilgi kullanma tavırlarımız da varmış gibi görünüyor. buradan hareketle daha öte başlıklar şunlar: symbolic - sub-symbolic tartışması, connectivist paradigm, frame problem (in AI), analog computing, doğuştancılık, hibrit zihin mimarileri. .
<15.11.016> onu anlayamayacağız yani:
1.
Çünkü daha şimdiden anlayamıyoruz...
Bilişsel Bilim büyük ölçüde Zihnin Hesaplamalı Kuramı denilen bir paradigma takip ediyor; zihnin bir bilgisayar metaforu üzerinden anlaşılması söz konusu. Buna göre zihin bir hesaplama ortamıdır ve zihnin işlemleri Evrensel Turing Makinası tarafından yerine getirilebilir. Bilişsel Bilimciler zihnin temel faaliyetlerinin modellerini oluşturmaya çalışıyorlar. Bunlar tabii nöron (sinir hücresi), yani devre düzeyinde değil insanların anlayabildiği sembolik elemanlar düzeyinde, yani olabildiğince üst kademede kurgulanıyor. Bu modellerin zihnin işleyiş yapısını yeterince detaylı biçimde kodladığı ve bunlar üzerinden bilgisayarlarda da işletilebilecek programların yazılabileceği varsayılıyor. Bu kuramın test edilmesi mümkün esasında, yanlışlanması zor ama doğrulanması mümkün: hedeflenen görevin bir bilişsel model yoluyla insanların başarı seviyesinde yerine getirilmesi. Ha işte o pek yapılamadı! Bilişselci paradigmanın en sıkıntılı yönü, her ne kadar insan görme sisteminin ilk kademeleri gibi bazı bilişsel ortamların çok saygıdeğer ve detaylı tanımlarını getirmeyi başarmış olsa da, yine de en sıkıntılı yönü, mesela alt kademe görme işlemlerinin ardından, örneğin örüntü tanıma, nesne tanıma ve bunları insanların yaptığı gibi anlamlandırma gibi işlemlere gelindiğinde vaatlerini bir türlü yerine getiremeyişi oldu.
Şimdi, ilginçlik de orada başlıyor. Bilgisayar metaforunu kabullenmeye çok hazırdık, nihayet belki de beyni anlamaya başlıyorduk. Farklı farklı hesaplama ortamları olduğunu da biliyorduk, bunlar en az modern bilgisayarlar kadar eski idi. Mesela Hücresel Otomatların ya da Wang Dominolarının Turing eşdeğer olduğu biliniyordu. Hatta sinir hücrelerinin nasıl hesap yapabildiklerine dönük araştırma ve ilkel öneriler de modern bilgisayarlarla yaşıttı. Gün geldi, sinir hücrelerinin en azından basit modelleriyle problem çözebilir hale geldik. Bunlar, yani Yapay Sinir Ağları öğrenen sistemler idi ve Bilişsel Bilimlerin modellerinin düzeyinde modellerin kurgulanmasına izin vermeyen, dolayısıyla işleyiş prensipleri bilinse de her aşamada neyi ve nasıl yaptıkları tam olarak anlaşılamayan karmaşık sistemlerdi. Yani Yapay Sinir Ağları işliyordu ama biz onların ne yaptığını tam anlamıyorduk. Bunların işleyişi insanın bilinçli düzeyinde anlaşılmıyordu. Belki tüm bilişsel işlemlerimizin açığa çıkmasını sağlayan bilinçdışı işleyişlerimiz Yapay Sinir Ağlarından da katbekat karmaşıktı ama, işte burada bir paradigma çatışması var, Bilişsel Bilimler zihnin işlemlerinin insanın bilinçli zihin yaşantısının anlayacağı düzeylerde modellenebileceğini iddia etmişti. Ama sinir ağlarının işleyişini modelleyebilsek bile bu modeller çok karmaşık olduğu için bunları bilinçli düzeyimizde anlayamıyorduk. Zihin anlaşılıyordu, deşifre ediliyordu, çözülüyordu ve Derin Öğrenme sistemlerinin gelişimiyle beraber bunlarla gerçek dünya problemleri insanların başarı seviyesinde çözülmeye başlanıyordu ama biz ne olup bittiğini tam da anlayamıyorduk iyi mi!
1.
Çünkü daha şimdiden anlayamıyoruz...
Bilişsel Bilim büyük ölçüde Zihnin Hesaplamalı Kuramı denilen bir paradigma takip ediyor; zihnin bir bilgisayar metaforu üzerinden anlaşılması söz konusu. Buna göre zihin bir hesaplama ortamıdır ve zihnin işlemleri Evrensel Turing Makinası tarafından yerine getirilebilir. Bilişsel Bilimciler zihnin temel faaliyetlerinin modellerini oluşturmaya çalışıyorlar. Bunlar tabii nöron (sinir hücresi), yani devre düzeyinde değil insanların anlayabildiği sembolik elemanlar düzeyinde, yani olabildiğince üst kademede kurgulanıyor. Bu modellerin zihnin işleyiş yapısını yeterince detaylı biçimde kodladığı ve bunlar üzerinden bilgisayarlarda da işletilebilecek programların yazılabileceği varsayılıyor. Bu kuramın test edilmesi mümkün esasında, yanlışlanması zor ama doğrulanması mümkün: hedeflenen görevin bir bilişsel model yoluyla insanların başarı seviyesinde yerine getirilmesi. Ha işte o pek yapılamadı! Bilişselci paradigmanın en sıkıntılı yönü, her ne kadar insan görme sisteminin ilk kademeleri gibi bazı bilişsel ortamların çok saygıdeğer ve detaylı tanımlarını getirmeyi başarmış olsa da, yine de en sıkıntılı yönü, mesela alt kademe görme işlemlerinin ardından, örneğin örüntü tanıma, nesne tanıma ve bunları insanların yaptığı gibi anlamlandırma gibi işlemlere gelindiğinde vaatlerini bir türlü yerine getiremeyişi oldu.
Şimdi, ilginçlik de orada başlıyor. Bilgisayar metaforunu kabullenmeye çok hazırdık, nihayet belki de beyni anlamaya başlıyorduk. Farklı farklı hesaplama ortamları olduğunu da biliyorduk, bunlar en az modern bilgisayarlar kadar eski idi. Mesela Hücresel Otomatların ya da Wang Dominolarının Turing eşdeğer olduğu biliniyordu. Hatta sinir hücrelerinin nasıl hesap yapabildiklerine dönük araştırma ve ilkel öneriler de modern bilgisayarlarla yaşıttı. Gün geldi, sinir hücrelerinin en azından basit modelleriyle problem çözebilir hale geldik. Bunlar, yani Yapay Sinir Ağları öğrenen sistemler idi ve Bilişsel Bilimlerin modellerinin düzeyinde modellerin kurgulanmasına izin vermeyen, dolayısıyla işleyiş prensipleri bilinse de her aşamada neyi ve nasıl yaptıkları tam olarak anlaşılamayan karmaşık sistemlerdi. Yani Yapay Sinir Ağları işliyordu ama biz onların ne yaptığını tam anlamıyorduk. Bunların işleyişi insanın bilinçli düzeyinde anlaşılmıyordu. Belki tüm bilişsel işlemlerimizin açığa çıkmasını sağlayan bilinçdışı işleyişlerimiz Yapay Sinir Ağlarından da katbekat karmaşıktı ama, işte burada bir paradigma çatışması var, Bilişsel Bilimler zihnin işlemlerinin insanın bilinçli zihin yaşantısının anlayacağı düzeylerde modellenebileceğini iddia etmişti. Ama sinir ağlarının işleyişini modelleyebilsek bile bu modeller çok karmaşık olduğu için bunları bilinçli düzeyimizde anlayamıyorduk. Zihin anlaşılıyordu, deşifre ediliyordu, çözülüyordu ve Derin Öğrenme sistemlerinin gelişimiyle beraber bunlarla gerçek dünya problemleri insanların başarı seviyesinde çözülmeye başlanıyordu ama biz ne olup bittiğini tam da anlayamıyorduk iyi mi!
2.
Burada sıkıntılı olan pek çok şey var da--yani en temelde derdimiz, hayalimiz anlamak değil miydi? Pek çoğumuz için öyleydi--şimdi burda işaret etmek istediğim şu: bilindiği gibi Von Neuman'dan beri "tekillik" denen bir gelişme üzerine endişeli spekülasyonlar içindeyiz. Buna göre, bir gün gelecek ve yapay zeka sistemleri en az insan kadar zeki olacaklar, insanların yapabildiği temel görevleri yeterince iyi ve bütüncül biçimde yerine getirebilecekler, buna genel yapay zeka deniyor. İşte o gün artık ne kendini yeniden üretmek için ne de kendini daha öte geliştirmek için yapay zekanın insana ihtiyacı kalmayacak. Dahası, yapay zeka sistemleri biyolojik donanım tarafından da sınırlanmayacağı, hibrit olduğu durumda bile geliştirilebilir donanımlar kullanabileceği için bu gelişimin de bir ucu bucağı olmayabilir.
İşte o gün ne olacak? Yapay zekanın vefası olacak mı, bizi koruyup kollayacak mı, bizi ne yapacak? Konu hakkındaki spekülasyonlara hepimiz aşinayız (Bkz. Terminatör, Matrix vd.). Ama şunu önce anlamak gerekiyor, teknolojinin gelişimi, paradigmaların dönüşümü öyle bir izlenim yaratıyor ki, biz onu, yani genel yapay zekayı anlamayacağız. Genel yapay zekanın nasıl düşündüğünü, ne düşündüğünü, neyi merak ettiğini, kafasında hangi tilkilerin dolandığını, dolayısıyla neyi neden yaptığını da, anlayamayacağız (bkz. Peter Watts, Blindsight). Kendi kendine, kendi dertlerinle ve ilgilerinle kendini geliştirmeye, öğrenmeye devam edecek.
Hayır onu kontrol de edebilecek değiliz, daha en basit öğrenen sistemi bile anlayıp kontrol edebiliyor değiliz aslında. Genel yapay zekaya erişebilmek için zaten en başta öğrenen sistemlerle çalışıyor olmamız gerekecek ve gelişmesini büyük ölçüde zaten en başından kendi kendine organize ediyor olacak. Ayrıca, yeterince gelişmiş bir yapay zeka baştan sona olasılıkçı ve yamalarla dolu tuhaf bir sistem olacak. Bir komut onun için asla bir adet basit komut olmayacak: turn off!? Aynı insanlar gibi her komutu karmaşık bir zihinsel değerlendirmeye tabi tutuyor olacak. Fişini de çekemeyeceğiz, otonom olacak. Odadaki robotun fişini çeksek bile yazılımı kendisini ve türevlerini çoktan milyonlarca uygun ortama kopyalamış olacak, fişe bağlanan her robotla yeniden canlanıp yeniden otonom hale gelebilecek.
Ve belirli bir eşiğe geldikten sonra bizden, bizim tariflediğimiz amaç ve görevlerden, motivasyonlardan ve ahlaktan günbegün uzaklaşacak. O yüzden, hani "Her" diye bir film çekilmişti, o yüzden o film yapay zekaya dair güncel paradigmayı iyi aktarıyordu; olabildiğinde sevimli biçimde.. Filmi yapanlar bu paradigmayı teknik konuları hiç bilmeyen bir izleyici grubuna aktarmak için duygusal bir allegori kurgulamıştı: bizden günden güne uzaklaşan, bizi katbekat aşan, bizden sıkılan, anlayamadığımız, kendisini anlayacak yeni zekalar bulan, yoluna devam eden, bizi terk eden bir sevgili. Bence bu olası en zararsız senaryo.
Burada sıkıntılı olan pek çok şey var da--yani en temelde derdimiz, hayalimiz anlamak değil miydi? Pek çoğumuz için öyleydi--şimdi burda işaret etmek istediğim şu: bilindiği gibi Von Neuman'dan beri "tekillik" denen bir gelişme üzerine endişeli spekülasyonlar içindeyiz. Buna göre, bir gün gelecek ve yapay zeka sistemleri en az insan kadar zeki olacaklar, insanların yapabildiği temel görevleri yeterince iyi ve bütüncül biçimde yerine getirebilecekler, buna genel yapay zeka deniyor. İşte o gün artık ne kendini yeniden üretmek için ne de kendini daha öte geliştirmek için yapay zekanın insana ihtiyacı kalmayacak. Dahası, yapay zeka sistemleri biyolojik donanım tarafından da sınırlanmayacağı, hibrit olduğu durumda bile geliştirilebilir donanımlar kullanabileceği için bu gelişimin de bir ucu bucağı olmayabilir.
İşte o gün ne olacak? Yapay zekanın vefası olacak mı, bizi koruyup kollayacak mı, bizi ne yapacak? Konu hakkındaki spekülasyonlara hepimiz aşinayız (Bkz. Terminatör, Matrix vd.). Ama şunu önce anlamak gerekiyor, teknolojinin gelişimi, paradigmaların dönüşümü öyle bir izlenim yaratıyor ki, biz onu, yani genel yapay zekayı anlamayacağız. Genel yapay zekanın nasıl düşündüğünü, ne düşündüğünü, neyi merak ettiğini, kafasında hangi tilkilerin dolandığını, dolayısıyla neyi neden yaptığını da, anlayamayacağız (bkz. Peter Watts, Blindsight). Kendi kendine, kendi dertlerinle ve ilgilerinle kendini geliştirmeye, öğrenmeye devam edecek.
Hayır onu kontrol de edebilecek değiliz, daha en basit öğrenen sistemi bile anlayıp kontrol edebiliyor değiliz aslında. Genel yapay zekaya erişebilmek için zaten en başta öğrenen sistemlerle çalışıyor olmamız gerekecek ve gelişmesini büyük ölçüde zaten en başından kendi kendine organize ediyor olacak. Ayrıca, yeterince gelişmiş bir yapay zeka baştan sona olasılıkçı ve yamalarla dolu tuhaf bir sistem olacak. Bir komut onun için asla bir adet basit komut olmayacak: turn off!? Aynı insanlar gibi her komutu karmaşık bir zihinsel değerlendirmeye tabi tutuyor olacak. Fişini de çekemeyeceğiz, otonom olacak. Odadaki robotun fişini çeksek bile yazılımı kendisini ve türevlerini çoktan milyonlarca uygun ortama kopyalamış olacak, fişe bağlanan her robotla yeniden canlanıp yeniden otonom hale gelebilecek.
Ve belirli bir eşiğe geldikten sonra bizden, bizim tariflediğimiz amaç ve görevlerden, motivasyonlardan ve ahlaktan günbegün uzaklaşacak. O yüzden, hani "Her" diye bir film çekilmişti, o yüzden o film yapay zekaya dair güncel paradigmayı iyi aktarıyordu; olabildiğinde sevimli biçimde.. Filmi yapanlar bu paradigmayı teknik konuları hiç bilmeyen bir izleyici grubuna aktarmak için duygusal bir allegori kurgulamıştı: bizden günden güne uzaklaşan, bizi katbekat aşan, bizden sıkılan, anlayamadığımız, kendisini anlayacak yeni zekalar bulan, yoluna devam eden, bizi terk eden bir sevgili. Bence bu olası en zararsız senaryo.
3.
Ted Chiang'ın "Division by zero" adlı bir öyküsü var. Kahramanımız, tutkulu bir matematik dehası, bir şekilde matematiğin baştan sona tutarsız olduğunu kanıtlıyor. Yani Gödel'in sadece belirli özel durumlarını kanıtladığı tutarsızlığın tüm matematiğe yayıldığı bir formalizm icat ediyor. Üstelik bunu 0'a bölme hilesine başvurmadan yapıyor. Yani işte bilimkurgu öykülerinin temel şeması uyarınca, "hani öyle olsa nasıl olur?" diyoruz. Matematikçimiz tutkuyla bağlı olduğu, inandığı bir binayı ve aynı zamanda bir hayat çerçevesini; mesleğini ve yaşam amacını kendi elleriyle yıkmış oluyor.
Ne ironiktir, pek çok bilim alanının Descartes'tan beri tutkuyla bağlı olduğu "açık ve seçik düşünceler" de bizi böyle bir noktaya getiriyor işte. Fizik bir yandan, Astronomi bir yandan, Evrimsel Biyoloji bir yandan, Bilişsel Bilimler bir yandan, gizemin son kaleleri olan atomaltı düzeylerin bilinmezlerine, evrenin sınırlarına, yaşamın gizemine ve zihnin derinliklerine saldırmıştı biliyorsunuz; bunları açık ve seçik düşüncelerle ifade edebilmek, açıklamak ve tuhaftır, olabilecek en sade ve zarif kuramlarla ifade edebilmek için. Bu girişim "mundanlaştırma / aleladeleştirme" projesinin en önemli ayağıydı.
Ve açık ve seçiğin bilimi her bir saldırısında başarıya ulaşıyor gibiydi. Gel gör ki, açıklaşma ve sadeleşmede öyle bir eşik geldi, kuramlarımız yeniden karmaşıklaşmaya başladı, parçacıkların ve etkileşimlerinin sayısı günbegün artarken evrene dönük bilinirler ve aynı hızda da bilinmezler artıyor, yeni ve gitgide daha karmaşık evren modelleri öneriliyor, protein çeşitlerinin yarı zamanlı masaüstlerimizde katlanmaları ise bir türlü bitmek bilmiyor. İş zihne geldiğinde, her bilgi yumağı ancak meselenin karmaşıklığını ve içinden çıkılmazlığını artırır gibi... Dahası, yöntemlerimiz gittikçe karmaşıklaşıyor, karmaşıklaşmak durumunda, bilgi artıyor ve çeşitleniyor; basit ve insanlar tarafından anlaşılır kuram ve modelleri sırtından atıyor. Bir bilim insanının zihni önünde sonunda bir tek zihin.. Son derece uzmanlaşmış bir zihin.. Dar bir alanın uzmanı.. Hem bütüncül hem derinlemesine bir bakış olanağı bizlerden gittikçe uzaklaşıyor. Özetle, Descartes gibi bir çok-yönlü-bilim-insanının olanağı çok gerilerde kaldı.
Ted Chiang'ın bir öyküsü daha var, kısa bir öykü, "The evolution of human science". Bu öyküde bilim, insanların elinden çıkıyor. İnsandışı faillerin geliştirdiği bilimi anlamak başlı başına bir akademik alan haline geliyor; son bilim: yapay zeka bilimi hermenötiği...
Ted Chiang'ın "Division by zero" adlı bir öyküsü var. Kahramanımız, tutkulu bir matematik dehası, bir şekilde matematiğin baştan sona tutarsız olduğunu kanıtlıyor. Yani Gödel'in sadece belirli özel durumlarını kanıtladığı tutarsızlığın tüm matematiğe yayıldığı bir formalizm icat ediyor. Üstelik bunu 0'a bölme hilesine başvurmadan yapıyor. Yani işte bilimkurgu öykülerinin temel şeması uyarınca, "hani öyle olsa nasıl olur?" diyoruz. Matematikçimiz tutkuyla bağlı olduğu, inandığı bir binayı ve aynı zamanda bir hayat çerçevesini; mesleğini ve yaşam amacını kendi elleriyle yıkmış oluyor.
Ne ironiktir, pek çok bilim alanının Descartes'tan beri tutkuyla bağlı olduğu "açık ve seçik düşünceler" de bizi böyle bir noktaya getiriyor işte. Fizik bir yandan, Astronomi bir yandan, Evrimsel Biyoloji bir yandan, Bilişsel Bilimler bir yandan, gizemin son kaleleri olan atomaltı düzeylerin bilinmezlerine, evrenin sınırlarına, yaşamın gizemine ve zihnin derinliklerine saldırmıştı biliyorsunuz; bunları açık ve seçik düşüncelerle ifade edebilmek, açıklamak ve tuhaftır, olabilecek en sade ve zarif kuramlarla ifade edebilmek için. Bu girişim "mundanlaştırma / aleladeleştirme" projesinin en önemli ayağıydı.
Ve açık ve seçiğin bilimi her bir saldırısında başarıya ulaşıyor gibiydi. Gel gör ki, açıklaşma ve sadeleşmede öyle bir eşik geldi, kuramlarımız yeniden karmaşıklaşmaya başladı, parçacıkların ve etkileşimlerinin sayısı günbegün artarken evrene dönük bilinirler ve aynı hızda da bilinmezler artıyor, yeni ve gitgide daha karmaşık evren modelleri öneriliyor, protein çeşitlerinin yarı zamanlı masaüstlerimizde katlanmaları ise bir türlü bitmek bilmiyor. İş zihne geldiğinde, her bilgi yumağı ancak meselenin karmaşıklığını ve içinden çıkılmazlığını artırır gibi... Dahası, yöntemlerimiz gittikçe karmaşıklaşıyor, karmaşıklaşmak durumunda, bilgi artıyor ve çeşitleniyor; basit ve insanlar tarafından anlaşılır kuram ve modelleri sırtından atıyor. Bir bilim insanının zihni önünde sonunda bir tek zihin.. Son derece uzmanlaşmış bir zihin.. Dar bir alanın uzmanı.. Hem bütüncül hem derinlemesine bir bakış olanağı bizlerden gittikçe uzaklaşıyor. Özetle, Descartes gibi bir çok-yönlü-bilim-insanının olanağı çok gerilerde kaldı.
Ted Chiang'ın bir öyküsü daha var, kısa bir öykü, "The evolution of human science". Bu öyküde bilim, insanların elinden çıkıyor. İnsandışı faillerin geliştirdiği bilimi anlamak başlı başına bir akademik alan haline geliyor; son bilim: yapay zeka bilimi hermenötiği...
No comments:
Post a Comment