Non sai a chi devolvere il tuo 5 per mille? Scegli l'associazione Ankyra, centro antiviolenza che tutela uomini e donne vittime di violenze e maltrattamenti. Qui spiego perché.
| 54 commenti | pdf

L'uomo artificiale


Questo articolo è stato pubblicato in versione ridotta su la Verità del 31 gennaio 2020 con il titolo "L'intelligenza artificiale non esiste ma serve a renderci come macchine".

Non passa giorno senza che ci si imbatta nell'annuncio di nuove e vieppiù audaci applicazioni dell'intelligenza artificiale: quella all'indicativo futuro che guiderà le automobili, diagnosticherà le malattie, gestirà i risparmi, scriverà libri, dirimerà contenziosi, dimostrerà teoremi irrisolti. Che farà di tutto e lo farà meglio, sicché chi ne scrive immagina tempi prossimi in cui l'uomo diventerà «obsoleto» e sarà progressivamente sostituito dalle macchine, fino a proclamare con dissimulato orgasmo l'avvento di un apocalittico «governo dei robot». Questo parlare di cose nuove non è però nuovo. La proiezione fantatecnica incanta il pubblico da circa due secoli, da quando cioè «la religione della tecnicità» ha fatto sì che «ogni progresso tecnico [apparisse alle masse dell'Occidente industrializzato] come un perfezionamento dell'essere umano stesso» (Carl Schmitt, Die Einheit der Welt) e, nell'ancorare questo perfezionamento a ciò che umano non è, gli ha conferito l'illusione di un moto inarrestabile e glorioso. Come tutte le religioni, anche quella della «tecnicità» produce a corollario dei «testi sacri» degli officianti-tecnici un controcanto apocrifo di leggende popolari in cui si trasfigurano le speranze e le paure dell'assemblea dei devoti. Delle leggende non serve indagare la plausibilità, ma il significato.

Per intelligenza artificiale (IA) si intendono le tecnologie in grado di simulare le abilità, il ragionamento e il comportamento degli esseri umani. Risulta dunque difficile capire da che punto in poi l'IA si distingua, ad esempio, da una piccola calcolatrice che svolge un'attività propria della mente umana (il calcolo, appunto), o da un personal computer che già simula molte abilità dell'uomo per via riduzionistica, scomponendole cioè in enti numerabili. Il concetto di IA sembra perciò essere più ottativo che tecnico. Non introduce alcuna rivoluzione ma identifica piuttosto, sotto un'etichetta accattivante e di dubbia solidità epistemica, lo sforzo e l'auspicio di sviluppare tecniche informatiche sempre più sofisticate e potenti. Che poi queste tecniche finiscano sempre per replicare, potenziandole, alcune funzioni della mente umana è ovvio in definizione, essendo state concepite e create proprio da quella mente e proprio con quell'obiettivo, fin dall'inizio.

Ciò che appassiona delle più recenti applicazioni dell'IA (cioè del computer) è la crescente capacità di elaborare input non rigidamente formalizzati, come ad esempio le riprese fotografiche, i tratti somatici, le basi di dati incoerenti e - soprattutto - il linguaggio. Quest'ultimo, espressione libera e creativa che si rigenera in continuazione (Noam Chomsky), rappresenta in effetti il banco di prova più importante. Per essere compiutamente decifrato esige non solo la corretta comprensione delle pur complesse norme sintattiche, ma anche quella dei sottotesti e contesti culturali, simbolici, emotivi (comprensione semantica). Ben più che uno strumento, il linguaggio è l'incarnazione dell'intelligenza che nel linguaggio si (ri)crea, traduce gli infiniti rivoli dell'esperienza individuale e sociale e si comunica agli altri. L'assalto cibernetico a questo impervio monte, che tanto ricorda l'impresa babelica finita proprio nel caos delle lingue, è solo ai suoi timidi inizi e sinora ha prodotto metafore matematiche più o meno promettenti per avvicinarsi ai misteri della mente. Ma per quanta strada si possa percorrere in questa direzione, resteremmo comunque ontologicamente lontani dall'obiettivo.

L'intelligenza non è solo funzionale, non si limita cioè a risolvere i problemi ma li pone, li formula e li dispone secondo gerarchie. In ciò è insieme condizionata e finalizzata dal soggetto che la esprime, ne è definita anche etimologicamente perché espressione indissolubile e diretta dei suoi fines, dei limiti che ne tracciano l'irripetibile e indivisibile identità: desideri, preferenze, paure, affetti, educazione, empatia e relazioni sociali, fede nella trascendenza, corporeità, morte e molto altro. Se la competenza logico-matematica è terreno comune a tutti gli uomini e a tutte le macchine, il suo esercizio è invece asservito alle gradazioni e alla mutevolezza della condizione di ciascuno. Una macchina non può ragionare come un uomo semplicemente perché non è un uomo, proprio come un bambino non ragiona come un adulto, un ricco come un povero, un sano come un ammalato, un ateo come un cristiano, un aborigeno come un europeo ecc. Occorre allora chiedersi il perché di questa finzione, di negare il naturale rapporto di complementarietà tra i due domini con la pretesa che possano, per qualcuno anzi debbano, sovrapporsi fino a confondersi e sostituirsi.

***

Qui azzardo due risposte. Se il soggetto intelligente guarda dentro (intŭs lĕgit) la propria condizione nel mondo per formulare gli obiettivi da sottoporre ai processi logici e computazionali eventualmente delegabili a un algoritmo, se opera cioè una «scelta preanalitica» (Mario Giampietro) che antecede e informa quei processi, resta scoperto il problema di chi detterebbe ex multis gli obiettivi alle macchine affinché le si possa chiamare «intelligenti». Come il «pilota automatico» di Mario Draghi, l'IA guiderà da sola e supererà brillantemente ogni ostacolo, ma verso quale meta? Escludendo l'ipotesi apocalittica (quella in cui se la darebbe da sola), sarà inevitabilmente la meta iscritta nel codice dai suoi committenti, che governando il codice godranno del privilegio di imporre i propri modelli etici, politici ed esistenziali a tutti, ovunque esista un processore e una scheda di rete. Dal groviglio delle sofisticazioni tecniche emergerebbe allora una più lineare dinamica di dominio dell'uomo sull'uomo, dove la citata finzione non sarebbe altro che una variante della pretesa tecnocratica, di incapsulare gli interessi e i moventi di una classe in una procedura sedicente asettica, inalterabile e necessaria, sottraendoli così alle resistenze delle altre forze sociali. Per chi si è lasciato mettere in ceppi dalle «ferree leggi» dell'economia (cioè dalle priorità di qualcuno, secondo le sue premesse e la sua visione del mondo) e da «lo dice la scienza» (idem), non sarà difficile accettare che la soluzione migliore sia quella partorita dai ventriloqui della marionetta cibernetica e «intelligente».

La seconda ipotesi chiama in causa il limite dell'uomo, cioè la sua definizione. Numerosi indizi fanno temere che, nel sentire comune, la riduzione del corredo soggettivo e plurale delle intelligenze umane in un sottogruppo acefalo di procedure erga omnes sia intesa non già come un impoverimento, ma come un salutare superamento della brulicante e imprevedibile complessità di pensieri, comportamenti e moventi del formicaio umano, e quindi dei «pericoli» che vi si anniderebbero. La macchina (si pensa) non «tiene famiglia» e non ha nulla da perdere né da guadagnare e quindi (si pensa) non può che fare «la cosa giusta» per tutti. Dalla tentazione così squisitamente adamitica e gnostica di separare anzitempo la zizzania dal grano scaturisce l'illusione di distillare processi cognitivi e decisionali infallibili - o comunque i migliori possibili - disattivando tutto ciò che può generare l'«errore»: fragilità, affetti, inclinazioni, dolo, ma anche e in ultima istanza l'incomputabile libero arbitrio, la libertà di ciascuno. Si è però visto che l'unità indissolubile di intelligenza e soggetto rende vana questa illusione, il cui solo risultato può essere quello di spostare l'arbitrio in poche mani potenti, omologando il resto. Ma poco importa. Più forte è il disgusto e la paura dell'indisciplinabile incognita uomo, il desiderio di spuntarle le armi incatenandola e negandola nella sua essenza distintiva, quella pensante. Questa brama del non vivente, di spegnere il coro dissonante delle intelligenze per ridurli alla monodia degli zombie, non si misura solo dai sogni - assurdi anche tecnicamente - di dare scacco matto a truffa e corruzione grazie alle transazioni elettroniche certificate, di «eliminare (sic) le mafie» con il denaro virtuale o i brogli con le macchinette per votare, ma in modo ancora più diretto dall'eugenetica morale di chi vorrebbe espungere «l'odio», «la paura» e altri sentimenti «cattivi» (partendo, ça va sans dire, dalla più tenerà età, nei casi estremi fino al sequestro ideologico o fisico dell'infanzia), ridurre al silenzio agli specialisti della salute, del clima e dell'economia che non ripetono a pappagallo una tesi o mettere in cima ai valori politici «l'onestà», cioè l'esecuzione demente, sicut ac machina, di una legge scritta, immaginando così di programmare gli umani.

Osserviamo la realtà. Nella pratica, quasi tutto ciò che oggi si fregia sui rotocalchi e nei parlamenti dell'etichetta di IA - cioè la digitalizzazione, in qualunque modo o misura la si applichi - è molto lontano dal requisito di portare la macchina nel modus cogitandi et operandi degli esseri umani per mettersi al loro servizio. All'opposto, le sue applicazioni implicano la necessità o persino l'obbligo che siano invece gli uomini ad adeguarsi alle procedure della macchina e a servirla. Ad esempio, se davvero avessimo a che fare con un'intelligenza umanoide di silicio che si integra con discrezione nella nostra struttura mentale, che bisogno avremmo di lamentarci della mancanza di «cultura digitale»? Non dovrebbe toccare al calcolatore l'onere di assorbire la nostra cultura? E a che pro insegnare il «coding», la lingua dei computer, a tutti i bambini? Di salutarlo (boom!) come «il nuovo latino»? Non dovevano essere i robot a parlare la nostra lingua? E perché addannarci con procedure telematiche, moduli online, assistenti telefonici, PEC, app, PIN, SPID, registri elettronici ecc. e stravolgere il nostro modo di lavorare e di pensare per servire al calcolatore la «pappa pronta» da digerire? Perché faticare il doppio per trasmettergli le nostre fatture nell'unico formato che riesce a comprendere, quando un mediocre studente di ragioneria sarebbe stato in grado di decifrarle in ogni variante formale? E perché spendere tempo, quattrini e salute nervosa per imparare tutte queste cose? Il «deep learning» non doveva essere una prerogativa dei nuovi algoritmi? Insomma, si ha l'impressione che la celebrata umanizzazione della macchina si stia risolvendo proprio nel suo contrario: in una macchinizzazione dell'uomo. Che l'impossibilità - lo ripetiamo: ontologica - di portare i circuiti nei nostri ranghi stia producendo il risultato inverso di fletterci, costi quel che costi, alla rigida cecità della loro legge.

Certo, possiamo raccontarci che questi sono solo paradossi transitori che servono a perfezionare e a istruire l'IA affinché spicchi presto il volo promesso. Ma la verità è un'altra ed è sotto gli occhi di tutti. È che l'IA è la nostra intelligenza, l'IA siamo noi. Non ci parla dei progressi dell'ingegneria e della scienza, ma di un auspicato progresso dell'uomo chiamato a spogliarsi dei suoi difetti - cioè di se stesso - per rivestirsi della stolta obbedienza, della prevedibilità e della governabilità dei dispositivi elettronici. Se nella prima fase questa transizione si è imposta con la seduzione dei suoi vantaggi, dal personal computer in ogni casa ai servizi internet gratuiti fino alla connettività mobile, in quella successiva deve forzare la mano magnificando i suoi benefici e rendendoli in ogni caso obbligatori con qualche pretesto penoso: la semplificazione, il risparmio, il progresso-che-non-si-può-fermare. È la fase in cui ci troviamno oggi: quella del 5G, degli elettrodomestici e delle automobili in rete, dei telefoni che non si spengono mai, della telematizzazione kafkiana dei servizi pubblici e, insieme, dei mal di pancia di chi si preoccupa, resiste e dubita, anche perché le promesse di miglioramento sociale che hanno accompagnato la precedente ondata sono state tutte miseramente disattese (che si parli di crisi proprio da quando si parla di «rivoluzione digitale» è un dettaglio che non tutti hanno trascurato di notare). Nel frattempo qualcuno, reso audace dallo Stato innovatore-coercitore, scopre le carte e prepara la terza e ultima fase in cui gli esseri umani dovranno accogliere le macchine anche nel proprio corpo e non più solo nei pensieri, con l'impianto di circuiti e processori collegati agli organi o direttamente al cervello. Con tanti saluti ai computer che diventano intelligenti, l'intelligenza diventerà un computer e l'uomo «sarà allora bardato di protesi prima di diventare egli stesso un artefatto, venduto in serie a consumatori diventati a loro volta artefatti. Poi, divenuto ormai inutile alle proprie creazioni, scomparirà» (Jacques Attali, Une brève histoire de l'avenir).

Questa riflessione non sarebbe completa senza chiedersi: perché? Qual è il senso di questo processo e del suo essere salutato come una mano santa, o almeno come una sfida a cui non ci si deve sottrarre? Indubbiamente a qualcuno non dispiacerà l'idea di tracciare, controllare e condizionare ogni azione o pensiero di ogni singolo individuo, ovunque e in qualunque momento. Né di assoggettare i popoli a processi e processori automatici che non lasciano scampo, privi di riflessione e di empatia e perciò inesorabilmente fedeli al mandato, fosse anche il più atroce. Ma anche questo sogno o incubo non sarebbe nuovo. La psicopatologia dell'onnipotenza e la volontà di dominio sono sempre esistite. Più triste è invece l'assenso delle cavie che si prestano a un siffatto esperimento di subumanesimo: dai politici che assecondano beoti le mode globali e le impongono ai cittadini, ai cittadini stessi che si immaginano pionieri di un'ubertosa età del silicio. C'è, evidentemente, un problema di percezione che non può essere solo effetto della propaganda. Una civiltà che desidera superare l'umano non può che essere profondamente scontenta di sé. È una civiltà delusa e intrappolata, incapace di raggiungere gli obiettivi che si è imposta ma altrettanto incapace di respingerli e di riconoscerli come ostili al proprio bisogno di prosperità e giustizia. Non riesce a immaginare un'alternativa e immagina allora che l'anello marcio della catena siano proprio i suoi membri: gli uomini deboli e irrazionali, indegni della meta. Umso schlimmer für die Menschen! Nasce da qui, dalla percezione strisciante di un fallimento epocale, l'illusione di salvarsi incatenando i passeggeri ai sedili e di sopprimerne le salvaguardie per espiare la «vergogna prometeica» (Günther Anders) di non essere all'altezza delle proprie creature, anche politiche. Per comprendere le radici di questa disperazione è quindi inutile interrogare gli ingegneri. Le tecnologie, intelligenti o meno, sono solo il pretesto di una fuga da sé che andrebbe affrontata almeno abbandonando la tentazione puerile di soluzioni «perfette» e perciò estranee al mistero irriducibile di un'umanità in cui «si mescolano polvere e divinità» (Fritjof Schuon), che vive nella quantità mentre aspira all'innumerabile e dissemina le sue verità provvisorie in miliardi di anime. Rimarrà il compromesso di una vita non certo geometrica e rassicurante come un videogioco, ma proprio per questo possibile, forse anche degna di essere vissuta.


Lascia un commento

Commenti

Mr Myshk8n

Il computer sicuramente è in grado si sconfiggere a scacchi il campione del mondo, ma non sarà mai in grado di decidere se non sia il caso, per qualunque motivo, di perdere apposta.

Rispondi

Andre

Ho letto oggi l'articolo e ne sono rimasto affascinato. Riflettevo su queste idee.
(1) Se ancora oggi moltissimi studiosi e ricercatori non sanno dare una definizione dell'intelligenza umana, come si fa a voler creare una IA che vorrebbe imitare quella umana ? Non sarebbe come se volessi provare a costruirmi in garage una macchina volante che imiti il funzionamento di un aereo, senza peró nulla sapere su come funziona un aereo?
(2) Siamo sicuri che la cosiddetta civiltá occidentale sia davvero scontenta di se stessa ? Delusa ? O forse, in qualche modo, essa é spinta a credere, di crisi in crisi, di allarme in allarme, con ampi bombardamenti mediatici e un peggioramento dell'istruzione scolastica, che le cose non funzionano e che é, in fondo, colpa nostra ? Mentre magari la colpa é delle scelte (errate o folli o volutamente criminali ecc.) di chi ha il potere di incidere realmente sulla societá, sull'economia e sulla politica ? E cosí facendo attua un simpatico scarica barile e nasconde i propri errori (o le proprie scelte)?

Rispondi

disperato

In questi giorni, ancora una volta, mi è arrivata posta da firmare e LePoste mi hanno obbligato a mettere la firma sul tablet. Ovviamente per legge io avrei il diritto di scegliere (come specificato nel loro sito) e più volte (e con postini diversi) ho fatto notare che la firma grafometrica non è sicura perché si espone a facili clonazioni, che io non la voglio né l'ho mai voluta. Tutto inutile.
Loro vogliono importi la firma grafometrica e lo fanno, punto.
Dovrei prendere un avvocato e fare causa ma non ho la forza. In questo paese non c'è più un solo ente che si comporti a modo, non un'istituzione di cui fidarsi.
Le banche, le assicurazioni, le poste, la sanità (non commento la magistratura perché ho paura)...è tutto studiato per fregarti e danneggiarti, non è menefreghismo e neanche mancanza di mezzi, vogliono proprio fotterti.
Scappate se potete. Saluti.

Rispondi

Entropea

Pare che arriveremo presto (o forse siamo già arrivati) anche ad un'IA empatica, capace cioè di riconoscere le emozioni dell'interlocutore e orientare di conseguenza il proprio il proprio comportamento: ciò sembra auspicabile dalla maggioranza degli umani connazionali (link), ignari forse che la via empatica introduce un ulteriore canale di accesso alla soggettività resistente. Per restare nella metafora: il grano si traveste da zizzania per attrarre a sé e domare le rimanenti erbacce.

Rispondi

Leo Ross

Da bipede eretto – utilizzando la definizione che trovo qui – e aggiungo senziente, suppongo che
l’estensore dell’articolo non voglia e non possa fornire delle indicazioni sulle possibilità di uscita dalla citata “gabbia”o almeno individuarne almeno la direzione della porta. A mio avviso si pone qui il problema in modo articolato, ma come in altri scritti precedenti pretendere l’aspetto didascalico è eccessivo, come l’auspicata distribuzione a catena non qua e là ma ridotta ad enclaves endogame.
Ciascuno può comunque ipotizzare una difesa dalle molteplici aggressioni digitalizzanti, per quanto le proprie circostanze lo consentano.
Sono dell’idea p.e. che una persona che si faccia installare un chip sotto pelle solo per andare al lavoro (!) anziché timbrare il cartellino, sia un cretino, come colui che acquisti un’auto senza che vi sia la possibilità di esclusione di guida automatica. Il secondo caso, che vede l’uscita di strada programmata algoritmicamente, rientra nel metodo di riduzione di secondo livello delle popolazioni ‘a democrazia avanzata’ ma a bassa intensità neuronale, posto che sia l’Europa ad imporlo.
Sono piuttosto ottimista pensando che una buona parte del mondo – non occidentale - , forse malgrè soi, sia ancora esente dalla macchinizzazione dell’uomo. Per quanto ci riguarda credo che sforzi organizzativi ed economici nazionali ed esteri per la riduzione a Deficienza Artificiale siano perlomeno inutili, basta un Jovanotti qualsiasi.

Rispondi

↪ disperato

Gentile @Leo Ross, io ho capito che i nuovi modelli di auto hanno la frenata e la sterzata automatiche di serie obbligatorie, e che non è possibile rinunciarvi, ma se non fosse così sarei ben lieto. Vi sono delle falle nel sistema che ci vuole tutti zombie per cui è possibile comprare un'auto nuova che freni e sterzi solo quando lo vuole il conducente? Mi ragguagli, sono curioso.
Saluti.

Rispondi

laiutoepitomista

Gentilissimo @Mordechai Baum Baux,
l'argomento è eusastivamente trattato in link
(il link non funziona perché quel cazzone del Pedante s'è dimenticato di mettere i link ai commenti [evvai, son pure riuscito a dare del cazzone al P.], comunque cerchi il commento di Cristina del 09 October, 2016 11:54 e relativa discussione)
Sperando la segnalazione Le sia gradita,

Rispondi

Peppe

Il mio bisnonno aveva un asino che conosceva la strada di casa.
Dopo aver lavorato nei campi, il mio avo andava all'osteria.
Arrivate le 10 di sera, ormai incapace di intendere e volere, il mio bisnonno veniva messo sull'asino dai suoi amici.
L’asino partiva, andava a casa ed il mio avo dormiva durante il tragitto.
Il mio bisnonno possedeva un veicolo col pilota automatico, che quelli che stanno costruendo l’auto che si guida da sola non hanno inventato un ca**o.

Rispondi

L'uebete

Ricordo il mio professore di statistica al 4 anno di ingegneria.
Al tempo giovane (diventato professore da poco) e laureato alla Normale di Pisa.
"il migliore metodo statistico è la mente umana"
"il problema spesso è che prima si progettano le campagne statistiche poi si chiama lo statistico per analizzare i dati, come chiamare il medico dopo aver ucciso il paziente" (ad indicare la soggettività anche solo nella scelta dei dati da dare in pasto al metodo statistico)

Rispondi

Tizio

Ho trovato l'articolo interessante, e condivido buona parte di esso.
L'unico appunto che posso fare è sulla definizione che viene data di AI. Quella proposta nell'articolo è quella che di fatto usano i giornali e le riviste, e anche come viene usata dal marketing che include per vari motivi anche i semplici algoritmi. In realtà in informatica si suole distinguere tra semplici algoritmi (immutabili e fondamentalmente deterministici) e un non meglio definito "tutto il resto" in cui rientrano reti neurali, deep learning e altre tecniche che vengono studiate alla ricerca di varie forme di AI. Non che questo cambi niente rispetto a quanto scritto nell'articolo.
Nel leggere l'articolo però ho notato dei paralleli con alcune altre cose che ho letto in passato, alcune che risalgono anche a molti anni fa. Penso che possa essere interessante per lei, signor Pedante, e chi apprezza i suoi articoli confrontarsi con queste fonti. La cosa affascinante è come anche in tempi passati quando queste tecnologie erano appena embrionali, e argomento di studio solo per gli addetti ai lavori, chi aveva voglia di analizzarle, già intuiva tutte le problematiche di cui molti si accorgono solo adesso.
Purtroppo sono tutte fonti in lingua inglese, il che non stupisce, queste tecnologie vengono dagli USA, li sono comparse prima in senso temporale e li chi ha voluto osservarle si è potuto accorgere prima di determinate cose.
Prima di tuttoo è molto interessante un vecchio articolo scritto da Bill Joy (uno dei pionieri dello UNIX BSD, autore originale dell'editor di testi vi, che in diverse incarnazioni è tutt'ora molto usato nei sistemi UNIX e Linux, poi fondatore della Sun microsystems).
Nel 2000 scrisse questo articolo facendo notare come il progressi tecnologico a cui assisteva dalla prima fila, dalla sua posizione nella Silicon Valley, andasse nella direzione di un mondo che non ha più bisogno degli esseri umani, come il titolo stesso suggerisce: Why the Future Doesn't Need Us.
link: link
Molto interessnati anche due libri di Neil Postman:
Amusing Ourselves to Death: Public Discourse in the Age of Show Business
e
Technopoly: the Surrender of Culture to Technology
Rispettivamente del 1985 e 1992. Sono libri che hanno visto lungo, a tratti profetici, e che ancora oggi hanno qualcosa da insegnare, avendo perso pochissimo in termini di attualità.
Poi per quanto riguarda come felicemente ci sottoponiamo a tutto questo, quello che lei chiama "l'assenso delle cavie" per me rimane molto profetico il libro di Aldus Huxley "Nuovo mondo" (Brave new world, il titolo originale), che parla proprio di questo. Pubblicato nel 1932 batte tutti gli autori di fantascienza dispotica sul tempo. Trovo questo libro molto più incisivo e profetico del sopravvalutato (per quanto bellissimo) 1984 di Orwell.

Rispondi

angolmois

Finalmente qualcuno che solleva il problema dei problemi. Il segreto della vita o della morte dell'uomo come noi lo conosciamo è tutta qui . Siamo sicuri ( tesi sicuramente complottista , ma non troppo) che ciò che sta accadendo ora non sia già successo in passato??? Sto parlando dell'epoca precedente (non riconosciuta dalla scienza ufficiale , ma ciò non significa che essa è reale) di cui sono rimaste le rovine di una antica civiltà molto più evoluta della nostra. Oggi come allora la storia si ripete come pure la stupidità umana: volavano nel cielo con le note macchine volanti (vimana o aerei moderni? ) , avevano sicuramente una tecnologia della IA molto avanzata lo dimostra il fatto che certe lingue antiche erano linguaggi informatici come il sanscrito ed anche lo stesso ebraico antico risponde a queste caratteristiche alfa numeriche che servivano a collegare l'uomo con la macchina, Facciamo un salto temporale fino ai nostri giorni e andiamo a trovare Asimov e le sue leggi sulla
robotica secondo me ne manca una per passare poi ad Elon Musk e le sue società robotiche ecc. Facciamo 2 + 2 senza l'uso della robotica ma utilizzando solo quel poco di intelligenza mista a buon senso ( e faccio fatica a vederla nell'uomo d'oggi iper-connesso). Lotte e guerre per la supremazia ed i dominio di una fazione sull'altra, America Russia Cina Nato ecc oggi, Antiche civiltà pre-diluvianei delle americhe dell'asia e dell' europa .di: ieri Dopo un bel conflitto totale anche atomico la quasi estinzione della vita è assicurata, chi sopravvive a tutto questo se non la macchina creata, la nostra bella IA nascosta e protetta oggi come allora nelle viscere della terra, e, se tanto mi da tanto = il controllo = sull' UOMO non è mai cessato fin dalla prima creazione della IA . Non vorrete credere che lo sviluppo tecnologico degli ultimi 100 anni sia opera dell' uomo? C'è chi dice che siamo stati aiutati dagli alieni, data la velocità con cui è successa , personalmente ritengo che la primordiale IA non abbia mai smesso di funzionare e che oggi come allora ci stia manipolando, oggi si stà potenziando per avere un controllo totale su di noi il G5 misto ai vaccini, gender, medicina ci sta rendendo sempre più deboli e sinceramente mi girano le PA.....LE di mascolina memoria, stare sotto il dominio di una macchina mi offende. Spero di essere stato chiaro nella mia esposizione del mio pensiero che spero non unico.

Rispondi

↪ disperato

Gentile @angolmois, Lei è un troll vero?
Saluti.

Rispondi

↪ angolmois

Gentile @disperato , mi dispiace' io non devo convincere nessuno di adeguarsi al mio libero pensiero, ma è solo una visione diversa di come io vedo la realtà, può non essere allineata col modo accademico ma è forse più intrigante e sicuramente più veritiera.

Rispondi

↪ disperato

Gentile @angolmois, guardi io penso proprio che il progresso tecnologico dell'uomo sia dovuto all'uomo, ma se Lei afferma il contrario spetta a Lei l'onere della prova. Quando dice che nelle viscere della Terra vi è un'intelligenza artificiale che ci controlla tutti dovrebbe portare qualche prova altrimenti sta solo raccontando la trama del film Matrix. E' innanzitutto un problema di metodo scientifico.
Può darsi che Lei non sia un troll, in questo caso magari è molto giovane o le mancano le basi, le posso solo consigliare un po di sano scetticismo, non è che una teoria diventa vera perché a Lei piace.
Le auguro tante buone cose, saluti.

Rispondi

Ilsignoredeiconiglietti

Una bellissima riflessione per iniziare nel migliore dei modi questo 2020.
Purtroppo dal mondo del lavoro (sono statistico) posso solo confermare questo processo continuo (industria 4.0, Big Data, IA) verso la disumanizzazione dei processi aziendali.

Rispondi

glauco

Oltre "perchè" c'è da chiedersi "CHI" sta manovrando affinchè lo scenario descritto si tramuti in realtà quotidiana . Nell'Occidente ( che si autodefinisce) democratico, il CHI si identifica con gli psicopatici dell'onnipotenza e i cultori della volontà di dominio, i quali trovano terreno fertile in una cività profondamente scontenta di sè . Nelle nazioni meno democratiche e più autoritarie ( Cina e Russia, in primis), dove il passaggio al transumanesimo non necessità nemmeno di consenso generalizzato, il CHI coincide con le gerarchie politiche e militari che considerano l'IA ( e i suoi succedanei e derivati) lo strumento di confronto ed emancipazione dal dominio (sempre latente) degli psicopatici occidentali. Purtroppo CHI può resistere a tutto ciò non riesce a manifestarsi (ancora ?) in modo efficace. Se qualche anno fa si ballava a bordo del Titanic oggi siamo già a bordo delle scialuppe di salvataggio. Ognuno con la propria bussola - etica, in molti casi smagnetizzata.

Rispondi

venerabile jorge

non l' ho letto tutto perchè veramente pedante
fino a metà so ancora come rispondere e scardinare le premesse
quando leggerò il seguito spero di trovare le mie risposte
e poi mi rifarò vivo
vivo....scritto
salute

Rispondi

Elu ei

Un collega si è fatto impiantare sottopelle il chip del collar... orologetto che usiamo per entrare in azienda.
Tal Francesco nei commenti contesta che Lei non è in grado di definire cosa sia l'intelligenza: caro Francesco non v'è problema, basta definire la coglionaggine.

Rispondi

Francesco

Con tutto il rispetto per il suo lavoro, spesso interessante e originale, mi permetto di dissentire e di avanzare una critica. Questo sembra un ottimo articolo, vaste citazioni, e soprattutto emotivamente coinvolgente, ma non lo è in quanto contiene implicitamente l'assunzione che l'autore è in grado di definire cosa sia l'intelligenza. Lei dimostra ancora una volta una straordinaria capacità dialettica, un piacevole uso della lingua italiana (finalmente qualcuno che la conosce) , grande cultura umanistica e capacità di intercettare e comprendere l'investimento emotivo del suo lettore tipo. E' curioso, i più grandi neuro scienziati non sono in grado (e alcuni neppure ci provano) a dare una definizione univoca di intelligenza, eppure filosofi e altri non scienziati continuano imperterriti a scrivere di ciò che non conoscono. Suggerirei di trascurare l'argomento, eventualmente se ha il tempo e la necessaria curiosità attinga a qualche eccellente testo divulgativo, per quanto di strenua lettura, come i libri di scienziati di altissimo livello come Antonio Damasio e Robert Sepolski. Poi ci sarebbe tutto il vasto territorio di forme di intelligenza differenti dalla nostra, in natura ne abbiamo di esempi, ma la nostra visione antropocentrica non ci consente di vederla e men che meno di ammetterne l'esistenza. Ho letto molto sull'argomento, ne so più di prima, ma ora non mi azzardo a definire cosa sia l'intelligenza (e quindi la non intelligenza) mentre prima di averli letti ero come lei e tanti altri, sicuro di me. Lo scopo della scienza non è creare certezze ma eliminare ciò che è sperimentalmente dimostrabile come falso e creare spazio per nuove domande. Alla fine di quest'articolo resta solo un'idea nota, sulla quale si scrive da decenni ovvero, in sintesi, chi detiene il potere si serve della tecnologia per mantenerlo e tanto più elevata è l'asimmetria informativa maggiori le probabilità di incrementarlo e mantenerlo. E' così dal tempo dei romani e anche prima. Nessuna delle varie generazioni di potenti, imperi etc... lo ha mai perso perché il popolo ha raggiunto l'illuminazione e affermato la propria indipendenza. E' sempre avvenuto a causa di una catastrofe naturale, un altro impero più giovane e più forte, o entrambe. Non cada nella trappola nella quale sono finiti altri autori brillanti, iniziano con il trattare argomenti che sono al centro della propria specializzazione attingendo a decenni di studi, poi il loro pubblico cresce, applaude e basta, nessuno azzarda una critica e l'autore si sente autorizzato a uscire dal proprio campo con risultati deludenti. Con rispetto.

Rispondi

↪ Il Pedante

Gentile lettore, non credo di non poter scrivere di ciò che si sta utilizzando contro di me solo perché Lei (mi complimento) ha fatto vaste letture. Se dovessi seguire il Suo consiglio non dovrei più scrivere di nulla e subire tutto in silenzio. In quanto alla scarsa novità di (una delle) tesi, più che scrivere e ripetere nell'articolo che "non c'è nulla di nuovo" non saprei come segnalarlo nel testo.

Rispondi

↪ Cantasia

Gentile @Francesco, mi chiedo—senza richiamare definizioni inarrivabili di intelligenza—quale sia l’intelligenza di chi pretende da un essere umano na visione non antropocentrica; inoltre lei è a conoscenza di qualche altro essere—oltre Dio—che sia cosciente di sé e delle cose? È lei pretenderebbe una visione a partire da un punto di vista in cui sia assente questa coscienza?

Rispondi

Mario M

Silvio Ceccato nel 1956 progettò e costruì Adamo II. L'apparato elettromeccanico venne finanziato dalla celebre rivista della Finmeccanica, Civiltà delle Macchine, tramite l'intercessione di Leonardo Sinisgalli, l'ingegnere poeta, e grazie all'apporto tecnico dell'ingegnere non poeta Enrico Maretti. Il congegno in effetti cercava solo di replicare una particolare sequenza di stati attenzionali, secondo cui Ceccato riteneva si dovesse articolare il linguaggio e il pensiero. Era il compimento di una lunga ed entusiasmante ricerca filosofica, che Ceccato aveva intrapreso ancora prima della guerra, stimolato da amici e studiosi, e che approdò a una "non filosofia".
Ho cercato di tratteggiare l' avventura in questo video,
link
Successivamente Ceccato intraprese la costruzione di un apparato ben più ambizioso, la macchina che osserva e descrive.

Rispondi

pat2020

Come sempre va al cuore del problema. Grazie per questa lucidissima analisi, quanto mai opportuna tra l'alltro nei giorni in cui un ministro propone la password di Stato e, nel documento strategico sull'innovazione digitale e tecnologica del Paese, presentato dal suo ministero, cita apertamente il titolare della società informatica ed editoriale che cura il blog del movimento cui appartiene «per il contributo all'elaborazione di questo piano».
Molto interessante sul piano filosofico (se non ci fossero di mezzo anche la carne e il sangue dei cittadini) anche questo passaggio dell'intervista rilasciata sulle password di Stato a Rai Radio 1, in cui il suddetto ministro, grande sostenitrice e fautrice dei veicoli senza conducente, ha asserito: «Nel futuro, quando noi compreremo un'auto autonoma vogliamo sapere com'è sviluppato quell'algoritmo di intelligenza artificiale perché dobbiamo sapere che SCELTA (maiuscolo mio) farà quell'auto». «Se noi ci troviamo davanti un bambino e di fianco un burrone dobbiamo sapere che il programmatore ha programmato quell'auto in modo tale che non investe (sic) il bambino ma vada nel burrone». Grandi scenari e possibilità si aprono alla riflessione

Rispondi

Ago

Grazie. E auguri a tutti gli Uomini.

Rispondi

Manzut

un grazie per le boccate di ossigeno.
Buon 2020.

Rispondi

Mordechai Baum Baux

Un testo sublime! Ahimè, poco adatto ad un social network. Per la pregevole ma inesorabile lunghezza.
Io lo farei più semplice, anche più esteso. se occorresse, e lo allegherei ad una rivista, oltre a distribuirlo un po' a catena, qua e là!

Rispondi

Andrea

L'analisi che l'articolo svolge si riferisce al solo Occidente (ossia agli Stati Uniti d'America e ai loro vassalli) o a tutto il mondo? As esempio, la civiltà cinese, quella russa, quella islamica, come vanno considerate in rapporto al sopra descritto fenomeno del subumanesimo?

Rispondi

QFMaxCunctator

Grazie, grazie e ancora grazie!

Rispondi

Nina

Buon Anno, Pedante, e grazie, davvero, per questa ulteriore perla che ha voluto offrirci!

Rispondi

Artemio

Più che da commentare qui c'è da ammirare e ringraziare!

Rispondi

Charlie

Bello!

Rispondi

Jadaxml

I programmi di AI sono ontologicamente diversi dagli altri perché non contengono algoritmi atti a risolvere il problema dato che è troppo complesso per essere codificato ma possono imparare da esempi...
Quindi è assolutamente impossibile sapere cosa e come abbiano imparato se non dalle risposte verificabili date che non sono esaustive altrimenti il problema avrebbe soluzioni finite e sarebbe quindi codificabile...
In caso di grave errore, tipo causare la morte di un uomo, di chi sarebbe la colpa? Del produttore o del proprietario?
Come si pensa di porci rimedio visto che non si sa esattamente cosa ha imparato e presumibilmente esistono migliaia di copie in circolazione?
È solo un delirio di chi crede si possa essere potente senza assumersene la responsabilità.
Non sta in piedi e quando lo si capirà sarà da ridere...

Rispondi

↪ Herzog

Gentile @Jadaxml,
"... e quando lo si capirà sarà da ridere". Condivido.
Aspetto impaziente il prevedibile caos per poterne ridere di gusto.
Credo, semplicemente, che non si stiano dotando di IA, Intelligenza Artificiale, le macchine, ma che si stiano dotando di DI, Deficienza Artificiale, gli uomini.

Rispondi

↪ Herzog

Gentile @Jadaxml,
Mi piace aggiungere al mio precedente commento che credo che tutti coloro che sono in attesa del "caos" per poi sciogliersi in una fragorosa e beffarda risata, siano sostenuti, in tale attesa, da un principio scientifico universale: il principio dell'entropia. L'entropia è una funzione di stato dei sistemi termodinamici isolati che rappresenta il "caos" di tali sistemi. Il principio afferma che in un sistema isolato l'entropia del sistema può solo aumentare, mai diminuire.
Perciò restiamo tutti in trepida attesa che, prima o poi, un livello di "caos" adeguato alla risata più beffarda sarà sicuramente raggiunto. E non è detto che raggiungere tale livello di caos sia un evento negativo per i dominati e positivo per i dominatori. Anzi.

Rispondi

Gondor

Ottimo, come sempre. L'arrivo del cosiddetto "pensiero computazionale" nella scuola primaria è paradigmatico dell'inversione di prospettiva dell'IA da lei descritto. Sequenze logiche nate come necessaria semplificazione-riduzione del ragionamento umano (per costringerlo all'interno di architetture hardware infinitamente più semplici del cervello), vengono ora proposte come modello esemplare di ragionamento per la risoluzione di problemi.

Rispondi

Mirko

Bellissimo!

Rispondi

Ernesto il Giovane

Solo una pedanteria in Suo onore. Non sarebbe preferibile "macchinizzazione" a "macchinazione"?

Rispondi

↪ Il Pedante

Approvato.

Rispondi

disperato

Caro Pedante Lei ha ragione, come sempre. A corollario del suo testo voglio ricordare che l'unione europea sta rendendo obbligatori i sistemi di frenata e di sterzo automatico e di scatola nera delle automobili.
Ora, a parte la scatola nera che comporta "solo" la violazione della privacy, visto che la tua auto comunicherà continuamente la sua posizione, ma la frenata e peggio ancora la sterzata automatiche sono un evidente pericolo estremo per la sicurezza data la facilità con cui i sistemi possono andare in tilt o essere hackerati, ed è ovviamente anche la ragione per cui vogliono imporli: sarà facilissimo eliminare qualche personaggio scomodo facendo scontrare la sua auto contro un palo o similia.
Alla domanda quando è il momento giusto per ribellarsi al sistema la risposta non può che essere ieri.
Questi non si fermeranno da soli, dobbiamo fermarli noi, col voto se basta e se no in qualunque altro modo.
Saluti.

Rispondi

↪ angolmois

Gentile @disperato, Io forse sono un troll , ma lei che si preoccupa delle frenate e dello sterzo della sua ed altrui automobile cos' è??un povero individuo che aspetta con ansia di essere microcippato per potersi connettere ed essere dominato ed evitare di avere un libero pensiero. La mia lotta inizia ora e non delego nessun politico nazionale od europeo a difendermi non sanno neanche loro cosa fanno, prima o poi mi verrà in mente la soluzione del problema che non è solo mio ma di tutti. saluti

Rispondi

Precisazioni

Lei mi sembra un esperto domatore che, suo malgrado, si trova intrappolato in un'enorme gabbia di scimmie urlatrici ipnotizzate da un giocattolo (IA). Pensa di risolvere il problema perché ha una lavagna e un gessetto a disposizione. Vuole quindi, con una lezione condivisibile, spiegare alle scimmie che stanno sbagliando a dare tutta questa importanza al giocattolo. Non sono loro che giocano, ma è il giocattolo che le ammaestra. E' convinto che appena le scimmie capiranno allora si potrà convivere decentemente nella gabbia. Da bipede eretto posizionato ai margini della stessa chiedo a Lei, che è così intelligente: invece di farmi la lezione non è che mi può dare qualche indicazione seria, precisa e concreta sul come uscire da questa gabbia? Concreta, non divulgativa e quindi per me pleonastica. Grazie.
ps. Non valgono le risposte “Si rinchiuda in un eremo” o “Prenda autocoscienza del mondo che la circonda” perché quelle risposte, da bipede eretto, le sapevo anche io senza essere così intelligente come lei.

Rispondi

↪ angolmois

Gentile @Precisazioni, Al momento i fili del potere sono in mano ai soliti noti , o così credono, la AI non si potrà controllare, l'unica cosa che ci rimane da fare è prendere atto del pericolo estinzione a cui siamo esposti quando la gabbia dei 42.000 satelliti sarà completata ne vedremo delle belle, tutti connessi e controllati, nel frattempo dobbiamo tutti pensare una soluzione, ed il tempo è veramente poco . IL programma dichiarato è palese link cerchiamo di non renderlo operativo saluti

Rispondi

↪ laiutoepitomista

Gentilissimo @Precisazioni,
1) butta lo smartphone.
Più pleonasticamente: non consentire che l'indispensabile dispositivo (device) d'l'I/O (ingresso/uscita) sia volontariamente acquistato (e a caro prezzo, di moda [v. iphone]) e faccia parte dell'ovvio corredo richiestoti (supermercati, banche, compagnie aeree etc. e tra poco Stato) per effettuare qualsivoglia transazione (se lo pago io, dovrebbe fare ciò che voglio io, e non scaricarsi anche se non lo uso). Quando ci costringeranno alla scatola nera sulle auto (come ora già avviene su base volontaria) sarà ben chiaro che l'oggetto, la scatola, non sarà di nostra proprietà, ma loro (assicurazioni, Stato, UE), che mi diano l'iphone e mi costringano ad usarlo (l'iphone di Stato non andrebbe più di moda, ma non penso la Apple se ne lamenterebbe).
2) Pensa a ciò che acquisti.
Più che per come votiamo, la nostra consapevolezza può mostrarsi in quello che compriamo. E' l'unica (e neppure) scelta rimastaci per esprimere, non dico dissenso, ma almeno indirizzo (però assomiglia a "Prenda autocoscienza del mondo che la circonda”, quindi puoi cassarla).
Con i migliori auguri
P.S.
A proposito di scimmie urlanti e tecnologia: quando vennero introdotte le prime slot-machine elettroniche (non più rulli meccanici, ma immagini sullo scermo) negli ultimi anni '80 (mi pare d'averne viste [non in Italia, all'epoca il gioco era proibito {maledetti democristiani}] già d'allora, ma potrebbe essere dopo) mi dissi: "Vabbé in preda al demone (del giuoco, com'era scritto nei bar), vabbuò la tecnologia, ma la ggente mica ci possono credere alle cartine che girano sul monitor" (checcevò, grafica a parte, ci mettevo 10 minuti a rifarne uno).
Vedi un po come è andata invece (e per questa lungimiranza ed altri motivi dai ai miei consigli il giusto peso).

Rispondi

↪ Herzog

Gentile @Precisazioni,
Per la singola scimmia della gabbia, una soluzione pratica e strettamente individuale potrebbe essere quella di adottare comportamenti che provocano il "caos" nella gabbia. Il Giocattolo che vuole dominare le scimmie ha bisogno di "imparare" dal comportamento di esse allo scopo di aumentare il suo "quoziente di IA" e di conseguenza il suo dominio.
L'apprendimento del Giocattolo è ostacolato solo se ciascuna scimmia adotta tutti i comportamenti tipici del "caos".
Per l'individuo umano adottare i comportamenti pratici tipici del caos significa essere NON PREVEDIBILI, nei consumi, nelle mode, nelle etiche, nelle religioni, nelle identità, nell'uso della moneta, nel rispetto delle convenzioni, nelle scelte economiche, nelle scelte politiche, .... etc.
In definitiva, significa aumentare a dismisura la "varianza" nei comportamenti di tutti i giorni. Ovvio che ciò costa un po' in termini di tempo e fatica dei neuroni.
In condizioni di elevata varianza nei comportamenti pratici, per il Giocattolo non ha senso persino fare medie e statistiche e, di conseguenza, il Giocattolo NON APPRENDE, non migliora il suo Quoziente di I. A. Di conseguenza persino le scimmie, invertendo i ruoli stabiliti a priori, possono prendersi gioco del Giocattolo e riderne beffarde!

Rispondi

0x64

L'intelligenza artificiale, intesa come processo non biologico evolutivo verso lo stato senziente, semplicemente non esiste, se non come narrativa marchettara o spauracchio apocalittico. Un conto sono i dati, un conto il calcolo. Le macchine calcolatrici sono solo ausili mentali. Si può parlare di intelligenza aumentata. Con i calcolatori possiamo fare molte più cose, al pari di chimica o trasporti, con tutti i limiti propri della nostra intelligenza e capacità di analisi e scrittura. Bachi, errori, scelte sbagliate, pessime implementazioni, inefficienze, matematiche inadeguate, simulazioni non rappresentative.
Informazioni e algoritmi sono però potere, moderne clave, fuoco, ruota.
In ogni tempo e contesto, dato e metodo sono potere. Ma il digitale segna oggi lo stacco di un nuovo salto quantico, come il vapore prima, l'elettricità poi. Non possedere doti intellettuali per gestire l'analisi, la sintesi, la scrittura, l'evoluzione e la correzione dei processi elaborativi è inadeguatezza al cambiamento. Ma l'informazione non scalda le case né riempie gli stomaci. Tutto questo è un problema di cultura e formazione, in ultima analisi, di consapevolezza. Ciò non toglie che è meglio governare che esser succubi a chi invece possiede tale abilità, nel senso intellettivo, brevettuale, commerciale, di interpretazione e proiezione.
Personalmente consiglio ai miei studenti informatici di investire in ricerca e sviluppo contro la propria e diffusa "stupidità umana". Forse l'unico modo per tentare di coltivare davvero una qualche forma di intelligenza.

Rispondi

Grazia

Parole limpide e cristalline. Il totalitarismo digitale è un pericolo non solo per la democrazia, ma anche per il libero arbitrio proprio all'essere umano. Il risultato ricercato di questa corsa sfrenata contro il muro, è obbligare l'essere umano ad agire in modo automatico come farebbe un algoritmo, senza più lasciare spazio a etica, sentimenti ed emozioni nelle scelte, cioè proprio ciò che ci rende umani. Per fare un'esempio banale : malgrado tutte le pretese di semplificazione e modernizzazione in quel che riguarda il rapporto fra amministrazione e amministrato - in definitiva fra Stato e cittadino - l'unico risultato ottenuto (e senza dubbio voluto) è il rendere difficoltosa, o addirittura nulla, la possibilità per il cittadino di interagire con lo Stato per chiederne l'intervento o esercitare i propri diritti civici e sociali.

Rispondi

jgambardine

Bellissimo. Complimenti

Rispondi

Giovanni De Bari

Il Pedante, è a un livello superiore, riesce ad argomentare con chiara linearità, suggestioni che percepisco inconsciamente come vere, ma che non sarei in grado di descrivere come fa lui.
Il libero arbitrio è la chiave di tutto.

Rispondi

Eugene_with_an_axe

????????????????????????????????????
L'intelligenza non è solo funzionale, non si limita cioè a risolvere i problemi ma li pone, li formula e li dispone secondo gerarchie

Rispondi

Lo (S')Ignorante

Capolavoro. Una capacità sorprendente di sintesi tra "fredda" logica e un caldo sentimento di Umanità. Ringrazio.

Rispondi

nighty

capolavoro!

Rispondi

Mario M

Condivido la tesi dell'articolo: "Insomma, si ha l'impressione che la celebrata umanizzazione della macchina si stia risolvendo proprio nel suo contrario: in una macchinazione dell'uomo." In effetti l'uomo macchinizzato si può facilmente controllare-governare, che è il sogno di ogni modesto governante.
La pubblicistica sull'intelligenza artificiale si potrebbe facilmente smontare denunciando l'ignoranza e la stupidità naturale: la sanità ufficiale che non riesce a trovare o nasconde la cura per il cancro che in Italia miete 200-300 mila vittime all'anno, fra sofferenze e immani spese; non si riescono a progettare e costruire sistemi per produrre energia rinnovabile in sostituzione dei fossili (il progetto più ambizioso è stato presentato nel 2003, ma ad oggi non si è visto niente di significativo link )
Si potrebbero denunciare tutte le clamorose menzogne che da più di 50 anni ci vengono riproposte: le bombe atomiche, i viaggi spaziali, l'attentato del 2001 alle twin tower

Rispondi

Niceforo

Tre volte bravo!

Rispondi

Herzog

Ho appena letto. Mi viene solo da dire: grazie infinite.

Rispondi