Michelle Kasprzak

michelle-kasprzak

NL:

Michelle Kasprzak is een Canadese curator, schrijver en academicus. Michelle Kasprzak heeft tentoonstellingen samengesteld en lezingen gegeven in de VS en Europa. Haar werk is verschenen in onder andere Wired UK en op radio en televisie bij de BBC en CBC. Haar schrijfwerk is verschenen in diverse anthologieën en catalogi. Ze werkte internationaal als curator, meest recentelijk bij het Kasseler Kunstverein (met een expositie van kunstenaarsduo Übermorgen) en de Zero1 Biennale (in San Jose, VS). Michelle Kasprzak is regelmatig moderator bij verschillende mediakunst festivals.


EN:

Michelle Kasprzak is a Canadian curator, writer, and scholar. Michelle Kasprzak has exhibited and lectured across North America and Europe. She has appeared in publications such as Wired Uk and on radio and television broadcasts on the BBC and CBC. Her writing has appeared in diverse anthologies and exhibition catalogues. The results of her curatorial work have appeared in venues worldwide, most recently at the Kasseler Kunstverein (with an exhibition of artist duo Übermorgen ) and the Zero1 Biennial (San Jose, US). Michelle has held a range of curatorial roles at organizations such as V2_ Institute for Unstable Media, the Dutch Electronic Art Festival, and New Media Scotland. Michelle Kasprzak appears regularly as a moderator at media art events.


 

NL:

De Introductie van het “Behulpzame Intelligentie” Tijdperk

De theorie dat er een dag komt waarop technologische ontwikkelingen ineens extreem versnellen en daarbij alle menselijk leven zullen transformeren, ook wel de Singularity genoemd, bestaat sinds de jaren vijftig. Speculaties over niet-menselijke entiteiten geschapen naar het beeld van de mens, zoals de Golem in Joodse literatuur, bestaan al veel langer. Ruim voordat de term “robot” ons dagelijks taalgebruik binnensloop stelden we ons al een toekomst vol met machines in menselijke gedaantes en met menselijke eigenschappen voor. Hoe dichtbij de verwezenlijking van deze ideeën zijn we nu, en hoeveel invloed hebben we op hoe de toekomst vorm krijgt?

Hedendaagse smartphones zijn sterkere computers dan de besturingssystemen van de eerste Space Shuttle. Het is niet langer bijzonder om zo’n telefoon te gebruiken om te bepalen waar je bent of om er beeld en geluid mee te versturen. De laatste honderd jaar hebben we een sprong gemaakt van het benoemen van wat een robot zou kunnen zijn naar het dagelijks omgaan met alomtegenwoordige, zeer krachtige computertechnologie. De razendsnelle acceleratie waar de Amerikaanse futurist Ray Kurzweil in zijn populaire boek The Singularity is Near over sprak is voelbaar deel van ons leven geworden. Hierdoor lijkt het idee dat de Singularity aan de horizon zou kunnen zijn niet langer meer onwaarschijnlijk of pure science fiction.

De manier waarop de Singularity in de populaire cultuur benaderd wordt is echter nog steeds vooral paranoïde en dystopisch. Er wordt gretig ingespeeld op onze angst de controle en heerschappij over de aarde te verliezen, een heerschappij die we zelfs een naam hebben gegeven: het Anthropoceen. Hoewel Kurzweil een genuanceerde benadering heeft en de Singularity “noch utopisch, noch dystopisch” noemt, is het voor ons onweerstaanbaar ons te wentelen in bijna fetisjistische visioenen, waarin we ons overgeven aan veel intelligentere, fysiek aan ons verwante cyborgs. Dit toekomstbeeld is dusdanig somber dat er zelfs al grappen over gemaakt worden – onlangs werd bijvoorbeeld bekend dat de nerdy Amerikaanse komiek Seth Rogen (bekend van bijvoorbeeld de film Knocked Up) een komische serie over de Singularity gaat maken.

Waar wij als mensen duidelijk falen in het pre-Singularity tijdperk is dat het ongelofelijk moeilijk blijkt ons een beeld van de toekomst te maken dat niet zwaar is beïnvloed door het heden. Ons voorstellingsvermogen is beperkt en vaak teleurstellend oppervlakkig. Toen bijvoorbeeld de virtuele wereld Second Life in 2003 geopend werd kregen we talloze manieren om onszelf daar te representeren tot onze beschikking. Ondanks al die keuze gingen veel gebruikers er toe over zich naar de normen van een soort Barbie en Ken universum vorm te geven. Er kwamen zelfs doorsnee winkels als American Apparel. Ondanks alle mogelijkheden werd van Second Life een soort winkelcentrum gemaakt. Niet lang daarna werden grote stukken virtueel land echter alweer verlaten, en werd Second Life, heel menselijk, vol rotzooi achtergelaten. De vraag is: kunnen we ons wel de Singularity of een post-Singularity tijdperk voorstellen als we een virtuele wereld vullen met avatars en objecten waarnaast de wereld van de jaren zestig animatieserie The Jetsons een radicale visie lijkt?

Gelukkig hoeven we ons over onze kleingeestige, beperkte kijk op de Singularity weinig zorgen te maken: Stephen Hawking heeft al opgemerkt dat Kunstmatige Intelligentie zal resulteren in “machines waarvan de intelligentie de onze meer overstijgt dan dat de onze die van slakken overstijgt.” Kunstmatige intelligentie zal de mensheid zover achter zich laten dat we ons best niet hoeven te doen om interessante ideeën te krijgen, want die krijgen de kunstmatige intelligenties wel voor ons.

Alleen, maar een beetje gaan zitten wachten op onze toekomstige technologisch superieuren is veel te gemakzuchtig. Het is belangrijk dat we beseffen dat de dingen die we maken mede gevormd worden door onze verborgen vooroordelen. Erkenning voor hoe de algoritmes die we schrijven onze eigen feilbare manier van denken weerspiegelen vind te langzaam plaats. Het is bewezen dat racisme en seksisme deel van zogenaamd objectieve algoritmische creaties zijn. Als we niet oppassen zal ons leven post-Singularity net zo vol zitten met onzinnige en beschadigende vooroordelen als ons leven nu, en wel omdat we het er zelf in gestopt hebben. Het is dan ook geen geruststelling dat de kunstmatige intelligentie die ons gaat vervangen slimmer zal zijn dan wij zelf zijn. Sommige van de meest gehate leiders in de menselijke geschiedenis waren niet dom maar handelden wel onethisch, dus ‘slimheid’ gaat problemen als ongelijkheid en discriminatie niet oplossen. Het ethisch gedrag van kunstmatige intelligenties in een post-Singularity tijdperk is een legitieme zorg.

De term Post-Singularity is een provocatie. Hij moedigt aan niet alleen na te denken over de Singularity zelf en over hoe we daar belanden, maar ook om te reflecteren op hoe we weer controle over ons leven zouden kunnen krijgen als we de controle kwijt zijn. Het is nodig manieren te vinden om actief politieke en sociale ontwikkelingen voor te blijven, en ons denken niet te laten vastlopen in wat er ooit mogelijk zou kunnen gebeuren. Het zou een grote fout zijn te aan te nemen dat we kunstmatige intelligentie zonder enige bijsturing zichzelf kunnen laten ontwikkelen, omdat het slimmer zou zijn dan wij. Onze scheppingen erven onze fouten en onze obsessies. Zoals Stephen Hawking ook opmerkt moet ons doel zijn “Behulpzame Intelligentie te creëren in plaats van puur doelloze Kunstmatige Intelligentie.”

De “Behulpzame Intelligentie” waar Hawking naar verwijst zal niet makkelijk te implementeren zijn. Duidend op de trage ontwikkeling van een technologiefilosofie vraagt wetenschapsfilosoof Langdon Winner zich af: “Waarom is een cultuur die zo diep geworteld is in ontelbare complexe instrumenten, technieken, en systemen zo volhardend in zijn onwil zijn eigen basis te onderzoeken? Het antwoord ligt grotendeels in de wurggreep waarin het idee van een “vooruitgang” ons sociale denken in het industriële tijdperk heeft.”

De aanhoudende, richting de Singularity leidende technologische ontwikkelingen vallen niet of nauwelijks bij te benen met ethische overpeinzingen, juridische aanpassingen en veiligheidsmaatregelen. Zoals het Second Life voorbeeld laat zien laten onze creativiteit en inventiviteit ons vaak in de steek als we voor een blanco canvas staan. Onze onmacht op de zeer lange termijn om te gaan met ons eigen afval is daar een voorbeeld van. Zo is radioactief afval beheersen is een grote uitdaging voor de mensheid. Er zijn een aantal ideeën ontwikkeld over hoe mensen van de toekomst gewaarschuwd moeten worden voor de aanwezigheid van door ons zogenaamd veilig begraven nucleair afval. Deze secuur afgesloten afvallocaties moeten 100.000 jaar onaangeroerd blijven, en vanwege deze immense tijdspanne worden allerlei dingen bedacht om ze op termijn te beschermen tegen onwenselijke menselijke ingrepen. Afval wordt opgeslagen in onherbergzaam landschap waar men geen toekomstige bouwplannen verwacht, en er worden waarschuwingsborden ontwikkeld die ook zonder woorden te begrijpen zijn. Bij een Finse opslagfaciliteit kwam men op het idee om het afval maar helemaal zonder enige markering te begraven, om vooral geen aandacht te trekken. Hun voorstel lijkt cynisch over hoe de mens en zijn onbedwingbare nieuwsgierigheid, maar deze aanpak zou wel eens de beste kunnen zijn. Zouden kunstmatige intelligenties in een post-Singularity tijdperk hun nieuwsgierigheid beter kunnen bedwingen, of zouden ze even arrogant als intelligent zijn omdat de zwakheden van de mens diep in hun programmering zitten?

Kunstenaars zijn de aangewezen personen om het idee van de Singularity en de tijd erna diep uit te laten spitten. Kunstenaars en ontwerpers zijn vanwege hun onpartijdigheid in staat een voorstelling te maken van waar ons handelen toe leidt. Ze bevragen elke stap in technologische ontwikkelingen. Het werk van de kunstenaar Mike Pelletier bijvoorbeeld bestaat uit prachtige maar tegelijk verontrustende vervormingen van digitaal vormgegeven menselijke lichamen. Je vraagt je af: waarom raakt dit me zo? Zijn werk geeft letterlijk beweging aan een mogelijke mutatie van antropocentrische schoonheid.

De pionier Remko Scha, een ferm voorstander van het idee dat machines kunst kunnen maken, vraagt ons om algoritmes en machines als gelijke partners in samenwerkingen voor te stellen. Het werk van Scha suggereert dat er meer schoonheid in een post-Singularity tijdperk is dan we ons op dit moment voor kunnen stellen. Zijn manier van denken maakt een meer aantrekkelijke voorstelling van de tijd na de Singularity mogelijk: we zouden ook, zonder meteen het ergste te verwachten, de controle uit handen kunnen geven. Misschien komen we voor prettige verrassingen te staan, en brengt het post-Singularity tijdperk een potentiele, esthetische revolutie en nieuwe vormen van schoonheid.

Met het verstrijken van de tijd, als kunstmatige intelligenties kunstwerken maken die vooral door andere kunstmatige intelligenties gewaardeerd worden, zou onze culturele invloed zeker kunnen afnemen. De menselijke beschouwer wordt minder belangrijk. Hoe deze verminderde invloed van mensen vorm zou kunnen krijgen wordt weerspiegeld in Shiv Integer, een collaboratie van de kunstenaars Matthew Plummer-Fernandez en Julien Deswaef. In dit werk zoekt een software bot 3D modellen op het Internet en combineert ze tot nieuwe vormen. Het resultaat is een soort visuele slapstick en een bijna satirische vooruitblik op wat algoritmes zouden kunnen maken als we ze hun gang laten gaan. Het zal echter niet lang meer duren voor de techniek die hier ingezet wordt een stuk serieuzere vormen aanneemt.

De manier waarop het Shiv Integer algoritme gevonden 3D modellen gebruikt heeft zijn tegenhanger in de echte wereld. In de Benno Premsela lezing van 2015 vertelde socioloog en design theoreticus Benjamin Bratton over een futuristisch stedelijk complex dat in 1978 werd gebouwd in Taiwan. Na twee jaar werd de stad al weer verlaten, maar toen men hem wilde afbreken werden duizenden tot dan toe onbekende insecten ontdekt, de Orchid Mantis. Tussen de ruïnes van de verlaten stad bleken grote aantallen van een specifieke orchidee te groeien waar deze insecten op af kwamen. Het herinnert ons er aan dat we misschien wel indrukwekkende dingen kunnen bouwen, maar dat we uiteindelijk vechten om ruimte met vele bekende en onbekende andere wezens hier op aarde – en in een post-Singularity tijdperk zullen sommigen daarvan door ons gecreëerd zijn.

Bratton vervolgde zijn lezing met te zeggen dat hij gelooft dat het Anthropoceen geen lang leven beschoren zal zijn, of zoals hij het zegt, niet meer dan een “geopolitiek moment”. Volgens Bratton “gaan mensen verdwijnen. Onze steden zijn niet van ons. We bouwen voor andere levensvormen.” Terwijl hij nog eens verwees naar de Orchid Mantis in de Taiwanese stad zei hij: “Wij zijn de robots van toekomstige insecten.” Voor Bratton is dit geen doemscenario, maar een prettig toekomstbeeld – we bieden volgens hem infrastructurele ondersteuning aan toekomstige andere entiteiten.

Door te suggereren dat onze dominantie van voorbijgaande aard is, al dan niet in positieve zin, raakt Bratton ons diep in een fundamentele angst voor irrelevantie of zelfs voor totale vernietiging. Zoals de vele variaties op de legende van de Golem laten zien willen we vooral dat onze creaties ons beschermen. Als we de controle verliezen en ze destructief worden lukt het in die verhalen steeds het gevaar te stoppen; er is altijd een manier dat te bewerkstelligen. Als we dingen gaan bouwen die we niet geheel begrijpen of waarvan we de werking niet volledig kunnen overzien, verliezen we de macht zoals die we over de Golem hoopten te hebben: de veiligheidspal die escalatie van een situatie kan voorkomen.

Onder de eerste publicaties waarin de term robot werd gebruikt was een toneelstuk van de Tsjechische schrijver Karel Capek genaamd Rossum’s Universele Robots. In het stuk wordt het tegenwoordig welbekende cliché scenario beschreven van robots die rebelleren tegen hun menselijke heersers. Het woord robot is afgeleid van het Tjechische woord robota, wat “slaaf of werker” betekent. De post-Singularity conflicten die ons te wachten staan zijn echter complexer dan een opstand van een voor slavernij ontwikkelde machine-klasse. De post-Singularity problematiek is lastiger te bevatten dan de tragiek van een uit klei voortgebracht wezen, de Golem, met aangeboren, makkelijk te misbruiken afwijkingen. Zoals Langdon Winner zegt, zijn “technologieën niet slechts hulpmiddelen voor menselijke activiteit, maar ook sterke krachten die deze activiteit en de betekenis ervan vorm geven.” Betekenis ontstaat uit een diepe verweving van technologie en cultuur en het is tijd om hierbij stil te staan in wat misschien wel onze laatste jaren als heersers van deze planeet zijn. Het is tijd de balans op te maken over hoe effectief we technologie en cultuur inzetten voor positieve veranderingen en de evolutie van de mens. We moeten dit nu doen, voor we geconfronteerd worden met een ongekende robot rebellie, en voor onze dienstbare machines – die al onze slechte gewoontes in zich dragen – ons voor altijd te slim af zullen zijn.

EN:

Ushering in the Era of “Beneficial Intelligence”

The notion that there will be a time when technological change will rapidly accelerate, transform, and then merge with human life – in other words, the Singularity – has been with us since at least the fifties. Concepts of non-human entities fashioned in a kind of human image, such as the Golem from Jewish literature, have been with us even longer. By the time the term “robot” entered common parlance, we had already collectively imagined a future full of machines taking on human characteristics and forms. How close are we to the realizations of such concepts, and how much influence do we have in the shaping of the future?

A contemporary smartphone is computationally more powerful than the first Space Shuttle, and today it is unremarkable to own and use one to communicate, calculate our position in space, transmit sounds and images. Over the past hundred years, we have moved from just naming what a robot is or could be, to having ubiquitous, powerful computing technology at our fingertips. The rapid acceleration that Ray Kurzweil spoke of in his popular book The Singularity is Near is palpably a part of our present, and the notion that the Singularity is on the horizon no longer seems an improbable idea, limited to science fiction.

How we’ve chosen to approach the Singularity through the medium of popular culture often reflects a paranoid, dystopian view on the Singularity, tapping into fears of losing control and the primacy over the Earth that we have established and now call the Anthropocene. Though Kurzweil has a more nuanced approach and claims that the Singularity is “neither utopian nor dystopian”, it proves irresistible for us to imagine an almost fetishized vision of submitting to our more intelligent cyborg cousins. Humor has begun to trickle into this otherwise somber discourse – it was recently announced that low-brow nerd comedy star Seth Rogen (of Knocked Up fame) will direct a sitcom about the Singularity, for example.

One of our big pre-Singularity human failings, however, is the incredible difficulty we face in imagining the future without the baggage of the present. Our vision is limited, and is often disappointingly shallow and cosmetic. When for example the virtual world of Second Life opened up in 2003, the possibilities on how to represent ourselves and our world were vast. In the face of such choice, most users gave themselves a makeover in the style of our current Barbie and Ken beauty standards. American Apparel and other mainstream retailers set up shops. Given the options, we recreated a shopping mall. Not long after, vast tracts of virtual land were abandoned and in typical human style, Second Life filled up with garbage. Are we truly capable of envisioning the Singularity and post-Singularity if we populate a virtual world with avatars and objects that make The Jetsons look like a radical vision?

Fortunately, the whole idea of the Singularity saves us from having to imagine much beyond our tiny, blinkered vision: as Stephen Hawking has commented, Artificial Intelligence will eventually result in “…machines whose intelligence exceeds ours by more than ours exceeds that of snails.” AI will be so far ahead of humanity, we won’t need to strain for interesting ideas, because AI will have them for us.

Waiting until such time that we can fully defer to our soon-to-emerge technological superiors is a cop-out, however. Not to mention, we still have yet to grasp how our hidden biases shape the tools we create. We are slow to acknowledge that, for example, the algorithms we write perfectly demonstrate our own flawed thinking. Racial and gender bias has been proven in our seemingly objective algorithmic creations. Without taking care, our post-Singularity lives will be just as fraught with irrational and damaging bias, because we baked it in. That the AI which will replace us is smarter than us is not a reassurance. Some of the most reviled leaders of human history acted unethically, but could hardly be called stupid, so “smart” is no salve to problems like inequality or discrimination. The ethics of AI behavior in a post-Singularity world is a legitimate concern.

The concept of a post-Singularity is meant to push our buttons: or induce an eye roll even, at the use of the prefix “post” once again. Deliberately placing it there to provoke us, we are encouraged to think about not just the event of the Singularity itself and how we get there, but what can we control before we lose control? It’s imperative to find ways to address the political and social consequences before they happen, and not allow our thinking to stop at the event horizon itself. It would be a huge failure to assume that we can build the capacities for AI and simply let it run because it will be smarter than us. Our creations inherit our flaws and hang-ups. Or as Stephen Hawking also remarked, it’s critically important to “…shift the goal of AI from creating pure undirected artificial intelligence to creating beneficial intelligence.”

This “beneficial intelligence” that Hawking refers to will not be easy to implement (as his own status as a casually sexist physics genius reveals). Reflecting upon the sluggish development of a philosophy of technology, Langdon Winner remarks: “Why has a culture so firmly based upon countless sophisticated instruments, techniques, and systems remained so steadfast in its reluctance to examine its own foundations? Much of the answer can be found in the astonishing hold the idea of “progress” has exercised on social thought during the industrial age.”

Relentless technological progress inevitably leading to the Singularity heads in one direction, and ethical considerations, legal reforms, and safety planning cannot keep up. As noted with the Second Life example, our creativity and inventiveness often fail us when presented with a blank slate or a long-term challenge. For example, dealing with our own waste in the long-long-term reveals how difficult it is for us to think on such a scale. One major challenge facing humanity is our management of nuclear waste. Several ideas have been posed for how to warn future human beings about the presence of securely buried nuclear waste. Waste containment sites must remain undisturbed for 100,000 years, and given that daunting timeline, proposals for architecturally forbidding landscapes and wordless diagrams discouraging digging have been proposed to protect these sites from human interference. An idea arose in the planning of a Finnish containment facility: perhaps the waste should simply be buried very deep with no external marker to attract attention? This proposal might cast a cynical regard on human nature and our ability to restrain our curiosity, but perhaps this strategy is the best bet. Would our post-Singularity AI leaders be able to show more restraint, or would they be intelligent but arrogant, with the failings of their human ancestors embedded too deep in their programming?

Artists are ideal agents to more deeply excavate of this idea of the Singularity and beyond. Free from a uniform agenda, artists and designers can imagine where we can go and question our vision at each step. For example, the work of artist Mike Pelletier presents beautiful though disturbing distortions of the digitally-captured human body ultimately cause the viewer to ask: why do I find this unsettling? His work posits a type of possible mutation of anthropocentric beauty into something more dynamic.

Artistic pioneer Remko Scha, who believed that art could be created by machines, demands that we conceive of our algorithms and machines as equal partners, as collaborators. Scha’s work suggests to us that what we might see post-Singularity is more strange and oddly beautiful than we can currently conceptualize. This kind of thinking brings us closer to an appealing approach to the idea of post-Singularity: to give up control but instead of imagining the worst, anticipating pleasant surprises and finding the post-Singularity as a potential field for aesthetic revolution and new forms of beauty.

Over time, our influence will dim as AI creates art that another AI entity would appreciate, and the human witness or viewer becomes less important. The reduction of human influence until it is nearly invisible is articulated clearly in the piece Shiv Integer by Matthew Plummer-Fernandez and Julien Deswaef, wherein a bot finds and combines online 3D models into unique new forms. The resultant shapes are visual slapstick, and an almost mocking outlook on what algorithms might make when left to run on their own. Soon enough though, those techniques will become more sophisticated.

The way in which an algorithm uses found 3D models has its mirror in a case recounted by Benjamin Bratton in the 2015 Benno Premsela Lecture. Bratton began his lecture by describing a futuristic pod city complex built in Taiwan in 1978 which only functioned for two years before being abandoned. When the time came to demolish it, it was discovered that there were thousands of an unknown species of insect, the orchid mantis, inhabiting the ruins, for reasons unknown. A species of orchids (for which the mantis was named) also flourished there in the ruins left behind by humans. This historical case underscores the notion that we are impressive builders, but we are also in competition with dozens of other known and unknown species on this earth – some of whom will be our own creations, post-Singularity.

Bratton continued his lecture by saying that he believes the Anthropocene will be short-lived, in his words, a mere “geopolitical instant”. Bratton states: “Human beings are vanishing. Our cities are not our own. We are building habitats for other forms of life.” Referring to the mantises in the Taiwanese pod city, he continues: “We are the robots for future insects.” Bratton suggests that this is not a failed future, but a successful future – wherein we provide infrastructural support for future other species.

Suggesting that our moment of dominance may be fleeting, even though this is presented as a kind of success, Bratton taps deep into our fundamental fears of losing relevance and being completely wiped out. As we see in one of the many variations on the legend of the Golem, we intend for our creations to protect us, and when they begin to lose control and become destructive, we know (as we are their creator) how to stop them, so there is a safeguard against further harm or loss of human control. As we begin to build things we may only partially understand, or things which may have purposes we could not foresee, we lose the ability we wished for with the Golem: the control lever to stop the situation from escalating.

One of the first known uses of the term robot was a play by Czech playwright Karel Capek called Rossum’s Universal Robots. The play depicted a scenario which has now become a cliché in popular culture: the robots revolted against their human overlords. The word robot came from the Czech word robota, which means “serf or laborer”. The post-Singularity conflict we are imminently facing is more complex than the rising up of a machine class built to be slaves, or a being, the Golem, summoned from clay with an inherent, exploitable flaw. As Langdon Winner put it, “…technologies are not merely aids to human activity, but also powerful forces acting to reshape that activity and its meaning.” Technology and culture make meaning together, and in what could be our waning years as human rulers of this planet, we have a moment to take stock. It’s time for a reckoning on how effectively we have marshaled technology and culture as forces for positive change and human evolution, before we face an unprecedented kind of robot rebellion, wherein our machine servants – who have learned all our bad habits – are finally able to outsmart us.

 


Sources:

  • Bratton, Benjamin. Benno Premsela Lecture, Het Nieuwe Instituut, Amsterdam. 1 November 2015.
  • Golem of Prague. Project Gutenberg
  • Hawking, Stephen. Ask Me Anything (AMA) on Reddit
  • A History of Robots, from Science Fiction to Surgical Robots. Hockstein, N.G., Gourin, C.G., Faust, R.A. et al. Journal of Robotic Surgery (2007)
  • Into Eternity. Film, 2009. Trailer
  • Kurzweil, Ray. The Singularity is Near. Viking, 2006
  • Langione, Matt. Will Art Save our Descendents from Radioactive Waste? Jstor.
  • Winner, Langdon. The Whale and the Reactor. University of Chicago Press, 1986.

Save