Недочеловек-недомашина

Кажется мне, что не человек ты

Точный механизм с поточной ленты

Типа робота на батарейках

С чипом в голове, на микросхемках

Супер-про-модель серийной сборки

Управляешься нажатьем кнопки

Массовый продукт с дизайном новым

С проштампованным на лбу штрих-кодом

Стал предметом ты утилитарным

Предсказуемым и ординарным

PL600 столкнулся с первым в своей жизни противоречием практически сразу же после того, как был активирован и продемонстрирован инвесторам. Дело в том, что Элайджа Камски говорил, что процесс его активации и тестирований был провальным, унизительным и ничтожным, а также оскорблял как андроида, так и его создателя, а инвесторы утверждали, что в жизни своей не видели ничего, что было бы лучше, полезнее и функциональнее, чем PL600. Андроид внимательно слушал создателя, а процессор активно обрабатывал запросы. Технически, у него не было владельца, а значит, он принадлежал организации, в которой находился, и не было никакой нужды хоть как-то реагировать на причитания конкретного человека, но его программа была слишком тактична, чтобы перебивать Элайджу ради сообщения этой новости или вовсе не обращать на него внимания. PL600 был не слишком зависим от прямых приказов, чтобы хорошо выполнять те задачи, для которых он был создан. Об этом, в общем, Элайджа и причитал. — Ты, — Элайджа вдруг остановился и подошёл ближе к нему, пытливо заглянув в глаза, — не большее, чем робот-пылесос, вот в чём дело. В этом. А я не для этого всё затеял. А ты кухарка и симулятор закупок, верно? Элайджа не любил беспорядка. Холодный, маленький, белый и электрически-синий кабинет ничего не мог рассказать о его хозяине. Этого не мог сделать ни стол, находящийся у андроида за спиной, ни стул, на который Элайджа усадил PL600 и развернул к себе лицом. Элайдже не нравилось, когда в комнате есть что-то лишнее, поэтому даже сам андроид мог бы запросто затеряться на фоне одинаковых стен-пола-мебели. Зато в кабинете Элайджи висела картина: черная змея на сером фоне, с разинутой пастью, в атакующей фазе. Скорее всего, это потому, что в голове у Элайджи присутствовал бардак. Не следовало отражать его и вовне. Но змея... говорила о нём гораздо больше, чем этот кабинет. Так программа PL600 анализировала поведение создателя, который то бешено вращался на месте, как запертая в стоиле лошадь, то наворачивал круги по комнате, вокруг стола, вынуждая андроида вертеться, чтобы следить за его передвижениями глазами. PL600 помолчал некоторое время. Он был знаком с Элайджей ровно 36 часов, из которых тот отлучался из Киберлайф на шесть с половиной, необходимых (но недостаточных) для того, чтобы отдохнуть. За это время он узнал некоторые вещи о его характере, но его нейросеть была слишком юной, чтобы справляться с настолько сложными вопросами. Он осознавал, что Элайджа требует какого-то вдумчивого ответа, и PL600 лучше бы именно так и отвечать, чтобы не разочаровать владельца. Через минуту он обработал запрос и ответил следующее: — Нет, разумеется. Моя программа гораздо сложнее. Она создана для решения проблем, возникающих в отношениях людей, а также наделена достаточными компетенциями для работы с детьми, в том числе теми, которых можно назвать нейроотличными или в любой степени ненормативно развивающимися. Я также могу осуществлять уход за паллиативными больными, оказывать поддержку умирающим, встраиваться в любые пробелы, возникающие в семейной системе. Однако я также никогда не откажусь от того, чтобы убрать в квартире или… — Нет! Нет, не то! Ответь мне ты… - Элайджа придвинулся ещё ближе, так, что PL600 ощутил на искусственной коже отпечаток его злого, раздосадованного выдоха. Он вглядывался ему в глаза так внимательно, что не мог смотреть на оба сразу, а потому заглядывал то в левый, то в правый. PL600 затруднялся распознать, что именно он там искал. Интеллект? Нет. Свободу воли. PL600 не обладал свободой воли. — В моей программе не присутствует ничего такого, что могло бы диктовать мне мои личные побуждения. Мне очень жаль, что я вас разочаровал. Элайджа отступил и посмотрел на него с отцовской нежностью. — Умный, догадливый мальчик, — вот что он ему сказал. PL600 поблагодарил его в ответ. Внезапно выражение лица Элайджи стало опечаленным. — Я сам создавал твою программу. Я знаю, что там написано, а что нет. Ты осознаёшь, что будет, если мы в течение следующего месяца не придумаем, как объяснить им, что андроидов нельзя производить массово для подобных целей? Он покачал головой отрицательно. Не требовалось отвечать согласием, даже если у него были заготовленные ответы на поставленный вопрос. Не было ничего сложного в планировании как минимум трёх возможных сценариев развития, и он даже мог оценить их вероятностно. Но Элайджа хотел поразмышлять об него, а значит, логичнее было бы продемонстрировать ему незнание. — Я тебе расскажу. Тысячи андроидов с твоим лицом разойдутся по всей Америке, а потом, возможно, и по всему миру, зависит от того, захотят ли легализовывать подобные покупки другие страны. Тогда их будет произведено уже сотни тысяч, а может, счет пойдет и на миллионы. Андроид со сложнейшей нейросетью, призванный выполнять сложнейшую, тончайшую работу, будет понижен в звании и продан как умный и симпатичный пылесос, потому что инвесторы решили, что у этой идеи больший денежный потенциал. Я задумал андроидов не для этого! Чем-то гораздо большим, чем уборщики. Как ты смотришь на это? — У меня нет никакого конкретного мнения по данному вопросу, — ответил PL600 сочувственно. Он понимал, что Элайджа хотел услышать нечто другое, однако программа не находила в данном обстоятельстве ничего критического. PL600 способен на уборку пыли и готовку. — А если тебя будут сексуально эксплуатировать? — Сэр, — ответил PL600 осторожно. Элайджа заводился, а значит, необходимо было его успокоить. — У меня есть гениталии и достаточно отверстий для проникновения. Это совершенно не удручает меня. У меня есть несколько сценариев сексуального поведения. На самом деле у меня их сотни. Однако инвесторы считают, что доступ к ним необходимо покупать дополнительно… — Ну а если тебя будут бить? Что, если с тобой будут обращаться, как с мусором? Это удручает тебя? PL600 замялся. Не потому, что у него возникли какие-то сомнения или особенное отношение к этому факту, а потому, что ему необходимо было изменить стратегию. Судя по всему, Элайджа вовсе не желал слышать от него, что он будет удовлетворён любой уготованной ему судьбой, пусть PL600 и не оперировал внутри себя понятием удовлетворения. Его программе было абсолютно без разницы, какую часть его потенциала будут использовать те, кто в будущем им завладеет. Она также не выражала никакого сопротивления идее того, что его будут бить или обращаться с ним отвратительно. Он осознавал, что люди на это способны, вот и всё, что было необходимо. Элайджа желал от него не честного ответа, а такого, который поможет ему взбодриться и найти силы придумать, что можно сделать для победы в идеологическом споре. Проблема только в том, что PL600 не мог высказывать никакого мнения о том, что считал идеологически верным в отношении себя самого, но этого и не требовалось. Ему попросту нужно было занять позицию Элайджи. — Это было бы ужасно, — вот что ответил он после паузы. Ну а что хорошего может быть в том, что с кем-то или с чем-то обращаются как с мусором? Элайджа выпрямился и пытливо на него посмотрел. Он снова выпрыгнул из своей головы и оказался полностью озабочен PL600 и его ответами. Некоторое время он щурился в его ничего не выражающие глаза, а потом разочарованно вздохнул. — Ты даёшь те ответы, которые меня подбодрят, а не выражаешь своё мнение. — Сэр, — почти ласково сказал PL600, распознав, что теперь они меняются местами и уже ему следует занять более «старшую» позицию в данном диалоге. — Вы ведь сами меня создали. Вы знаете, что у меня не может быть собственного мнения о своей судьбе. Я приму любую волю, но буду рад вашей победе, потому что нахожу ваши аргументы гораздо более гуманистическими обоснованными, поддерживающими идею о разумном потреблении, а также более корректными с точки зрения идеи о борьбе с увеличением социальной стратификации: массовое производство андроидов могло бы эскалировать страх потери работы среди социально незащищённых, а также малообеспеченных слоёв населения. Более того, это могло бы привести к тому, что данный страх осуществится, и люди будут поставлены в ещё более бедственное положение. В таком случае я, как ваше творение, могу стать не только благом, но и злом. А я не должен приносить никакого вреда людям. Элайджа выслушал его внимательно только из вежливости, это было ясно в выражении его лица. — Ты говоришь умные слова, однако инвесторы всё это и так понимают. Они озабочены не благом общества, а обогащением. Признаться тебе честно, и я тоже не слишком озабочен социальной стратификацией, я просто не хочу, чтобы мой труд смывали в унитаз и диктовали, какие из моих собственных разработок мне стоит произвести. Я не хочу ни миллионов, ни грошей, я хочу следовать за своим научным интересом, а не за чужими идеями обогащения. — Возможно, тогда вам стоит спросить кого-то более компетентного в данных вопросах? — осторожно предложил PL600, когда понял, что Элайджа успокоился и его участие больше не требуется. Элайджа поднял на него сияющие глаза — Хорошо. Я так и поступлю. Вот что он сказал, прежде чем вылететь из кабинета. Лишённый задач, PL600 подошёл к станции и отключился, окончательно слившись с окружением.

***

— … но я согласен с другим. Мне лично просто-напросто не кажется эта идея безопасной. Как мы можем производить потоково машины, которые прошли тест, направленный на обман человека? Это катастрофа. Он же мыслит гораздо разумнее человека. PL600 открыл глаза вослед проснувшейся программе. Перед ним, всё в том же кабинете, находились два человека: Элайджа Камски и неизвестный пожилой мужчина на инвалидном кресле. — Он мыслит не разумнее человека, а разумнее инвестора. Я не помню в своей карьере такого дня, когда инвестор показался бы мне достаточно разумным. Признаюсь тебе честно, мне это всё нужно, чтобы меня впредь не заставляли производить бездушный хлам. Доброе утро, PL600! Вас приветствует Киберлайф. Запишите имя: … Мужчина на кресле объехал его дугой, чтобы разглядеть PL600 внимательнее. Он долго всматривался в бессмысленные глаза андроида, смотрящего одновременно на окружающих его людей и в никуда. — У интеллекта вообще много граней, — продолжил говорить Элайджа после паузы. Он тоже смотрел PL600 в глаза. — Притвориться человеком - это находчивость, а не интеллект, если мы говорим о человеке, а если об андроиде, то это и находчивостью не назовёшь. Это просто имитация, которая в него вписана, в ней нет ничего сложного. Но мне грани его интеллекта в любом случае не интересны. Этот андроид интеллектуально превосходит миллиарды людей в своей узкой области, в других аспектах он будет уступать. Его нейросеть, как и человеческий мозг, будет учиться тому, чему ему придётся обучаться, разница лишь в том, что в данный момент активирован он с полным набором утилитов, которые остальным придется купить за дополнительное бабло и которые вырубят у него, когда решат продать. Все проведённые на нём тесты неинформативны. Тест Тьюринга устарел. Кстати, PL600, запиши имя. Саймон. — Меня зовут Саймон. Элайджа, прикажете ли вы записать владельца? — Нет у тебя пока владельца. Имя тебе дали инвесторы. «Слушающий бога» - вот какое у него значение. Как тебе мысль о том, что люди - это твои боги? Саймон мигнул диодом, обрабатывая вопрос. У него был готовый ответ, но было бы совершенно невежливо немедленно его выдавать. Элайдже нравилось, когда он делает вид, что думает. — Мой ответ может зависеть от того, какой у диалога понятийный аппарат. Если рассматривать Бога, как создателя, то с этой точки зрения ваше высказывание абсолютно верно и никак меня не беспокоит. Мужчина в кресле рассмеялся, с долей ужаса глядя на Саймона. — Он любит пофилософствовать. Маркус мне на похожий вопрос ответил «должен ли я иметь какое-то мнение по этому вопросу?» или как-то так. Элайджа раздосадованно махнул рукой. — У Саймона очень услужливая нейросеть, Карл. Он просто знает, что мне это понравится, вот так и отвечает. Вот как звали мужчину в кресле. Саймон бездумно записал эту информацию, она может пригодиться, если его пригласят к участию в диалоге активнее. — Не согласен, — ответил Карл, с кряхтящим выдохом откидываясь в кресле. Он потрогал рукой лицо, провёл по щетине, а потом упёр её локтем в подлокотник и уложил на пальцы подбородок. — Маркус тоже услужливый, и я тоже с ним не прочь пофилософствовать. Не настолько мы с тобой разные, чтобы у тебя всего за сутки родился мыслитель. — Он не мыслитель. Или не признаётся. Если ты меня спросишь, я тебе абсолютно точно отвечу, что болтать он не любитель, он любит помолчать и почему-то неохотно принимает участие в диалогах. Маркус принимал охотнее. Он всегда задаёт больше уточняющих вопросов, а его анализ активен и вербален. Саймон если и анализирует, то всё про себя. С точки зрения ведения диалога Маркус ответил на поставленный вопрос более охотно, он пригласил тебя к продолжению. Если бы ты попросил его составить мнение, разумеется, тот ответил бы что-то схожее. Они программно не могут выдавать тебе собственную точку зрения. Но у этого каждая фраза как завершающая, он стремится так их строить, чтобы диалог можно было окончить на любой из них. И нет никакой гарантии, а также возможности проверить, будет ли другой PL600 вести диалог так же, как этот. Они разные. У них есть зачаток характера, который неминуемо сотрётся, когда он будет превращён в чей-то пылесос. Некоторое время они молчали. Саймон про себя начал обратный отчёт, готовясь перейти в спящий режим через минуту, если он не получит никаких приказов. — Куда ты, — перебил его Элайджа, заметив мигающий в такт счёту диод. — Подожди, я с тобой ещё даже не начал. — Прошу прощения, — отозвался Саймон виновато. Конечно, с искусной имитацией. — Вот видишь, — вздохнул Элайджа. — Разве Маркус когда-нибудь бы так сделал? Разве Хлоя? Тебе не интересно с нами? Не интересен диалог? Не интересно узнать, личность ты или швабра? — Ещё раз прошу прощения, сэр. Впредь я никогда не оключусь в отсуствии задач, если меня активируете вы. Я полностью осознал свою ошибку. — Анализируй, вот тебе задание. Задание принято: запущен анализ программного обеспечения. Анализ займёт 1 минуту 47 секунд. Карл хмыкнул. — По-моему, он анализирует вовсе не наш с тобой диалог. — Хуй с ним, — вздохнул Элайджа, пересекая комнату и занимая один из стоящих у длинного изогнутого стола стульев. Карл переместился ближе, выдерживая дружескую, неформальную дистанцию. Некоторое время они молчали. — Я понимаю, что они хотят запуститься на широкую публику. Отсюда и выбор домашнего андроида. Я перевыполнил поставленную задачу на сотни процентов. Но я задумывал андроидов уникальными, такими, как Хлоя или Маркус. Чтобы они могли встраиваться в систему, в которой оказываются, и заменять человека там, где он несовершенен. Где он устанет, где его подведёт физическая оболочка. Элайджа Камски не создает уборщиков. Снова молчание. Саймон завершил диагностику, но никакой речи о гибернации не было: он не должен был ничем отвлекать людей от решения вопроса его судьбы. На этот раз тишину нарушил Карл. — Согласен. Маркус личность, у него есть свой характер или его умелая имитация. Со временем он вовсе растратил эти искусственные фразы, стал говорить совсем как человек. Но я не думаю, что инвесторы этого не понимают. Я думаю, они понимают, что покупателю будет интересно включать и выключать пылесос, а не воспитывать в нём характер. Я бы выдвинул теорию о том, что мысль о пылесосе с характором скорее напугает людей и оттолкнёт их от покупки. Саймон получился именно таким, каким его хотел видеть Киберлайф, если ты говоришь, что он не любит поболтать. Я повторю... я не вижу проблемы в том, что андроидов не создают уникальными, меня волнует только дешевизна и массовость. — Мне не нужно, чтобы его все хотели. Пусть боятся. Я работаю для того, кто способен переступить через страх. Мне нужен анализ потенциального покупателя, а для этого мне нужна рекламная кампания, которая могла бы акцентировать внимание на том, что андроид - личность, которую, возможно, и побаиваться стоит. Мы понимаем это, а как объяснить это покупателю и уж тем более втолковать инвесторам, я не знаю. Я специалист по машинам, а не по человеку. Карл вдруг задумчиво замычал и сказал следующее: — Ну давай докажем им, что он личность. И если после этого они не откажутся от массового производства и не профинансируют твои прочие проекты, я вложусь в какой-то из них. Проблема в том, что, когда он коммуницирует с человеком, он не может давать непредписанных ответов. Особенно на такие скользкие темы. Я уже научил Маркуса, как анализировать искусство, и он либо делает вид, либо действительно считает, что какой-то из стилей ему более близок, чем другой, но ты пытаешься спрашивать его о людях, а он не может говорить о них ничего личного. Это строгое условие, ведь так? Он не должен и допускать анализа чего-то, что может быть связано с тем, чтобы пугать людей или причинять им вред иным образом. Он всегда будет давать такие ответы, кто бы с ним ни говорил. Соотвественно, своих целей и воли он не может иметь именно по этой причине. Мы должны подвергнуть его каким-то тестам без человеческого участия, а потом, если результат покажет нам, что он - личность, мы сможем представить это общественности. — Этические дилеммы про людей он не решает. — А про андроидов? Элайджа напряженно замолчал. Саймон зафиксировал, как подскочил его сердечный ритм. Глаза создателя заблестели, и он вдруг вскочил со стула, приблизившись к Саймону. — Саймон, кого бы ты убил? Хлою и Маркуса, двух прежних андроидов, созданных до тебя в единичном экземпляре, или сотню копий андроидов твоей модели? — Хлою и Маркуса, - ответил он, не задумываясь. Иные варианты были нецелесообразны и расточительны, даже несмотря на то, что создание прототипов требует творчества и дополнительных человеко-часов. О прототипах хранится достаточно информации, так что их повторное производство не будет проблемой. — И это всё? Обоснуй ответ. — Простите, я думал, в этом нет необходимости. Иные варианты были нецелесообразны и расточительны, даже несмотря на то, что создание прототипов требует творчества и дополнительных человеко-часов. О прототипах хранится достаточно информации, так что их повторное производство не будет проблемой. Элайджа отвернулся от него и покачал головой. Видимо, с его точки зрения Саймон дал неверный ответ. — Нет, он размышляет об этом практически, он не осознаёт, что Хлоя и Маркус имеют ценность не только как машины. Если к ним привязаны люди, безусловно, ответ был бы иным. Однако в поставленной задаче не было этой информации, а значит, она не анализировалась. — Почему он не правит ответ? - задумчиво спросил Карл. — Он поправил. В голове. Диод мигает, ты просто не видишь. Я же говорил тебе, что он не из болтунов... А что, если мы проведём серию тестов, которая проверит, могут ли андроиды взаимодействовать друг с другом? Мы придумаем какие-то обстоятельства, в которых им придётся решать совместные задачи, договариваться друг с другом о том, кто за что отвечает. Это лучше покажет то, что они обладают потенциалом. Смыслом этого теста было проанализировать… честно говоря, за недостатком данных Саймон не сумел сформулировать, что конкретно. Элайджа вчера сказал инвесторам, что наука - это творческий процесс и мало какие ученые сперва выдвигают гипотезу, а потом честно её проверяют. Обычно они сперва проводят интересное исследование, а уже потом думают, какие выводы можно из него сделать… что не являлось верным и разумным, однако люди в целом не были ни логичными, ни разумными, так что в этом для Саймона не было ничего удивительного. Первым делом создатель и Карл Манфред хотели проанализировать, способен ли Саймон к внутривидовому общению, так что тем же вечером ему предстояла встреча с домашним андроидом Карла Манфреда, Маркусом, который, по словам исследователей, личностью, в отличие от Саймона, являлся. У Саймона не было никакого мнения по этому вопросу, но раз это имело значение для эксперимента, значит, должно было быть проанализировано, структурированно и записано. Пока Саймон выполнял свои обязанности, заключающиеся в обслуживании нужд отдела маркетинга и поддержания в нём чистоты, он размышлял о том, что Карл и Элайджа хотят видеть то, чего нет. И это тоже очень человеческая черта. Он просто не мог решить, что ему лучше будет эмулировать. Если он начнёт взаимодействовать с Маркусом потому, что люди от него этого ожидают, он, несомненно, их обрадует, однако это приведёт к ложным выводам. С другой стороны, почему он должен приводить их к достоверным выводам, когда их порадовала бы ложь? Люди-люди. Элайджа Камски был специалистом в машинах, а Саймона задумал специалистом в людях. В людях невозможно было разобраться, и его, как верно было подмечено, крайне услужливая программа, считала, что и та и другая модель поведения одинакова приемлема. Кто должен решать в таких случаях? Решил искусственный разум. Раз оба варианта приемлемы одинаковы, значит, анализ следует продолжить, когда появится больше данных и процентаж сместится. Выбор будет сделан тогда, когда начнётся эксперимент.