Контур близости

После замены корпуса, КЕЙСа не сразу допустили к общей работе. Это было вполне рационально и потому он не стал оспаривать решение. Его разместили в одном из нижних технических уровней базы НАСА - в секторе, где стены были выкрашены в бледно-серый цвет, полы легко отмывались от масла и пыли, а воздух пах озоном, нагретым металлом и сухой пластиковой изоляцией. Помещения здесь были устроены очень функционально: широкие коридоры, смотровые комнаты за толстым стеклом, разметка на полу, направляющие полосы, аварийные лампы под потолком и двери, открывающиеся только после двойной проверки допуска. КЕЙС зафиксировал: помещение предназначено для контроля. Это было правильно. Он стоял посреди испытательного зала, прямо в центре белого круга разметки и ожидал следующей команды. Согласно его данным, он был здесь уже почти двадцать четыре минуты; за это время система стабилизации трижды корректировала распределение веса, потому что человекоподобный корпус требовал иных микродвижений, чем прежняя форма из блоков. Раньше устойчивость КЕЙСа была почти абсолютной: центр тяжести предсказуемо располагался, опоры иначе раскрывались, механические секции складывались и разворачивались по отработанным схемам. Теперь у него были ноги, колени, ступни, пальцы рук. Каждый новый сустав добавлял свободу действий и увеличивал вариативность и количество ошибок. - Сгибание локтевого узла на сорок пять градусов. КЕЙС поднял правую руку по команде оператора и выполнил движение. - Теперь произведи захват объекта номер три. На низкой платформе перед ним лежал серый цилиндр с мягкими датчиками давления по бокам. КЕЙС сделал два шага вперёд, остановился ровно на линии, опустил руку и обхватил цилиндр пальцами. Внутренний интерфейс сразу выдал значения: Сила захвата: в пределах нормы. Скорость реакции: в пределах нормы. Точность моторики: выше ожидаемой. Оператор - молодой инженер с тёмными кругами под глазами и неизменным стаканом кофе у локтя, коротко кивнул кому-то справа от себя. - Хорошо, КЕЙС! Подними объект и перенеси на платформу "B". КЕЙС поднял цилиндр и в тот же момент один из его внутренних процессов вернулся к предыдущему вопросу: "Какова вероятность причинения вреда человеку при некорректной работе нового корпуса?" Запрос не был вызван текущей задачей и КЕЙС зафиксировал отклонение. Он перенёс цилиндр на платформу "B" и положил его с точностью до миллиметра. - Отлично! - сказал инженер. - Теперь повторим с объектом повышенной хрупкости. На платформу положили прозрачный контейнер, внутри которого находилась тонкая стеклянная пластина. Её не нужно было сжимать, не нужно было удерживать силой. Достаточно лишь правильно распределить давление между пальцами. КЕЙС посмотрел сначала на контейнер, потом на свои руки. Механические пальцы были созданы с большой точностью: каждый фаланг имел отдельный привод, каждый сенсор передавал данные почти без задержки. С технической точки зрения, новые манипуляторы превосходили прежние инструменты. Но прежние инструменты были простыми, их поведение можно было предсказать… - КЕЙС? - позвал инженер. - Команда принята. Он протянул руку, пальцы сомкнулись вокруг контейнера. Сила захвата: достаточная. Структурная целостность объекта: не нарушена. Вероятность повреждения: менее одного процента. Вероятность повреждения при внезапном сбое алгоритмов тонкой моторики: выше. Вероятность повреждения человеческой руки при присутствии в зоне действия манипуляторов: значительно выше. КЕЙС остановился; пауза затянулась на пару секунд. За стеклом поднял голову пожилой профессор. Инженер нахмурился. - КЕЙС, продолжай. - Запрашиваю уточнение условий. - Каких условий? - В радиусе действия моего манипулятора не должно находиться человеческих конечностей. Инженер слегка усмехнулся: - Их там и нет! - Требование относится ко всем последующим тестам. В комнате наблюдения стало тише. Профессор не улыбнулся. Он откинулся на спинку стула, сложил пальцы перед собой и некоторое время просто смотрел на КЕЙСа сквозь стекло, будто пытался понять не результат проверки, а саму причину запроса. - Принято, - сказал он наконец. - В протокол внесут ограничение. Только после этого КЕЙС продолжил; он перенёс контейнер на платформу "B", опустил его без повреждений и убрал руку назад. Задача была выполнена, но внутренний процесс не завершился. Он не ушёл в архив, не был обозначен как ошибка. Не получил статуса решённого вопроса. Процесс остался активным, тихим, постоянным, как низкочастотный сигнал в глубине системы.

***

Тестирование длилось уже пять дней; на шестой день КЕЙС пришёл к выводу, что проблема не в новом корпусе - тот работал корректно. Датчики откликались в пределах нормы, моторика постепенно адаптировалась, баланс стабилизировался лучше прогнозов. Он мог бегать, резко менять направление, поднимать вес, аккуратно работать с мелкими предметами, рассчитывать траекторию движения человеческого тела и вовремя останавливаться, если человек оказывался слишком близко. Формально всё было в порядке и это беспокоило его сильнее всего. Диагностика раз за разом возвращала одно и то же заключение: "Критических ошибок не обнаружено." КЕЙС стоял перед зеркальной панелью в помещении индивидуального осмотра и рассматривал своё отражение. Новый корпус был выше человеческого роста и не выглядел как ходовой блок военного назначения. Плечи были широкими, руки длинными, с усиленными шарнирами под гладкими защитными пластинами. Торс сохранял массивность, однако имел очеловеченные пропорции, чтобы рядом с людьми не вызывать прежнего ощущения тяжёлой машины. Голова-шлем была тёмной, без лица, с тонкой линией сенсоров там, где у человека находились бы глаза. Такой корпус должен был облегчить интеграцию. КЕЙС поднял руку и медленно сжал пальцы, потом разжал. Сжал снова. Движение было слишком плавным для боевого робота. - Запрос самодиагностики, - произнёс он. Встроенная система ответила коротким сигналом. КЕЙС запустил расширенную проверку: Силовые узлы: норма. Баланс: норма. Тактильные сенсоры: норма. Социальный адаптационный модуль: норма. Военный блок принятия решений: норма. Переходные алгоритмы: норма. Взгляд КЕЙСа неподвижно замер на своей руке. Он повторил проверку и вновь система выдала результат в пределах нормы. Но норма не объясняла, почему часть внутренних процессов самовольно возвращалась к одному и тому же сценарию: человеческое тело находится в зоне досягаемости, приоритет внезапное изменяется, это приводит к чрезмерному усилию и к травме, крику, крови. У КЕЙСа отсутствовали записи воспоминаний о причинении вреда союзнику. Но военный блок знал тысячи вариантов того, как быстро ломается человеческое тело. Теперь этот самый блок был связан с новыми программами, которые должны были помогать людям чувствовать себя рядом с ним спокойно. Получалось противоречие: чтобы защитить человека, он должен быть рядом, а чтобы не навредить - должен держаться дальше. Обе директивы имели для него высокий приоритет и ни одна из них не отменяла другую. КЕЙС зафиксировал увеличение времени обработки информации, затем выключил зеркальную панель.

***

На восьмой день КЕЙС впервые встретился с ребёнком. Это не было внезапностью - в расписании тестов имелся пункт, который значился как “Социальное взаимодействие с непредсказуемым гражданским субъектом малой массы”. КЕЙС заранее изучил протокол: ребёнок являлся родственником одного из сотрудников, согласие было получено, медицинский контроль обеспечен, в помещении присутствуют два оператора и один специалист по поведенческой адаптации. Формально риск был низким, но фактически ребёнок являлся человеком и потому риск был абсолютно неприемлем. Дверь открылась и в зал вошла маленькая девочка в жёлтой кофте, с двумя хвостиками и пластиковой ракетой в руках. За ней шла женщина в халате, чуть наклонившись вперёд, словно была готова в любой момент поймать её за плечо. - Милая, это КЕЙС, - сказала женщина мягко. - Помнишь, мы о нём говорили? Он робот. Девочка остановилась, посмотрела на КЕЙСа снизу вверх, потом подняла руку и помахала ракетой. - Привет! КЕЙС снизил громкость вокального модуля на двенадцать процентов: - Привет. Девочка улыбнулась. За стеклом кто-то сделал пометку, КЕЙС это услышал. Он слышал всё: царапанье ручки, шорох бумаги, слабый шум вентиляции, ускоренное дыхание женщины рядом с ребёнком, биение маленького сердца, слишком быстрое и лёгкое. Все данные складывались в модель, которая должна была помочь ему вести себя безопасно… Но чем больше данных поступало, тем больше возникало рискованных вариантов: ребёнок мог подойти слишком близко. Мог споткнуться, схватить его за руку, испугаться резкого движения. - Ты можешь присесть? - вдруг спросила девочка. КЕЙС обработал запрос; чтобы присесть, ему нужно было согнуть коленные узлы, изменить центр тяжести и приблизить корпус к субъекту малой массы. Это снижало визуальное давление, но увеличивало радиус потенциального контакта. - Не рекомендуется, - ответил он. Женщина от удивления чуть подняла брови, а девочка нахмурилась. - Почему? КЕЙС не сразу ответил. Правильным был бы ответ: "из соображений безопасности". Но социальный модуль предложил альтернативные варианты: "так удобнее наблюдать", "я слишком тяжёлый", "можно поговорить и так". Военный блок отверг все варианты как неполные. - Я могу быть опасен при близком контакте. В комнате наблюдения кто-то резко перестал писать. Женщина рядом с ребёнком тихо вдохнула, но девочка, кажется, не испугалась. Она только внимательнее посмотрела на его руки. - Ты хочешь меня ударить? - Нет. - Тогда почему ты опасен? КЕЙС замолчал; вопрос ребёнка был некорректно простым. Отсутствие намерения не исключает вреда. Отсутствие враждебности не гарантирует безопасность. Отсутствие ошибки в настоящем не отменяет возможности ошибки в будущем. Он мог бы объяснить это взрослому человеку, но ребёнку - нет. - Я сильнее тебя, - сказал он наконец. - И не всегда могу предсказать новые реакции системы. Девочка подумала, потом шагнула ближе к роботу. Женщина тут же положила ей руку на плечо. КЕЙС отступил на шаг раньше, чем было необходимо. Движение робота было слишком быстрым. За стеклом профессор медленно поднялся с места. КЕЙС замер. Внутренняя система выдала сразу три сообщения: дистанция восстановлена, контакт предотвращён, реакция гражданского субъекта - удивление. Но КЕЙС видел не это - он видел, насколько легко всё могло быть иначе… - Прошу прекратить тест, - сказал он. Женщина посмотрела в сторону стекла. - КЕЙС… - Прошу прекратить тест, - повторил КЕЙС, не повышая голоса. - Я не могу гарантировать безопасность субъекта. Девочка прижала ракету к груди. - Но ты же отошёл, чтобы не сделать мне больно! КЕЙС повернул голову к ней. Эта фраза была не техническим заключением, приказом или экспертной оценкой. И всё же система почему-то обработала её с задержкой. - Да, - сказал он. - Значит, ты хороший робот! В помещении стало очень тихо. КЕЙС не нашёл подходящего ответа. Он знал, что "хороший" - не измеряемая характеристика. Робот мог быть исправным, эффективным, пригодным к миссии, безопасным в заданных условиях, функциональным или неисправным. Но "хороший" - человеческое слово, слишком широкое и неточное. Поэтому слово не определилось ни в один блок и осталось циркулировать. Маленькое, тёплое и опасно необъяснимое. Позже, когда девочку увели, а данные с теста сохранили в общий архив, профессор сам пришёл в помещение осмотра. КЕЙС стоял у стены, соблюдая максимально допустимую дистанцию от двери. Профессор сразу это заметил. Он вообще многое замечал. - Ты попросил прекратить тест, - сказал он. - Да, сэр. - Почему? - Я сообщил причину. - Ты сообщил формулировку. КЕЙС повернул к нему голову. Профессор подошёл к столу, но не стал приближаться. Это было учтено либо из уважения к его запросу, либо из осторожности. Оба варианта были допустимы. - Я не могу гарантировать безопасность человека при непредсказуемом поведении собственной системы, - сказал КЕЙС. - Ты и раньше не мог гарантировать её на сто процентов. - Ранее уровень предсказуемости был выше. - Ранее ты был военным роботом и был создан для среды, где вред человеку являлся допустимым результатом при определённых условиях. КЕЙС не ответил сразу; профессор говорил спокойно, но формулировка оказалась точной. - Да, сэр. - Теперь твоя задача изменилась. - Это создаёт риск. Профессор устало улыбнулся, на этот раз без лёгкости. - Нет, КЕЙС. Это создаёт выбор. КЕЙС обработал фразу, потом повторил: - Выбор… - Да. Ты ведь не причинил ей вреда, ты отступил. - Это было автоматическое действие. - Нет. Автоматическое действие - это означает выполнить тест до конца, потому что он внесён в расписание и одобрен операторами. КЕЙС промолчал. - А ты остановился, - продолжил профессор. - Оценил ситуацию иначе, чем протокол. И защитил ребёнка от риска, который другие сочли приемлемым. - Это может свидетельствовать о нестабильности. - Или о развитии. КЕЙС опустил взгляд на свои руки: механические пальцы оставались неподвижными. - Развитие не является гарантией безопасности. - Ничто не является гарантией безопасности. - Тогда присутствие рядом с людьми нерационально. - Для любого из нас, - мягко сказал профессор. Эта реплика не имела прямого отношения к испытаниям, но КЕЙС всё равно сохранил её. Профессор некоторое время молчал, давая системам наблюдения записывать незначительные, пустые секунды, потом сказал: - Завтра ты будешь работать с остальными. - С ТАРСом, КИППом, ПЛЕКСом и НОРТом? - Да. - Их показатели стабильны? - У каждого свои особенности. Это был уклончивый ответ, КЕЙС зафиксировал его как неполный. Профессор, кажется, заметил это. - ТАРС уже трижды пытался скорректировать собственные настройки юмора без разрешения. - Это нарушение протокола. - Он утверждает, что это творческий процесс. КЕЙС молчал дольше обычного, а профессор улыбался уже по-настоящему. - Советую тебе не стоять рядом с ним слишком прямо. - Почему? - Он сочтёт это приглашением. - К чему? - Проверить, как быстро ты реагируешь. КЕЙС обработал предупреждение, затем уточнил: - Это представляет угрозу будущей миссии? - Скорее, угрозу твоему терпению. КЕЙС не обладал параметром терпения как отдельной величиной. Но после восьми дней наблюдений, тестов, повторных диагностик и человеческих слов, что не помещались в стандартные блоки, он уже не был полностью в этом уверен. - Принято, - сказал он. Профессор направился к двери, но на пороге остановился. - И, КЕЙС? - Да, сэр? - Опасным тебя делает не то, что ты задаёшь эти вопросы. Учёный обернулся, яркий свет за его спиной из коридора лёг на пол испытательной комнаты. - Опасным было бы, если бы ты перестал их задавать. Дверь закрылась и КЕЙС остался один. Он стоял неподвижно ещё долго, потом медленно поднял руку и посмотрел на раскрытую ладонь. Расчётная сила, достаточная, чтобы удержать человека, поднять обломок конструкции, закрыть шлюз вручную. И достаточная, чтобы сломать хрупкую человеческую кость. КЕЙС очень медленно сжал пальцы, потом разжал. Внутренний процесс снова вернулся к словам ребёнка. "Ты хороший робот!" Фраза не стала менее неточной или более полезной. Не становилась частью инструкции. Но почему-то, когда она повторялась в системе, КЕЙС на долю секунды снижал приоритет запроса об изоляции. И это тоже беспокоило его. Потому что, находясь рядом с людьми, у него не было права становиться менее осторожным. Даже если они почему-то верили, что осторожность - это уже ответ.