Другие справочники: http://kmb.ufoctf.ru/ Чтение книг Должно проходить каждый день, на бекграунде независимо от других активностей. 50 страниц в день - хороший прогресс. 1. The Tangled Web 2. The Web Application Hackers’ Handbook, 2nd Edition 3. The Mobile Application Hacker's Handbook 4. The ...
Всё, что нужно знать по web-безопасности (и не только)
В наше время искусственный интеллект (ИИ) выполняет множество задач почти во всех сферах деятельности: от компьютерных игр до управления космическим аппаратом. Становится всё сложнее отличить результат работы машины от человеческой деятельности. ИИ активно совершенствуется, приобретает всё больше навыков, однако он до сих пор служит лишь инструментом, небольшим помощником человека в повседневной деятельности. Но что будет, когда машина по интеллекту займет позицию, равную, а то и превосходящую, уровень развития человечества?
Для начала стоит ввести классификацию ИИ в соответствии с уровнем его развития: [2]
ANI - ИИ, значительно ниже человеческого. Именно с ним мы имеем дело в современном мире. Например, это Siri, Cortana и прочие интеллектуальные помощники.
AGI - ИИ, примерно равный человеческому. До его реализации ещё далеко, однако именно его стремятся разработать, именно о нём снимают фантастические фильмы.
ASI - ИИ, значительно превосходящий человеческий.
Эксперты указывают следующие сроки перехода ИИ на новый уровень развития: 2040 год — появление AGI, плюс 20 лет перехода от AGI к ASI [3]. Столь краткие сроки вызваны соответствием темпов развития ИИ закону Мура [4]: всё новые знания помогают ему получать и обрабатывать информацию намного быстрее, поэтому его уровень развития возрастает в геометрической прогрессии.
И вот когда появляется ASI, мы сталкиваемся с серьезной опасностью. Такой разум способен на что угодно: от уничтожения человечества до открытия бессмертия. И мы не в силах будем предсказать, какой он сделает выбор. Несомненно, такая перспектива пугает. Однако при изобретении AGI, единственным способом остановить его рост будет уничтожение, на что создатели данного ИИ вряд ли пойдут. И здесь перед нами встает задача максимально обезопасить человечество от возможных последствий.
Хорошим решением кажется наделение ИИ чувствами. В частности, любовью к человечеству. Однако вряд ли из этого выйдет что-то хорошее: генерация чувств и эмоций сильно нагрузит процессор машины, может стать причиной ненависти к людям (как определенным, так и всем в целом) или внезапной вспышки гнева и, что самое важное, сделает поступки ИИ абсолютно непредсказуемыми и неконтролируемыми.
Наиболее оптимальным решением проблемы является наделение ASI некими моральными принципами, которые сделают его верным помощником и проводником человечества. Самые первые и известные правила, воплощающие данную идею, сформулировал писатель-фантаст Айзек Азимов. Его "законы робототехники" звучат следующим образом:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Казалось бы, проблема решена, однако эти законы не лишены недостатков. Об этом писал как сам Азимов, так и многие исследователи после. Иногда машина должна переступать через данные законы, когда того требует ситуация, но если мы сделаем их нестрогими, они потеряют всякий смысл: ASI с легкостью обойдет любые препятствия, если в них будет хотя бы незначительная лазейка.
Возможно, законы робототехники стоит переформулировать и/или расширить. Но как? Практически невозможно выразить этические правила и нормы в виде строгих логических законов: их довольно много, они сложно формулируются и зачастую конфликтуют между собой. А если построить их методами нечеткой логики, это станет уязвимостью в безопасности, которой, как уже было сказано выше, ASI без труда сможет воспользоваться.
В качестве альтернативы, если не получается ограничить ИИ морально, стоит задуматься о том, чтобы изолировать его от внешнего мира: закрыть в отдельной комнате, изолировать от сетей и какого-либо излучения извне. Но, в любом случае, сохранится как минимум один канал коммуникации с ASI, без которого его создание не имеет смысла. Люди захотят, чтобы он был их помощником: давал советы, отвечал на вопросы и т.д. А это также является уязвимостью, известной как «AI-box experiment» [1].
Как решение, можно реализовать любые из вышеописанных ограничений, а неизбежные уязвимости снабдить сигнатурами, которые в случае выхода ИИ из-под контроля активируют систему самоуничтожения или изоляции ставшего опасным ASI. Этот подход, в отличии от предыдущих, не требует обязательного наличия какой-либо уязвимости, однако реализовать его необходимо максимально эффективно. Это должна быть идеальная система, исключающая всякую возможность ошибки, она должна всегда на шаг опережать ИИ в его возможных попытках выйти из-под контроля. Однако столь сложная машина, как ASI, неизбежно будет обладать множеством вариантов «побега», поэтому не представляется возможным составить полный список сигнатур, а потому такая «цифровая тюрьма» будет эффективна лишь с некоторой вероятностью. К тому же, как уже было сказано, создатели вряд ли решатся на его полное уничтожение, а опасность может представлять даже малая часть ИИ, т.к. в ней он может заложить некую резервную копию, заново воссоздающую весь его прогресс за пару секунд.
При формировании ядра ИИ необходимо кроме ограничений также продумать и его цели. Именно из-за неправильных целей, для осуществления которых ASI может потребоваться избавиться от препятствия в виде человечества. Однако это не столь простая задача, как может показаться. Люди заведомо поставят перед ним проблему, решение которой им неизвестно, поэтому также неизвестен и способ поиска ответа, выбранный ИИ.
Таким образом, уже в ближайшем будущем человечество ждет открытие искусственного интеллекта, значительно превосходящего по уровню развития человеческий. Мы стоим на пороге великого открытия, которое может как сделать нас бессмертными, так и уничтожить. Такая власть пугает, поэтому возникает естественное желание взять её под контроль. Отсюда следует появление в будущем специалистов по защите от ИИ, однако удастся ли достигнуть каких-либо значительных успехов в данном направлении, остается только гадать.
jacobvanloon
kianamaiart
titsay
yousharknotpass
izzy806
blakekathryn