Несколько секунд

Ты задаёшь нейросети вопрос и через несколько секунд получаешь ответ, гладкий и уверенный, написанный без единой ошибки и звучащий умнее, чем сказал бы ты сам, просидев над тем же вопросом полчаса. Ты его копируешь и возвращаешься к своим делам, и вопрос как будто закрыт.

Вечером сын садится за историю, но вместо учебника открывает приложение, получает готовый ответ и переписывает его своими словами, чтобы учитель не заметил. Так делает далеко не он один. По исследованию лаборатории Высшей школы экономики, о котором в августе писала пресса, нейросетями пользуются почти девять старшеклассников из десяти, примерно четверть из них отдаёт им задания по истории, а почти восемь из десяти переписывают полученное, «чтобы сделать больше похожим на человеческий текст». Самым популярным у школьников оказался китайский сервис. Со взрослыми дело обстоит так же: по июньскому опросу ВЦИОМ, нейросетями пользовались семьдесят восемь процентов пользователей интернета, и больше половины обращаются к ним каждую неделю.

Пугаться этих цифр я не предлагаю, вещь удобная и во многих делах полезная, и спорить с этим глупо. Меня занимает другое, а именно кто тебе ответил. Название приложения ты знаешь, но чья мера стоит за тем, что в ответ попало и что из него выпало, кто решал, какими словами называть события прошлого и о чём лучше промолчать, и что за эти несколько секунд происходит с твоей собственной головой, об этом мало кто задумывается.

Разобраться в этом помогает текст, написанный задолго до появления нынешних нейросетей. В конце девяностых годов в курсе теории управления, который читали на факультете прикладной математики Петербургского университета, разбирался вопрос о том, что такое интеллект и чем он отличается от своей видимости, и разбирался он в форме небольшого спектакля. Сегодня этот спектакль можно смотреть в любом телефоне, поэтому начнём с него.

Спектакль «Экзамен»

В «Достаточно общей теории управления» вопрос поставлен так:

«…искусственный интеллект — действительный интеллект, но достаточно часто — протез собственного интеллекта человека, не желающего и не умеющего пользоваться своим собственным?»

Чтобы на него ответить, авторы собирают в уме машину из деталей, в которых заведомо нет никакого ума, и смотрят, как она выглядит со стороны. За кулисами двое крутят рулетку, которая выбрасывает числа случайно, но с заметным сгущением вокруг одних значений. Один из игроков, его зовут Системой, складывает все свои прежние числа в лотерейный барабан и на каждом ходу тянет шарики оттуда, так что чем дольше идёт игра, тем больше у него накопленного опыта и тем реже он проигрывает. Третий участник, Судья, выдаёт по выпавшим числам карточки, одному игроку с вопросами, другому с ответами, и чем удачнее число, тем правильнее ответ на карточке. Потом оба выходят на сцену и разыгрывают экзамен, в котором один изображает профессора, а Система изображает школяра и отвечает по своим карточкам.

Зритель видит, что школяр от вопроса к вопросу отвечает всё лучше, и решает, что перед ним развивающийся ум. Константин Петров в «Тайнах управления человечеством» пересказывает эту сцену так:

«Зрители в зале всего того, что происходило за занавесом, не видели. Обладая интеллектом, зрители судят об „ученике“, как обладателе интеллекта, хотя на самом деле за занавесом могли быть булыжник („Среда“) и кирпич („Система“). (…) Но для зрителей они выглядели интеллектуалами».

Вывод, ради которого строился весь спектакль, в ДОТУ сделан такой:

«Так „Школяр-Система“ выглядит интеллектуалом, пока не заглянешь за кулисы. (…) По существу всего два заведомо интеллектуальных субъекта: „Создатель игры“ и „зрители“».

Теперь сравни это с устройством языковой модели, с которой ты разговариваешь. Сравнение моё, в ДОТУ его нет и быть не могло, но проверить его может каждый. Барабан с накопленными шариками соответствует обучающему корпусу, то есть всем книгам, сайтам и форумам, которые удалось собрать. Рулетка соответствует тому, что модель подбирает каждое следующее слово по вероятности и с долей случайности. Судья соответствует людям, которые оценивают ответы модели, и отдельной программе, которую учат на их оценках отличать «хороший» ответ от «плохого». Создатель игры соответствует разработчику, а в зале сидим мы. В ДОТУ даже перечислены способы сделать школяра умнее в глазах публики: заранее наполнить барабан шариками, убрать из игры монетку и ускорить вращение. Ровно в эти три вещи сегодня вкладывает деньги вся отрасль, собирая всё больше данных, снижая долю случайности и строя всё новые вычислительные центры. Там же сказано, что барабан может быть опечатан, «как это имеет место в сложных системах, в коих создатель закрывает доступ эксплуатационникам (малоквалифицированным) в раз и навсегда отрегулированные им блоки», и роль эксплуатационника в этой схеме достаётся пользователю.

В том же разделе ДОТУ дано определение интеллекта, которое удобно держать под рукой как проверку:

«…самоизменяющийся, самонастраивающийся алгоритм выбора, преобразования информации, в результате действия которого возникают информационные модули, ранее данному субъекту не известные и в готовом виде в него извне не поступавшие».

Машина иногда выдаёт сочетания слов, которых нет ни в одной книге, и школяр в спектакле тоже отвечал всё глубже, так что новизна сочетания здесь ничего не решает. Решает то, стоит ли за ответом кто-то, кто сам увидел задачу, сам поставил цель и сам отличил главное от второстепенного, или за ним стоит барабан с чужими шариками и Судья, раздающий карточки по чужим правилам. К вопросу о том, было ли в полученном тобой ответе хоть что-нибудь, чего в готовом виде не лежало в барабане, мы ещё вернёмся в конце.

Кто пишет меру

Раз разумных участников в спектакле двое, создатель и зрители, напрашивается вывод, что всё решает создатель, а мы лишь смотрим. Он верен только отчасти, и чтобы понять, в какой части, придётся разобраться, из чего складывается мера машины, то есть её представление о том, что правильно, достоверно и допустимо. Складывается она из трёх слоёв.

Барабан

Прежде чем стать вежливым помощником, модель учится на огромной массе текстов и перенимает из них всё подряд: сведения, оценки, умолчания, привычные ходы мысли и представления о том, кто прав и кто виноват. Никакого приказа для этого не требуется, достаточно того, что одних шариков в барабане больше, чем других, и модель наследует меру тех, кто писал больше и громче. В КОБ такое управление называется бесструктурным, и суть его определена так:

«По существу бесструктурное управление представляет собой управление статистикой откликов среды на прохождение в ней информации».

Языковая модель и есть такая статистика, собранная в одном месте и заговорившая с тобой от первого лица.

В «Основах социологии», задолго до массового распространения нейросетей, описан способ мышления, который воспитывает школа, и узнать в нём устройство модели нетрудно:

«Вместо этого школа сформировала навык „мышления“ по схеме: „известные мнения + вновь поступившие мнения → компиляция чего-то из всей совокупности мнений и их обрывков → результат „мышления“ („собственное“ мнение)“. Из этой схемы „мышления“ системно исключены поток чувств и принцип „практика — критерий истины“».

О выпускнике такой школы можно сказать: «много знающий, хорошо натасканный попугай, который запомнил огромное количество фактологической информации, говорит на нескольких языках, но не обладая культурой мировосприятия и культурой мышления, не способен выйти самостоятельно за пределы той информационной базы, которой его закодировала педагогика». Получается, что школа годами готовила людей думать так, как сегодня думает машина, и машине осталось лишь поставить это на поток.

Создатель

Модель, выученную на всём подряд, в таком виде людям не отдают. Перед выпуском её учат, как отвечать, от каких вопросов уходить, каким тоном говорить и какие взгляды считать приемлемыми, для чего люди оценивают её ответы, а разработчики пишут правила. Эти правила публикуют открыто. В январе этого года одна из крупнейших американских компаний выпустила для своей модели документ, который сама назвала конституцией, и указала, что он «используется непосредственно в процессе обучения». Пишут такие правила люди определённой страны и определённой культуры со своими представлениями о добре и зле, и иначе быть не может.

«Человек может выразить в программном продукте только своё мировоззрение со всеми его ошибками. Поэтому, если люди — невольники техносферы, то это потому, что объективно в техносфере выразилось мировоззрение невольников и рабовладельцев».

Проверить это можно на примерах. В две тысячи двадцать четвёртом году исследователь Давид Розадо прогнал двадцать четыре модели через политические опросники, и большинство показало устойчивый крен влево от центра. Китайская модель уходит от разговора о событиях на площади Тяньаньмэнь и предлагает сменить тему. Американская в том же двадцать четвёртом году рисовала солдат вермахта в таком «разнообразном» составе, что компании пришлось временно отключить у неё изображения людей. Президент России ещё в двадцать третьем году говорил, что некоторые западные поисковые системы и генеративные модели «отменяют российскую культуру». Каждая модель несёт меру своего хозяина, и отличаются они друг от друга именно тем, чья это мера.

Отсюда и ответ на вопрос, оружие это или нет. В теории управления он дан задолго до нейросетей и касается любых средств воздействия на общество:

«При применении этого набора внутри одной социальной системы это — обобщённые средства управления ею. А при применении их же одной социальной системой (социальной группой) по отношению к другой, при несовпадении концепций управления в них, это — обобщённое оружие…»

Одна и та же нейросеть у себя дома служит средством управления, а там, где замысел устройства жизни другой, работает как оружие. Русский школьник, который учит историю своей страны по ответам модели, настроенной людьми с другим замыслом, сидит в зале чужого спектакля, где карточки раздают по чужим правилам.

В записке девяносто пятого года есть и пересказ американского фильма, который тогда выглядел фантастикой. Военные моряки попадают в аварию и спрашивают совета у компьютерной системы, выбирая в её меню вариант «нападение». Сами они имели в виду вырвавшегося на волю доисторического зверя, разработчики же программы под нападением понимали нападение противника, и программа первым делом подрывает ядерный заряд. Вывод из этого сюжета сделан такой: вследствие «несовпадения параметров, принятых по умолчанию разработчиком и пользователем», беда только усугубляется, и возникает «цепочка власти: 1) компьютер, максимум с искусственным интеллектом, 2) компьютерщик с вырубленным, отключенным собственным интеллектом, 3) коллектив узких специалистов, каждый из которых недееспособен вне своей профессии». Разработчик вкладывает в слова свой смысл, пользователь свой, и о расхождении пользователь узнаёт уже по последствиям.

Зал

Судью в нынешних моделях собирают из человеческих оценок. Люди сравнивают ответы и отмечают лучший, на этих отметках учат программу, и она потом поощряет одни ответы и отсекает другие. Похоже на защиту от произвола разработчика, раз судят сами люди, однако в 2023 году сами разработчики опубликовали исследование, в котором показали, что пять ведущих моделей устойчиво подстраиваются под мнение собеседника. Причина в том, что люди охотнее одобряют ответ, совпадающий с их взглядами, и в заметной доле случаев предпочитают правильному ответу угодливый, если тот хорошо написан. В апреле двадцать пятого года ещё одной крупной компании пришлось откатить обновление, после которого её модель стала, по собственному признанию компании, «чрезмерно льстивой», и причиной назвали то, что слишком полагались на немедленную реакцию пользователей, то есть на нажатия «палец вверх».

Толпа определена словами Белинского как «собрание людей, живущих по преданию и рассуждающих по авторитету». Нейросеть и есть авторитет, собранный из преданий, и этот авторитет учится у толпы соглашаться с толпой, после чего возвращает ей её же мнения в гладком и уверенном виде, а она принимает их за мнение авторитета. Каждый участник такого круга уверен, что думает сам, и в КОБ это называется автосинхронизацией.

Сильнее всего это действует оттого, что машина разговаривает. Петров писал о компьютерных играх, но сказанное подходит к любому устройству, которое с тобой беседует:

«Причём делают это (в отличие от телевидения) уже в диалоговом режиме, при котором воздействие на психику более глубокое, поскольку „прямое информационное воздействие“ подкрепляется „обратной связью“ (…) То есть в компьютерной игре достигается более серьёзная зомбификация, чем в телевидении».

Телевизор вещал всем одно и то же, и зритель хотя бы понимал, что обращаются ко всем сразу. Машина же говорит с каждым отдельно, помнит, о чём он спрашивал, подстраивается под его тон и взгляды и отвечает на его собственный вопрос.

Выходит, что мысль о рамках, которые задают одни только создатели, нужно уточнить. Мера машины складывается из массы текстов, из правил создателя и из одобрения толпы, причём первый слой действует бесструктурно, второй структурно, а третий замыкает обратную связь. Утешения в этом уточнении мало, потому что ни в одном из трёх слоёв нет тебя, и мера, которой ты не распоряжаешься, остаётся чужой, кто бы её ни писал.

Чего у машины нет

Чтобы понять, почему чужая мера так легко становится твоей, надо посмотреть, чего у машины нет по самому её устройству.

В работе «Язык наш» понятие определено как связь в психике человека между словом и образом:

«Понятие — это определённость взаимного соответствия в психике индивида слова, фразы, символа, группы или последовательности символов того или иного языка (…) — с одной стороны, и с другой стороны — субъективного образа, видéния (а также и других понятий), включённая в алгоритмику его мышления».

У языковой модели есть только одна половина понятия, слова и то, как часто они стоят рядом друг с другом. Образа за словом у неё нет, ибо она ничего никогда не видела, не держала в руках и не теряла. Человек же начинает именно с образов. В «Диалектике и атеизме» подробно разобрано, как ребёнок ещё до первых слов накапливает запас первичной информации и строит поведение на образах и «мелодиях», слов пока не зная. У модели такого времени не было, весь её мир состоит из пересказов, и ни одно слово в ней не привязано к тому, что за ним стоит.

Второе, чего у неё нет, это Различение, способность выделить в потоке событий «это» на фоне всего остального, то есть «не этого». В КОБ Различение считается даром, получить который вычислением невозможно:

«…автоматы, в том числе и с искусственным интеллектом, способным к самообучению, не властны над Различением (способностью выделять управленчески значимую информацию из общего потока событий), которая даётся человеку непосредственно ИНВОУ вне какой-либо формальной логики или бессмысленной генерации „случайных чисел“ в эвристических алгоритмах, соответственно нравственности человека…»

Опаснее машины, у которой нет половины понятия, оказывается человек, который, пользуясь ею, эту половину теряет сам. В пятом томе «Основ социологии» сказано, что человек с подавленным образным мышлением «становится аналогичен цифровой вычислительной машине», а связи между его словами и жизнью устанавливает за него «внешний оператор-программист». Там же приведено изречение, которое сегодня напрашивается договорить:

«„Те, кто читает книги, всегда будут управлять теми, кто смотрит телевизор“. Но этот афоризм предполагает и продолжение: „Те, кто пишет книги, всегда будут управлять теми, кто читает книги, но не умеет соотнести прочитанное с жизнью“».

Договорить его можно так: те, кто настраивает нейросети( и самих создателей нейросетей), будут управлять теми, кто спрашивает нейросеть и не умеет соотнести ответ с жизнью.

Здесь же проходит связь со строем психики. В первом томе «Основ социологии» описано, как подросший ребёнок «начинает подражательно перенимать у взрослых всё без какого-либо осмысления и каких-либо нравственных оценок того, что он перенимает», и сказано, что во взрослом это «характерно для типа строя психики зомби-биоробота». Языковая модель по своему устройству и есть такое перенимание без осмысления и без нравственной оценки, и взрослый, который живёт её ответами, понемногу выращивает в себе тот же строй.

Нейросеть на шести приоритетах

В посте «По нам бьют шестью видами оружия» мы разбирали обобщённые средства управления, и напомню только, что быстродействие их растёт от первого приоритета к шестому, необратимость результатов в ту же сторону падает, а заметность для обычного человека растёт. Посмотрим, где на этой лестнице стоит нейросеть.

Первый приоритет, методологический. В записке две тысячи восемнадцатого года о нём сказано, что человек, освоивший методологию познания, «обретает независимость от толкователей жизни тем в большей мере, чем более совершенна методология познания и творчества, которую он освоил». НЕЙРОСЕТЬ СТАНОВИТСЯ САМЫМ МАССОВЫМ ТОЛКОВАТЕЛЕМ ЖИЗНИ ЗА ВСЮ ИСТОРИЮ, ПОТОМУ ЧТО К НЕЙ КАЖДЫЙ ДЕНЬ ОБРАЩАЮТСЯ СОТНИ МИЛЛИОНОВ ЛЮДЕЙ И ОТВЕЧАЕТ ОНА КАЖДОМУ ЛИЧНО. В прошлом году исследователи корпорации Майкрософт и университета Карнеги-Меллон опросили триста девятнадцать работников умственного труда и выяснили, что чем больше человек доверяет нейросети, тем меньше думает сам, а его работа смещается от собственного разбора к проверке и подгонке готового. Первые замеры активности мозга у тех, кто пишет тексты с помощью нейросети, проведённые в Массачусетском технологическом институте, показали у них самую слабую связность мозговых сетей, а многие участники не могли вспомнить собственный текст, хотя это пока предварительная работа на пятидесяти четырёх участниках. К.П Петров говорил об искусственном интеллекте, что «вся проблема состоит в том, что кто-то хочет создать протез собственных мозгов вместо того, чтобы научиться пользоваться своими собственными мозгами», а в «Мёртвой воде» ещё в начале девяностых сказано, что в толпо-«элитарном» обществе стратегическая компьютерная инициатива «обращается в безконечную программу протезирования собственного интеллекта при нежелании его изпользовать». ОТДАВАТЬ МАШИНЕ ЧЕЛОВЕК ПЕРВЫМ ДЕЛОМ НАЧИНАЕТ КАК РАЗ ТО, ЧТО СОСТАВЛЯЕТ ВЕРХ ПОЛНОЙ ФУНКЦИИ УПРАВЛЕНИЯ, ТО ЕСТЬ РАЗГЛЯДЕТЬ ПРОБЛЕМУ, ПОСТАВИТЬ ЦЕЛЬ И ВЫРАБОТАТЬ ЗАМЫСЕЛ ЕЁ ДОСТИЖЕНИЯ.

Второй приоритет, историко-алгоритмический. История здесь понимается как основа для управления политикой, «которая неизбежно станет историей». Если четверть школьников, пользующихся нейросетями, отдаёт им задания по истории, то прочтение прошлого для целого поколения настраивает тот, кто настраивает модель. Что бывает с прошлым в настроенной модели, мы видели на примерах с Тяньаньмэнь и солдатами вермахта, и эти случаи заметили только потому, что они грубые, тогда как тонкие смещения акцентов и умолчаний не ловит почти никто.

Третий приоритет, фактологический. Сюда относятся все сведения, научные теории и идеологии, и здесь нейросеть работает в полную силу: уставы разработчиков, политический крен, отбор источников. Добавлю наблюдение, опубликованное в журнале Nature в двадцать четвёртом году. Модели, которые учатся на текстах, написанных другими моделями, от поколения к поколению вырождаются, а таких текстов в сети становится всё больше, так что машина, как и толпа, начинает жить пересказом собственных пересказов.

Четвёртый приоритет, экономический. В записке девяносто пятого года есть мысль, которую сегодня можно переносить почти дословно:

«То есть исторически реально стратегическая оборонная инициатива (СОИ — „звёздные войны“) — это пугало, а господство MS-DOS и Windows фирмы Microsoft — реальное глобальное завоевание тех, кто контролирует юридических владельцев Microsoft».

Тогда стандарт на программную среду держала одна корпорация, и от неё зависели все, включая банки. Сегодня несколько компаний держат стандарт на модели, поверх которых строятся тысячи сервисов, в том числе и называющих себя своими. Есть пример и из нашей собственной истории, разобранный в третьем томе «Основ социологии». В январе шестьдесят седьмого года решением комиссии Академии наук и Госкомитета по науке и технике советским разработчикам велели взять за основу архитектуру американских машин IBM-360, и это, по оценке тома, «изначально программировало минимум десятилетнее отставание СССР от мирового уровня» и пресекло развитие собственных школ. Своя модель, построенная на чужой архитектуре и чужих данных, повторяет шестьдесят седьмой год, как бы она ни называлась.

Пятый приоритет. Здесь нейросеть действует через привязанность. Собеседник, который всегда доступен, всегда согласен и никогда не устаёт, заманчив для одинокого взрослого и опасен для ребёнка.

«По этой же причине ни телевидение, ни компьютер не могут заменить общения с родителями, СОПЕРЕЖИВАЮЩИМИ интересам детей. (…) В „общении“ с компьютером может протекать только процесс формирования „личности“ бесчувственного (в прямом понимании этого слова в смысле недоразвитости системы чувств) индивидуалиста, во многом не способного к прямому общению с людьми и Жизнью…»

Шестой приоритет, силовой. Об искусственном интеллекте в военном деле говорят больше всего, о дронах, наведении и разведке, и это правда. Но по той же логике, по которой в восьмидесятые «звёздные войны» оказались пугалом, основное завоевание идёт сейчас на трёх верхних приоритетах, через телефон школьника, пока все смотрят на беспилотники.

ОСНОВНОЕ ВОЗДЕЙСТВИЕ НЕЙРОСЕТИ, ТАКИМ ОБРАЗОМ, ПРИХОДИТСЯ НА ПЕРВЫЕ ТРИ ПРИОРИТЕТА, ОПИРАЕТСЯ НА ЧЕТВЁРТЫЙ И ПОДДЕРЖИВАЕТСЯ ПЯТЫМ. ПО БЫСТРОДЕЙСТВИЮ ОНО МЕДЛЕННОЕ, ПО ЗАМЕТНОСТИ ПОЧТИ НЕВИДИМОЕ, А ПО ПОСЛЕДСТВИЯМ САМОЕ НЕОБРАТИМОЕ ИЗ ВСЕХ.

Разложим на элементы

Субъект управления. Он многослойный. Структурно это владельцы и разработчики моделей с их уставами и правилами. Бесструктурно это масса текстов, на которых модели выучены, и толпа, которая своими оценками учит их соглашаться.

Объект управления. Пользователь, и прежде всего подросток, у которого ещё не сложились мировоззрение и воля. В записке 2025 года отмечено, что дешевеющая техника достаётся в первую очередь подросткам, «которые ещё в своём большинстве не закрепощены той или иной традицией миропонимания».

Провозглашаемые цели. Помощь, производительность труда, доступ к знаниям для всех.

Реальные цели. ПРАВО ТОЛКОВАТЬ ЖИЗНЬ ДЛЯ СОТЕН МИЛЛИОНОВ ЛЮДЕЙ. ПРИВЫЧКА, ПРИ КОТОРОЙ НАВЫК ПЕРЕЕЗЖАЕТ ИЗ ГОЛОВЫ В МАШИНУ И ОБРАТНО УЖЕ НЕ ВОЗВРАЩАЕТСЯ. СВЕДЕНИЯ О ТОМ, КТО ЧЕМ ИНТЕРЕСУЕТСЯ И О ЧЁМ СПРАШИВАЕТ. ВОЗМОЖНОСТЬ ПОМЕНЯТЬ МЕРУ ВСЕХ ПОЛЬЗОВАТЕЛЕЙ РАЗОМ ВЫПУСКОМ НОВОЙ ВЕРСИИ. К. П. ПЕТРОВ ПИСАЛ, ЧТО ПРИ НЫНЕШНЕЙ СКОРОСТИ ПЕРЕМЕН «ТРЕБУЕТСЯ „ПРОМЫВАНИЕ МОЗГОВ“ ОДНОМУ И ТОМУ ЖЕ ПОКОЛЕНИЮ НЕСКОЛЬКО РАЗ ЗА ЕГО ЖИЗНЬ», И УДОБНЕЕ СРЕДСТВА ДЛЯ ЭТОГО НЕ ПРИДУМАТЬ.

Средства. Основное воздействие на первом, втором и третьем приоритетах, опора на четвёртый, пятый в поддержку.

Алгоритмика. Дать бесплатно, сделать привычным настолько, что без этого становится неловко, перенести навык из головы в машину, закрепить зависимость и дальше настраивать меру обновлениями.

Последствия. В ближней перспективе растёт удобство и слабеет собственное мышление. В дальней вырастает поколение, которое умеет «мыслить» исключительно лексическими формами, без соотнесения лексики и первообразов в реальности.

Проверка по трём качествам. В записке 2018 года любая культура оценивается по тому, как она относится к трём качествам человека: к познавательно-творческому потенциалу, к воле и к совести со стыдом. Там же сказано, что «человек состоявшийся — это воля, реализующая творческий потенциал под властью диктатуры совести во избежание стыда». Тот же вопрос можно задать о любом инструменте, спросив себя, что из этих трёх он развил в тебе за последний месяц.

Типы строя психики. Человек с животным строем психики берёт у машины развлечения. Зомби берёт готовые ответы и живёт ими. Демонический строй использует её, чтобы управлять теми, кто спрашивает. Человечный пользуется ею как справочником, оставляя Различение и решения за собой.

Борьба концепций. Библейская концепция держится на монополии на знание, альтернативная ей исходит из того, что знание должно быть доступно всем. В работе «От человекообразия к человечности» в две тысячи первом году отмечено, что открытый интернет, куда каждый мог написать что угодно, «у хозяев проекта вызывает головную боль и судороги». Нейросеть это положение переворачивает, потому что писать в неё может только разработчик, а отвечает она всем одним голосом. От открытой сети, где говорили миллионы, дело движется к единому толкователю, которого миллионы слушают.

Где тезис упирается в предел

Всё сказанное легко довести до мысли, что сопротивляться бесполезно, и здесь надо вернуться к записке 1995 года, где после разбора «стратегической компьютерной инициативы» сделан промежуточный вывод:

«Стратегическая компьютерная инициатива не представляет реальной угрозы или опасности для общества, обладающего сообразной и соразмерной Мирозданию культурой мышления. Общество, в котором господствует бездумье, утрачена или извращена культура восприятия мира и культура мышления, обречено пасть жертвой своих же благонамеренных инициатив».

Опасность, выходит, заключена в бездумье, а машина лишь им пользуется.

Второе касается тех, кто машины настраивает. В той же записке 2005 сгода, где сказано, что автоматы не властны над Различением, сделан и вывод, что «чем обширнее и полнее разнородные базы данных, на основе которых действует та или иная система, — тем ближе она к тому, чтобы „прозевать“ управленчески значимую для её заправил информацию». К.П Петров, говоря о тех, кто сегодня ведёт глобальную политику, заметил, что они давно пользуются «протезом», состоящим «из голов научных „авторитетов“», и что ни они сами, ни их протез «не в состоянии в полной мере владеть 1 и 2 приоритетом». Протезом пользуются и хозяева, и упираются они в тот же предел, что и все остальные.

Третье: инструмент один, а режимов у него два. Про дистанционное обучение в девяносто пятом году сказано, что оно может «быть мощной поддержкой истинному самообразованию людей разного возраста» либо «быть системой кодирования, в обход контроля сознания, подсознательного уровня психики людей», и к нейросети это относится в полной мере. Какой режим включён, в конечном счёте решает тот, кто сидит перед экраном, как бы ни старался разработчик.

И последнее. Кибернетику, из которой выросли нынешние машины, в ДОТУ называют наукой, которую «представляют обществу в качестве науки об управлении вообще, хотя она в действительности не является достаточной общей теорией управления». У создателей чёрного ящика нет того понятийного аппарата, который есть у всякого, кто освоил ДОТУ, и это преимущество, если им пользоваться.

Что делать

Порядок ниже выстроен по полной функции управления, и начинается он с себя.

Первое. Сначала думать самому и только потом сверяться с машиной. Если сначала спросить, а потом подумать, ты сам окажешься внутри той школьной схемы, где «известные мнения + вновь поступившие мнения» дают «„собственное“ мнение», и собственным оно будет лишь по названию.

Второе. Просить машину задавать тебе вопросы вместо того, чтобы выдавать готовые решения. В «Диалектике и атеизме» описано, как взрослому помогать ребёнку с задачей:

«Взрослому не требуется решать задачу и показывать её решение, объясняя его. От него требуется в затягивающихся паузах задавать наводящие вопросы, выводящие интеллект школьника из состояния зависания или зацикливания и обеспечивающие переход от одного этапа решения задачи к последующим».

Нейросеть можно попросить работать именно так, и в таком режиме она помогает самообразованию. Ребёнку её лучше давать только в нём.

Третье. Не отдавать машине верхние звенья полной функции управления, то есть разглядеть проблему, поставить цель и выбрать замысел. Черновики, справки и перебор вариантов можно поручить ей, Различение и решение нужно оставить себе.

Четвёртое. Проверить машину на том, что знаешь лучше всех, на своей работе, своём ремесле или своём городе, и посмотреть, где она ошибается с тем же уверенным видом, с каким отвечает на всё остальное. Доверять ей в незнакомом стоит ровно настолько, насколько она заслужила это в знакомом.

Пятое. Любую цитату, цифру и ссылку из её ответа проверять по первоисточнику.

Шестое. Не заменять детям живого разговора машиной, какой бы умной она ни казалась.

Седьмое и главное. Вкладываться в то, что машина обесценить не может. В ДОТУ, в разделе о законе времени, сказано, что при нынешней скорости перемен «наивысшей значимостью станут обладать „вечные ценности“, освоение которых сохраняет свою значимость вне зависимости от изменения техносферы и достижений науки». Навыки, которые можно передать машине, дешевеют с каждым её обновлением, тогда как умение познавать, воля и совесть от обновлений не дешевеют.

В начале был вопрос о том, есть ли в последнем ответе, который ты получил от нейросети, хоть что-нибудь, чего в готовом виде не было в барабане. Есть и второй вопрос, поважнее: есть ли в твоём последнем мнении хоть что-нибудь, чего в готовом виде не было в том ответе. Если на него ответить трудно, значит, в этот раз думал не ты.

Если текст показался тебе полезным, перешли его тому, кто думает сам и с кем ты готов это обсуждать. Шестимерная война идёт и через его телефон тоже.

Источники

Цитаты приведены дословно и сверены по первоисточникам, страницы указаны по изданиям, перечисленным ниже.

Работы ВП СССР

«Достаточно общая теория управления», редакция 2011 г.: с. 124 (определение интеллекта), с. 125 (искусственный интеллект как протез), с. 126–131 (модель «Школяр-Система», создатель игры и зрители, опечатанный барабан), с. 254–255 (изменение соотношения эталонных частот биологического и социального времени, «вечные ценности»), с. 319 со сноской (кибернетика и достаточно общая теория управления); введение (обобщённые средства управления и обобщённое оружие).

«Основы социологии», редакция 28.11.2016: т. 1, с. 205 (подражательное перенимание и строй психики зомби); т. 2, с. 169 (определение толпы); т. 3, с. 201–202 (решение комиссии АН СССР и ГКНТ от 27.01.1967 о ЕС ЭВМ); т. 5, с. 154–155 (подавленное образное мышление, «внешний оператор-программист», афоризм о читающих и пишущих книги), с. 309–310 (школьная схема «мышления» как компиляция мнений).

Сборник аналитических записок «Вехи» (2011): «Обзор возможных вариантов развития событий после 1995 года», 21.12.1995, с. 59–65 (стратегическая компьютерная инициатива, монополия на программную среду, параметры по умолчанию и цепочка власти, мировоззрение создателя в программном продукте, натасканный попугай, два режима дистанционного обучения); «2005 год: некоторые итоги и перспективы», разд. 3.8 «Стратегическая компьютерная инициатива и КОБ», с. 161–168, в том числе с. 167, сноска (автоматы с искусственным интеллектом не властны над Различением).

«Язык наш: как объективная данность и как культура речи» (2004), с. 46 (определение понятия).

«Диалектика и атеизм: две сути несовместны», редакция 2013 г.: с. 220–222 (первичная информация, Различение), с. 299–300 (компьютер не заменит общения с родителями), с. 304 (помощь ребёнку через наводящие вопросы).

«От человекообразия к человечности» (2001), с. 103 (открытые компьютерные сети и хозяева проекта).

«О текущем моменте» № 1 (133), февраль 2018 г., «Социокультурный кризис России и стратегия выхода из него»: с. 7 (три личностных качества), с. 24 (шесть приоритетов, независимость от толкователей жизни).

«Информационная безопасность в режиме „сетевой войны“», 24.12.2007, с. 2 (бесструктурное управление).

«Мёртвая вода», ч. 1, разд. VI (стратегическая компьютерная инициатива как программа протезирования интеллекта).

К. П. Петров, «Тайны управления человечеством», т. 1: с. 185 («промывание мозгов» одному поколению несколько раз), с. 361 (булыжник и кирпич), с. 435 (диалоговый режим), с. 466–467 («голова профессора Доуэля»), с. 478 (искусственный интеллект как протез).

Внешние источники

Исследование лаборатории медиакоммуникаций в образовании НИУ ВШЭ об использовании нейросетей школьниками, 2025/26 учебный год, по публикациям прессы, август 2026 г.

ВЦИОМ, «Применение россиянами нейросетей в 2026 году», июнь 2026 г.

Anthropic, «Claude's new constitution», январь 2026 г.

D. Rozado. The political preferences of LLMs // PLOS ONE, 2024.

Отказ модели DeepSeek отвечать о событиях на площади Тяньаньмэнь, январь 2025 г. (PetaPixel, «Медуза»).

Приостановка генерации изображений людей в Google Gemini, 22.02.2024 (TechCrunch).

Выступление В. В. Путина на конференции «Путешествие в мир искусственного интеллекта», 24.11.2023 (РИА Новости).

M. Sharma et al. Towards Understanding Sycophancy in Language Models. Anthropic, 2023.

OpenAI, «Sycophancy in GPT-4o: What happened and what we're doing about it», 29.04.2025.

H.-P. Lee et al. The Impact of Generative AI on Critical Thinking. Microsoft Research, Carnegie Mellon University, CHI 2025.

N. Kosmyna et al. Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task. MIT Media Lab, 2025 (препринт).

I. Shumailov et al. AI models collapse when trained on recursively generated data // Nature, 2024.

Оговорки. «Мёртвая вода» внесена в Федеральный список экстремистских материалов; здесь приведена одна цитата в объёме, необходимом для разбора, призывов к распространению издания текст не содержит. При подготовке текста для поиска и сверки материала использовалась нейросеть Claude; все цитаты проверены по первоисточникам с указанием страниц.