Осознанное любопытство

В прошлом посте я писал о том, как люди часто воспринимают прокачку рациональности как задачу по перепрыгиванию пропасти от повседневных эвристик (подхода «решать как попало») к ультракачественному подходу с исследованиями и измерениями.

Такое отношение мне кажется принципиально неверным: во-первых, оно не учитывает накладные расходы на полноценные исследования, а во-вторых, даёт огромную свободу для самооправданий. Если вы не можете сделать правильно, можно вообще не прикладывать никаких усилий. В общем, это очередной софизм серого.

Как попасть на шкале от интуитивных ответов до развёрнутых исследований куда-либо помимо крайних точек? Нам нужны грубые, но более структурные подходы, чем «мне так кажется». Где их взять?

Поиск грубого решения не требует сложных измерений и исследований, но набор методов, которые при поиске подобного решения могут использоваться, совсем не компактен. Даже перечислить отдельные этапы поиска непросто: в зависимости от ситуации бывает необходимо собрать данные, выбрать стратегию сбора данных, извлечь данные из памяти, категоризировать данные, сформулировать гипотезы, перебрать гипотезы и отсортировать по правдоподобности, прикинуть доступные свидетельства, выбрать стратегию сбора данных, прикинуть свидетельства в пользу альтернативных гипотез…

В общем, до методов конструирования приближённых решений мы доберёмся позже, а сегодня хочу написать о том, как вообще заметить, что решение может существовать. Другими словами, о любопытстве.

Что я имею в виду под любопытством? Когнитивный процесс, который толкает вас к тому, чтобы:

  • Заметить, что вы не можете представить себе растение «перловка», задаться вопросом «а из чего, собственно, делается перловка?», подумать и загуглить (а манка? а кускус?).
  • Сидя на берегу Волги и наблюдая за кораблями, волны от которых доходят до берега, заметить, что, оценив на глаз скорость волны и вооружившись секундомером, вы можете измерить ширину реки.
  • Услышав, что кто-то смог предсказать результат броска шестигранного кубика в 25 случаях из 100, посчитать, насколько это маловероятное событие.

(Все три примера — из моего опыта за последние полгода. Жалею, что ширину Волги описанным методом я так и не померил, моё любопытство застряло на вопросе «какова скорость волны?»).

Любопытство — это намерение выяснить подробности. Необходимое и достаточное условие для того, чтобы начать искать приближённое решение.

Без готовности проявлять любопытство вы остановитесь либо на самых простых эвристиках («какова ширина Волги? ну… можно загуглить…»), либо на мутном ощущении «я не знаю, это слишком сложно». При отсутствии любопытства вам хочется перевести внимание на что-то другое, а непонятный вопрос обойти и отложить на неопределённый срок.

Что люди делают, когда не проявляют любопытство?

1) Люди говорят «я не знаю». Даже если эти слова не сказаны вслух и не подуманы, стоящее за ними когнитивное состояние тянет вас от выбранной темы.

  • «Надо бы научиться программировать, но непонятно, с чего начать. Не знаю, с чего начать. Ладно, когда-нибудь потом.»
  • «Хочу, чтобы мне подняли зарплату. Но если я поговорю с начальником об этом, не знаю, согласится ли он, как вообще отреагирует, и не будет ли для меня негативных последствий. Эх.»
  • «Не поменять ли дома все лампочки на энергосберегающие? Может, это будет выгодно? Не знаю, надо считать.»

2) Люди говорят «не хочу», имея в виду «не знаю и не хочу думать», а не «мне это не интересно».
Технически, конечно, это корректно, интерес как эмоцию человек в этот момент не испытывает, а испытывает нежелание думать. Но у этой эмоции есть вполне конкретная причина (разрешение неопределённости требует когнитивной нагрузки), и эта причина может быть неверна. Человек может переоценивать необходимое количество когнитивных усилий и недооценивать полезность — люди ошибаются в моделировании себя и своих способностей так же, как ошибаются во всём остальном.

3) Люди отступают в поисках абстрактных решений, которые не помогают с учётом существующих ограничений — всё то, о чём я писал в прошлом посте.

4) И, наконец, люди довольствуются простыми эвристиками. Эти эвристики могут недотягивать до оптимальной по грубости/полезности модели, а иногда и вообще давать заведомо ошибочный ответ.

(Знаете ли вы, что 2/3 восьмиклассников способны «решить» задачу «В стаде 125 овец и 5 собак. Сколько лет пастуху?»? И что люди способны обосновать свой ответ в задаче выбора Уэйсона одинаково убеждённо, независимо от того, верный он или неверный?)

Последний пункт — о том, что Кит Станович называет «serial associative cognition», «последовательным ассоциативным мышлением». В этом режиме вы можете породить правдоподобно звучащую цепочку рассуждений, но эти рассуждения вполне могут оказаться насквозь дырявыми. Способность людей порождать последовательность слов не гарантирует качественность порождаемых слов. Отсутствие пауз в рассуждении на новую тему можно даже считать свидетельством того, что человек не проявил достаточно любопытства.

Как начать проявлять любопытство? В первую очередь — научиться замечать, что вы не проявляете любопытство в ситуации, где оно бы пригодилось. Научиться посредством практики и наблюдений за собой.

Я ожидаю, что описанные примеры проявления и непроявления любопытства всем так или иначе знакомы. Но ещё я ожидаю, что большинство читателей не практиковали навык замечания непроявления любопытства в достаточных количествах.

Так что самое время объяснить, как можно практиковать подобные навыки:

  1. Включите понятия любопытства и нелюбопытства в свой внутренний язык, хотя бы на время. Поприкладывайте их к разным повседневным ситуациям, понаблюдайте за результатами, оцените, каким значением по шкале любопытства отзывается ваш мозг на ту или иную тему.
  2. Обдумайте сценарии непроявления любопытства, представьте, как вы себя ощущаете, когда реагируете каждым из перечисленных режимов. Знание, как когнитивный режим ощущается изнутри, позволит вам распознать его в будущем.
  3. Попробуйте отрегулировать количество проявляемого любопытства, задавая себе вопросы. Что именно я знаю? Чего я не знаю? Что я могу предположить? Как мне узнать больше? Я часто перебираю возможные вопросы наугад, пока не наткнусь на тот, который меня зацепит, вызовет чувство интереса и позволит начать вгрызаться в задачу.

(Важно: я не предлагаю увеличить количество проявляемого любопытства всем читателям во всех ситуациях! Помните про закон равного и противоположного совета. В каком-нибудь из следующих постов я расскажу подробнее про баланс созерцательного и реализационного настроя, про важность умения переключаться между разными когнитивными режимами и выбирать, какой когнитивный режим вам нужен для решения текущих задач. А пока убедитесь, что вы можете локализовать чувство любопытства, распознать его отсутствие и активировать его при необходимости.)

Как и многие «рациональные» техники, умение смещаться по шкале любопытства — это не какой-то отдельный «особый навык рационалиста», это процесс, который присутствует так или иначе у всех, по многу раз в день. Наиболее интересным мне тут кажется не то, что люди проявляют разное количество любопытства, и даже не то, что люди умеют сознательным усилием его активировать, а вопросы более высокого уровня:

  1. В каких ситуациях вы не проявляете любопытство, а следовало бы?
  2. Что будет, если вы попробуете проявлять любопытство ко всему подряд? Сделает ли это вашу жизнь лучше? Поможет ли это вам принимать более разумные решения? Сделает ли это вашу жизнь интереснее?
  3. Как подтолкнуть других к проявлению любопытства?
  4. Как заметить, что вам надо перестать проявлять любопытство к чему-то?
  5. …Можете ли вы придумать другие вопросы для этого списка?

Попробуйте проявить любопытство к этим вопросам сами :) Не останавливайтесь на «не знаю» и на первом ответе, который вам придёт в голову.

Настоящий научный подход

Если этот текст попал в запланированную аудиторию, то вас скорее всего не нужно убеждать, что научные исследования и создаваемые с их помощью технологии — это крутой мощный инструмент и вообще наше всё, причина существования цивилизации в том виде, как она нам известна. Вероятно, вы когда-то задумывались, как здорово было бы организовать свою жизнь с помощью количественного и проверенного экспериментами подхода.

Не можете разрешить спор с кем-то, например, написать на большой красной кнопке на сайте «покупайте наши спички» или «купить наши спички»? Договариваетесь об условиях эксперимента, проводите A/B тестирование, анализируете результат, выясняете, кто был прав. Хотите оптимизировать питание? Сдаёте кучу анализов, проходите генетическое тестирование, прогоняете всё это через продуманную статистическую модель и получаете оптимальный ответ. Даже если вы не знаете всё наверняка, у нас же есть теория вероятностей, байесианство, мощный инструментарий для принятия решений в условиях неопределённости. Надо только всё это освоить.

Вы задумываетесь об этом, мечтаете и приходите к выводу: я недостаточно изучил статистику и подход к организации полноценных исследований сейчас, но дорасту до этого уровня крутизны позже. А пока надо учиться и разобраться подробнее. Вы начинаете читать про науку и статистику и узнаёте, что вам надо уметь отличать корреляцию от причинности, помнить о важности размера выборки, не попасться на удочку p-hacking‘а, отмечаете себе, что нужно освоить R, SciPy или Stan, прочитать «Probability Theory: Logic of Science» Джейнса, разобраться с обучением нейросетей или хотя бы наловчиться в линейной регрессии. Кроличья нора глубока, вы только в начале пути, вам ещё рано применять методы рациональности всерьёз.

Когда вы вступаете в обсуждения вида «а правда ли ложиться спать вовремя важнее, чем просыпаться вовремя?», вы вспоминаете про добродетель научного подхода и говорите «ок, мы могли бы это протестировать?», и начинаете рассуждать об эксперименте, который бы это выявил. Вы идёте на PubMed, Google Scholar и Sci-Hub за данными. Правда, отдельным исследованиям доверять нельзя, и вы ищете метаисследования. Чуть позже вы узнаёте, что метаисследования тоже не все одинаково хороши, а ещё иногда вы находите несколько метаисследований сразу, которые друг другу противоречат, а ваш оппонент тем временем возражает про генетическую вариативность и прочие усложняющие ситуацию обстоятельства. Цикл замыкается: вам нужно найти ответ в условиях неопределённости, но инструменты для настоящего выявления ответа всегда маячат где-то на горизонте. Вы вздыхаете, говорите «ок, в теории можно было бы выяснить, кто прав, проведя вот такой эксперимент, но я сейчас точно не осилю это реализовать» и возвращаетесь в свой реальный мир.

В реальном мире царят привычки и эвристики. В реальном мире люди редко вспоминают про химию, чтобы приготовить себе ужин повкуснее, и про статистику, когда решают, пойти ли ночью домой по тёмному переулку или освещённой улице.

Наука остаётся чем-то далёким и малодоступным (если это не упакованные заранее блага цивилизации), а реальность тут, сейчас, и совершенно непонятно, как всё это знание про вероятности и психологию может помочь, когда приходит время решить, идти сегодня в кино с друзьями или остаться дома и почитать книжку. И вот вы откатываетесь с глобальных амбиций по мировой оптимизации на эвристику аффекта — «вау, кино с моим любимым актёром, точно надо идти!», или на экстраполяцию по одному свидетельству типа «Вася сходил и сказал, что ему не понравилось».

Если только вы не настоящий рационалист, конечно. Для настоящего прикладного рационалиста между этими двумя мирами нет зияющей пропасти. Но вовсе не потому, что у него формальная статистика царит повсюду и всё выражено явными статистическими моделями. Скорее наоборот: потому что он понимает, что границы нет, что оба мира — две крайних точки на длинном спектре компромисса между точностью и дешевизной, что сложность модели можно подбирать по ситуации, и что при этом простые модели могут приносить много пользы. И в этом нет ничего постыдного.

Насколько часто мне нравятся фильмы, в которых есть актёр, который мне очень нравится? Как часто совпадают вкусы у меня и Васи? Насколько мне важно прочитать эту книгу, и насколько мне важно сделать это сегодня? В прошлом, когда я решал пойти в кино вместе с этими людьми, как часто я бывал доволен принятым решением в итоге?

Вы можете научиться видеть мир так (и аналогично для психологии; и социологии; и экономики):

…но это не обязывает обсчитывать весь мир по формулам от первых принципов. Если вы округлите пи до 3, а число секунд в сутках до 100000, ничего страшного не случится.

Настоящая прикладная рациональность начинается не из умения более аккуратно считать. Настоящая повседневная рациональность — в способности увидеть в этом минимальное ядро, задать себе правильные вопросы с примерными ответами, упростить и округлить настолько, насколько возможно, и за несколько простых операций извлечь 80% от оптимума. Или 50%, если максимальная выгода всё равно невелика. Или 95%, если вы внедряете себе в жизнь рутину, которую будете повторять ежедневно на протяжении многих лет.

Кроличья нора в самом деле глубока, но воображаемый читатель из первой половины этого текста ошибается в том, куда она ведёт, и где-то свернул не туда. Хорошие новости: уметь интегрировать не понадобится (хотя иметь интуицию о матанализе всё же полезно). Плохие новости: легче от этого не станет, потому что ответы на вопросы и хорошие решения придётся находить в реальности, а не в теоретическом воображаемом мире, где у вас есть неограниченное количество времени и данных для анализа.

В следующих сериях: как начать замечать окружающую вас реальность; как не попасть в бесконечную рекурсию; и почему любопытство — главная добродетель рационалиста.

Новости LessWrong, 19 февраля 2017

С октября прошлого года я делаю блиц-обзоры новостей, связанных с LessWrong-сообществом и рациональностью, на московских LW-встречах. (Спасибо Денису за проявленную когда-то инициативу по этому формату.)

На последней встрече запись не очень удалась из-за накладок с камерой и диктофоном, так что это повод попробовать перенести формат в текстовый вид.

Итак, новости января-февраля 2017 года.


Beneficial AI 2017 — эпохальная для темы безопасного ИИ конференция. Не с точки зрения достижений, а с точки зрения очередного этапа камингаута людей, которые беспокоятся про AI Safety. Звёздный состав участников, на одной фотке примерно все, про кого можно было бы подумать, что они там должны быть — отцы-основатели deep learning’а, философы, рационалисты, Эрик Шмидт, и ещё за кадром Элон Маск, Ларри Пейдж и Сэм Альтман.

В общем, почитайте пост с заметками с конфы от Скотта Александера.

***

На главной странице LessWrong.com обновился текст. Было: «мы коллективный блог и форум и вот множество наших интересов и ссылок на отдельные тексты», стало: «LessWrong много раз менялся за последние годы, но всё дело в цепочках, ИДИТЕ ЖЕ ЧИТАЙТЕ ИХ, и кстати смотрите: CFAR, MIRI, FHI».

***

Тем временем Vaniver (который, кажется, стал BDFL) говорит, что LessWrong.com переписывают на Telescope/React/Meteor/Apollo/GraphQL. Правда, это было месяц назад, и он называл сроки в 3 недели, но ошибка планирования тут совершенно ожидаема, так что давайте подождём ещё.

В том же комменте он говорит, что MIRI регистрирует отдельную организацию для управления LessWrong и сообществом, так что возможно, что что-то сдвинется.

***

И ещё тем временем: возрождение lesswrong.com как активного блога с интересными постами всё ещё под сомнением. Со времени поста Анны 27 ноября 2016-го, после которого всё должно было задвигаться:

  • в декабре: 5 постов в Main
  • в январе: ни одного
  • в феврале: один пост

Похоже, стимулы продолжают работать против сообщества, и убедить крупных блоггеров писать на lesswrong.com вместо фейсбука или собственного блога остаётся нетривиальной задачей.

***

Теперь про русскоязычное сообщество.

В январе я вбросил в slack-чат сбор предсказаний на 2017-й год, в стиле Скотта. Ещё предстоит дописать код для просмотра ставок всех участников (patches welcome, сам надеюсь добраться до этого в ближайшую неделю или две), но вообще это уже можно считать успехом: 308 ставок по 33 темам от 55 пользователей.

В конце года подведём итоги.

***

На lesswrong.ru стали чаще появляться новые переводы:

Хотите присоединиться к переводам? Читайте тут и приходите в #translations в slack-чате.

***

У меня довольно большие планы по развитию lesswrong.ru, и я наконец созрел их (или хотя бы часть из них) выложить на общее обозрение. Работы много и много для кого, от дизайнеров до редакторов.

В частности, грядёт новая тема для сайта, которая пока не активна для всех, но её уже можно потрогать, дописав к любой ссылке ?lwtheme=test.

***

Ну и наконец. European Community Weekend 2017. 1–3 сентября 2017, Берлин, €150 за 3 дня с ночёвкой и едой.

Кто-нибудь собирается? Я — по возможности да.

Секс убивает (с какой-то вероятностью)

(Эпистемический статус: быстрый подсчёт, вынесенный из чата рационалистов. Все количественные оценки следует читать как грубые вычисления Ферми, а не как подсчёт истинных значений.)

(Осторожно: пересчёты человеческой жизни на деньги; рационализм; и помните, что я не врач и не эксперт в обсуждаемых темах.)

Стоит ли заниматься сексом с незнакомым партнёром, не получив справку? Насколько это рискованно? В каких единицах это вообще можно измерять?

I.

Давайте сначала пройдёмся по венерическим заболеваниям в целом. Они условно делятся на:

  • те, которые не лечатся, но относительно безвредны
  • те, которые вредны, но легко лечатся
  • ВИЧ

Начнём с самых безвредных. Орального герпеса опасаться странно: он есть у половины населения, а ещё наличие у вас орального герпеса частично защищает от генитального. [1]

Генитальный герпес проблемнее, первое проявление может вызвать редкие осложнения, он существенно более стигматизирован, более пугает вас и отпугивает потенциальных партнёров.

ВПЧ ещё страннее: несколько десятков разновидностей, часть из которых вызывают рак, в основном шейки матки, но при этом никак иначе не проявляются, а часть безвредна, но прорастает кондиломами и бородавками. (Кажется, бывают и такие, которые совмещают оба симптома.) Ещё страннее, что толкового теста на ВПЧ для мужчин не существует, поэтому справку вы всё равно не получите и партнёру не предъявите.

ВПЧ не лечится, но при здоровой иммунной системе рано или поздно проходит сам. В последние годы появились работающие вакцины, которые постепенно рекомендуют всем в возрасте до 25 лет.

Из вредных, но излечимых заболеваний, гонорея, хламидия и прочее — не особо страшные болезни по сравнению с ВИЧ, заражаешься-замечаешь-пьёшь антибиотики-здоров. Стигма на них в первую очередь потому, что они ааа о ужас венерические.

В общем, из относительно серьёзных рисков остаются только:

  • ВИЧ.
  • Генитальный герпес (в плане качества жизни, а не здоровья), потому что даже если ты убедишь себя, что про него можно не париться, он всё равно будет парить твоих партнёров.
  • Не заметить болячку или забояться идти к врачу и сильно запустить ситуацию, особенно с сифилисом, от которого могут быть совсем плохие последствия.

Если вы хотите больше чисел и данных про венерические заболевания в целом — про частоту, про риски заражения от одного полового акта, про первые признаки — читайте замечательный STD Statistics от Sarah Constantin.

Из всего перечисленного самой серьёзной причиной для беспокойства является, понятное дело, ВИЧ. Давайте оценим это беспокойство количественно.

II.

(Выкладки ниже рассчитаны на риски при вагинальном сексе. Для анального секса риски становятся намного выше, см. таблицу ниже по тексту.)

Во-первых, про оральный секс: «The per-act risk of receptive fellatio is 0-0.04%» и «There is no transmission risks for receiving oral sex». При поцелуях рисков нет вообще, если только у вас и у вашего партнёра нет во рту зияющих кровавых дыр.

Про вагинальный секс, риски для мужчины: «per-act risk, insertive vaginal intercourse 0.04%» [2]. Это значение без защиты. Для женщин вдвое больше, 0.08%. Умножаем на condom effectiveness, «reduces risk by 80%». Получаем 1/2500 * 1/5 = 1/12500 для мужчин и 1/6250 для женщин.

То есть, если вы принимаете решение, заниматься ли защищённым вагинальным сексом с партнёром/партнёршей, про которого точно знаете его/её ВИЧ+ статус, то:

  • если предположить, что вы цените свою жизнь в $100000/год (много? мало? различные американские правильтельственные агентства присваивают человеческой жизни ценность в $6-10M долларов [3])
  • если оценить ожидаемую продолжительность вашей оставшейся жизни как 50 лет
  • если предположить, что ВИЧ+ статус снижает качество жизни вдвое [4]

То получаем: $100000 * 50 / 2 / 12500 = $200, если вы мужчина, и $400, если вы женщина. То есть вам должно хотеться заняться сексом настолько, что вы будете готовы сжечь $200 или $400 ради одного полового акта.

(Напоминаю: с заведомо ВИЧ+ партнёром; при условии, что вы цените свою жизнь в $100000/год; при условии, что ВИЧ-статус правда вам так сильно испортит жизнь. Вообще ВААРТ стоит от 100 тысяч до миллиона рублей в год, что существенно меньше, чем $100000 * 0.5, и в России оплачивается государством.)

***

Осталось оценить вероятность того, что случайный человек окажется ВИЧ+, если вы живёте в России. Например, в Москве.

Тут, к сожалению, всё оказалось сложнее, и мне не до конца понятно, кому верить.

Со слов Вадима Покровского, руководителя Федерального научно-методического центра по профилактике и борьбе со СПИД:

«Также он добавил, что сейчас официально у нас ВИЧ-инфицировано 3% мужчин в возрасте от 30 до 34 лет. При этом, по его словам, на деле где-то 5-6%, поскольку не все случаи выявлены, и не все носители знают, что они больны.»

«…в массовом сознании существует такой миф, что ВИЧ-позитивные — это либо наркоманы, либо гомосексуалисты, но на самом деле это не так. В прошлом году среди лиц, у которых была выявлена ВИЧ-инфекция, 57% действительно употребляли наркотики инъекционным путем, 1% — это люди, которые заразились при гомосексуальных контактах, а вот 40% с лишним — это совершенно обычные люди, гетеросексуальной ориентации, которые просто не придавали значения средствам предохранения при занятиях сексом.»

И другая статья:

«В 2015 году примерно 53% случаев связаны с употреблением наркотиков, 43% — с половыми контактами между мужчинами и женщинами, 1,5% — с гомосексуальными контактами.»

«…по экспертным данным, уже в настоящее время носителями ВИЧ в России могут быть до 1,5 млн человек.»

Меня тут удивляет доля заражённых посредством гетеросексуальных контактов по сравнению с передачей инфекции через шприцы и гомосексуальные контакты. В США всё не так:

«In 2014: Gay and bisexual men accounted for 83% (29,418) of the estimated new HIV diagnoses among all males aged 13 and older and 67% of the total estimated new diagnoses in the United States.»

Почему? Потому что риски заразиться при анальном сексе в десятки раз выше для принимающей стороны и в разы выше для выдающей, чем при вагинальном:
hiv-rates

Ну и культурные отличия тоже влияют.

То ли наши врачи считать не умеют, то ли россияне предохраняться не умеют, то ли у нас геев намного меньше или у них совсем иная культура? Выглядит довольно странно.

Ещё одна проблема — что сложно оценить распределение по регионам. Из пересказа выше слов Покровского:

«самая сложная ситуация в Иркутской области, в Свердловской, в Самарской, в Кемеровской — там по статистике больше всего ВИЧ-инфицированных, отдельно упомянул Тольятти.»

Но при этом:

«Также Роспотребнадзор в своих информационных материалах специально указывает на отсутствие достоверных данных по Москве»

Так что сколь-либо сложную модель построить не получается. Модель выглядела бы как:

Base rate probability * (вероятность отсутствия диагноза или что партнёрша обманет про свой статус) * (всякие дополнительные поправки про социальные слои, регионы, бисексуальность партнёра или склонность партнёрши заниматься сексом с би-мужчинами, шансы прошлых половых контактов с наркоманами)

Но я понятия не имею, как оценить все эти параметры, кроме base rate, который получается 1%. Со всем остальным неразбериха:

  1. На возрастную группу 30-34 (и, вероятно, более широко — 18-34) явно приходится большая часть случаев, вероятность повышается.
  2. Если вы не в Иркутской, Свердловской, Самарской и Кемеровской областях, вероятность понижается (если там больше заражённых, то на Москву останется меньшее число).
  3. Городское население явно включает больше ВИЧ+, вероятность повышается.
  4. «…infections are most prevalent among males aged 30–34, out of which 3% are infected. Infection rate among females in the same age range reaches 1.5%», вроде как среди женщин заражённых меньше, чем среди мужчин, вероятность понижается, если вы мужчина, и повышается, если вы женщина.
  5. Если ваше пребывание в более интеллектуальных кругах означает большую толерантность потенциальных партнёров к би-мужчинам, вероятность повышается.
  6. Если вы считаете окружающих людей более ответственными, чем в среднем, более вероятно проверяющимися на венерические заболевания, вероятность понижается.
  7. …и так далее.

Параметры про городское население и про возрастную группу кажутся мне самыми значимыми, поэтому давайте просто остановимся на 3% для всех. (На самом деле для женщин опять риски чуть больше, для мужчин чуть меньше.)

$200 за один защищённый половой акт с ВИЧ+ партнёршей -> $6 за один защищённый половой акт с женщиной, у которой с вероятностью 3% есть ВИЧ-инфекция. Или $12 для женщин за один защищённый половой акт с мужчиной.

III.

Оценка в долларах получилась какая-то неубедительная и неинтуитивная. Давайте лучше посчитаем в микромортах.

Один микроморт — это единица, равная одной миллионной части вероятности смерти.

50% штраф к качеству жизни — это 0.5 морта, 500000 микромортов. 500000 / 12500 = 40 микромортов (за защищённый вагинальный секс с ВИЧ+ партнёршей). Или примерно 5 прыжков с парашютом. Для женщин вдвое больше, 80 микромортов.

Если делим на 100/3 для партнёра с неизвестным статусом, то получаем 1.2 (или 2.4 микроморта для женщин) — примерно как выкурить полторы (три) сигареты или пройти 30 (60) километров пешком.

(Кстати, сколько стоит один микроморт? Если мы примем стоимость оставшейся жизни в $5000000, то 1 микроморт = $5.)

IV.

Подобные количественные модели хороши тем, что, опираясь на них, уже можно аргументированно рассуждать.

Не согласны с моей оценкой стоимости жизни? Предложите другие значения.

Считаете, что я где-то ошибся в процитированных рисках? Покажите другие исследования или постройте аргумент, почему риски стоит увеличить или уменьшить, и во сколько раз.

Не согласны со структурой модели? Предложите свои поправки: неучтённые параметры или соотношения. Может быть, вы цените годы жизни в молодости больше, чем годы жизни в старости, например?

Но в любом случае, если эти оценки не соответствуют вашей интуиции (в ту или иную сторону), вам придётся противопоставить им что-то более структурированное, чем «а мне кажется, что всё же это слишком опасно» или «да ну, это маловероятно». И таким образом, посредством анализа отдельных составляющих общей картины, мы надёжнее приблизимся к пониманию мира, чем через тезисы о ситуации в целом.

 


[1] Технически не «оральный» и «генитальный», а HSV-1 и HSV-2, каждый из которых может прижиться и на губах, и на гениталиях, но корреляция между типом вируса и местом заражения довольно высока.

[2] Я подозреваю, что шанс заразиться для России выше, чем в США, потому что в США более распространена практика обрезания, но у меня нет под рукой статистики.

[3] Вы можете ценить свою жизнь больше или меньше, но выберите какое-нибудь число, которое вам кажется правдоподобным. В любом случае, далее по тексту я перейду от долларов к микромортам, и станет менее спорно.

[4] WHO оценивает качество жизни с ВИЧ как 0.5 от жизни без нарушений дееспособности, если человек не получает антиретровирусной терапии, и как 0.9, если получает. См. также: Doing Good Better, глава 2, про оценки QALY.

Некоторые принципы продуктивного общения

(Когда-нибудь я напишу развёрнутую цепочку текстов про #walledgarden, но это когда-нибудь откладывается на потом уже давно. Поэтому поделюсь хотя бы краткими тезисами.)

1. Не говорите людям, что они думают и чувствуют, а спрашивайте, правильно ли вы их поняли; если собеседник утверждает, что вы его неправильно поняли, не пытайтесь его переубедить, что вы знаете лучше, чем он сам.
2. Возмущение — это способ регулирования социальных норм, а не инструмент для поиска истины; возмущение порождает конфликты, снижающие интеллект всех участников, в том числе вас, по возможности избегайте этого.
3. Замечайте, не скатились ли вы в режим проповеди, когда от собеседника вам нужно только то, чтобы он вас выслушал, потому что он ничего не понимает. Доказывать людям вещи имеет смысл только тогда, когда они готовы вас слушать.
4. Разделяйте оценки и факты. Не используйте слова, в которые заложены оценки, в утверждениях о фактах. Особенно пренебрежительные оценки. Особенно если вы знаете, что собеседник с этими оценками не согласен. Если хотите передать своё отношение к чему-то — скажите это прямо и отдельно.

Сообщества читающие и пишущие

(Эпистемический статус: ещё одна речь про то, как англоязычный LW лучше русскоязычного, и что с этим делать. Покрывает темы, которые занимают существенную часть моих мыслей в последнее время.)

I.

Джоно Бэкон в книге The Art of Community делит сообщества условно на read-mostly и на write-centered.

Read-mostly communities, читающие сообщества:

  • собираются вокруг общего интереса, часто медийного (например: Star Trek)
  • создают производный контент (косплей, фанфики)
  • имеют слабое влияние на источник своего интереса

Write-centered communities, пишущие сообщества:

  • вместо того, чтобы любить что-то вместе, они создают что-то вместе
  • намного больше кооперируются
  • продукт, на котором фокусируется общий интерес, производится самим сообществом

Например: Ubuntu. Например: любые другие open source сообщества. Например (по крайней мере в лучшие его годы): lesswrong.com.

К какой из этих категорий ближе lesswrong.ru? Пока что, к сожалению, к читающим. На главной странице — только переводы «канона», на форуме споры и низкое соотношение сигнала и шума. Коллективного блога с контролем качества (модераторами или системой кармы) у нас нет, и с рациональной блогосферой тоже всё довольно печально.

II.

Мне кажется, мы отстаём от lesswrong.com на 6-7 лет. 6-7 лет назад цепочки уже были написаны, но культура сообщества ещё не сформировалась. Я не читал lesswrong.com в 2009’м, и у меня нет детальной интуиции про то, как это воспринималось тогда, но у меня есть косвенные свидетельства.

В 2009-м EY написал Why Our Kind Can’t Cooperate. Месяц спустя — Пацифизм губит ухоженные сады. Интересно сравнить, как споры на этот счёт актуальны у нас до сих пор: как участникам сообщества не надо кооперироваться, а не то культ; как не надо соглашаться, а не то groupthink; как не надо ставить цели, а не то групповой конформизм и насилие. Тогда как в англоязычной среде Юдковский идентифицировал и раскрыл проблему ещё 7 лет назад, и можно заметить, что англоязычная LW-культура до сих пор куда более дружелюбна, чем наша.

(Если вы не читали два поста по ссылкам, вам может быть не понятно, о какой проблеме я говорю.)

Была ли тут причинно-следственная связь, а не только корреляция? Помогли ли им разговоры на эти темы, или сыграло роль что-то ещё?

Например, может быть, англоязычный lesswrong просто привлекал более дружелюбных людей, потому что был очень гиковским и аутичным. Но тогда почему несколько троллей не разрушили этот ухоженный сад? Видимо, потому что у жителей сада были средства для противостояния, работающие систематически.

Или, может быть, англоязычная среда в целом более дружелюбная, чем русскоязычная, и их культурные нормы в принципе не допускают некоторых троп в общении? Это, конечно, тоже неверно.

III.

Эта цитата так релевантна проблеме, на которую я пытаюсь указать, что я приведу её целиком:

My huge mistake was that I—as I saw it—tried to speak plainly about the stupidity of what appeared to me to be stupid ideas. I did try to avoid the fallacy known as Bulverism, which is where you open your discussion by talking about how stupid people are for believing something; I would always discuss the issue first, and only afterwards say, “And so this is stupid.” But in 2009 it was an open question in my mind whether it might be important to have some people around who expressed contempt for homeopathy. I thought, and still do think, that there is an unfortunate problem wherein treating ideas courteously is processed by many people on some level as “Nothing bad will happen to me if I say I believe this; I won’t lose status if I say I believe in homeopathy,” and that derisive laughter by comedians can help people wake up from the dream.

Today I would write more courteously, I think. The discourtesy did serve a function, and I think there were people who were helped by reading it; but I now take more seriously the risk of building communities where the normal and expected reaction to low-status outsider views is open mockery and contempt.

Despite my mistake, I am happy to say that my readership has so far been amazingly good about not using my rhetoric as an excuse to bully or belittle others. (I want to single out Scott Alexander in particular here, who is a nicer person than I am and an increasingly amazing writer on these topics, and may deserve part of the credit for making the culture of Less Wrong a healthy one.)

(Из предисловия Юдковского к Rationality: From AI to Zombies.)

У lesswrong.com был Скотт. И многие другие.

У lesswrong.ru были переводы текстов умного, но несколько надменного человека, и не было обратной связи от него, если мнения выходили из берегов.

Lesswrong.ru пытался стать пишущим сообществом, но:

1) Формат форума способствует вбросам в виде вопросов, особенно — провокационных.

2) Канон в виде цепочек способствует подражанию стиля автора, которым каждый (точнее, многие) пытается рассказать остальным, в чём же именно они неправы. Так, чтобы это наиболее походило на канон и считывалось как высокостатусое. Так, чтобы это было наиболее убедительно. Так, чтобы это максимально сигналило превосходство.

Сложно кооперироваться, когда люди оптимизируют сигналинг, а не внешнюю цель. А где взять внешнюю цель, если канон так централен, и выглядит заведомо круче всего нового, что мы можем написать? Те, кто хотят больше рациональности, молча читают архивы lesswrong.com. Общаются — остальные.

Я, конечно, не имею в виду, что весь lesswrong.com и каждый отдельно взятый его участник хорош, а весь lesswrong.ru плох. Возможно, в последних нескольких абзацах я пожертвовал аккуратностью высказываний, пытаясь получше очертить проблему. Но я вижу, как «у них» (у сообщества в целом, группы, способной к саморегуляции) есть некая способность, которой нет «у нас», и продолжаю пытаться понять, как нам эту способность заполучить.

IV.

Что делать? Мой текущий ответ состоит из нескольких частей:

Подход к реализации большинства из них на данный момент мне в целом понятен (кроме последнего – хотя у меня есть одна идея), но до воплощения в реальность всех этих пунктов мне сложно оценить ценность каждого из них по отдельности.

И ещё у меня пока нет понятных метрик, чтобы измерить ни ориентацию на создание нового, ни дружелюбие. Надеюсь, что прочитаю How to Measure Anything в скором времени, и пойму, как к этому подойти более системно.

 

Бесполезные определения

В vk-сообществе «Рационалист» был опрос про уровень амбиций, с вариантами «Просто быть счастливым», «Стать миллионером», «Быть бессмертным», и т.п.

Я написал в комментариях там, что осуждаю опрос за bias в пользу эгоизма: разумные агенты могут иметь цели во внешнем мире, а не только оптимизировать свое собственное благополучие.

Другой человек ответил, что «это тоже все эгоизм», имея в виду, что «люди делают все в своих интересах, чтобы им было хорошо».

Но, ответил я,

полезно задумываться, какое значение в слово вкладывал человек, который его использовал.
Когда я сказал «bias в пользу эгоизма», я имел в виду, что все предложенные варианты направлены вовнутрь: имеют целью достижение человеком некоего состояния, а не изменения окружающего мира. Это возможное определение хорошо тем, что разграничивает цели на два класса.
Когда вы сказали про остальные цели «это тоже эгоизм», то использовали определение, которое не разграничивает цели на классы. Это возможное определение мне кажется плохим своей тавтологичностью, высказывание «эта цель эгоистична» не несет информации.

Другими словами, можно, конечно, назвать эгоистичным любое действие, которое человек совершает намеренно: это действие приближает человека к его целям, реализует его функцию полезности, а не чью-то ещё. Это определение не будет похоже на общепринятое (я ожидаю, что большинство людей не станут называть эгоистичными любые действия вообще), и этим оно плохо (лучше использовать слова в близких к общепринятым смыслах, иначе люди не поймут, что вы имеете в виду), но есть и другая проблема:

Термин, который описывает подмножество явлений, тождественное всему классу явлений, бесполезен по сравнению с термином, который описывает нетривиальное подмножество явлений.

Иногда можно услышать: вот этот стол на самом деле не существует. Мир состоит из элементарных частиц, а идея стола есть только у тебя в голове, на самом деле не существует ничего из тех вещей, которые ты видишь.

Или: что значит «ты не имеешь права»? У людей есть право делать что угодно.

Или: если ты не делаешь что-то, значит, на самом деле ты этого не хочешь. Если бы ты хотел, ты бы это сделал. Люди всегда делают то и только то, чего хотят.

Все эти тезисы включают в себя верные и ценные (для тех, кто с ними ещё не сталкивался) идеи:

  • вещи (группы элементарных частиц) не являются воплощениями идеальных сущностей, и вопрос про корабль Тесея не имеет смысла;
  • люди могут делать что угодно, вопрос только в последствиях, законы общества и этики не являются законами физики, и, в отличие от законов физики, могут быть нарушены;
  • бездействие человека в ситуации, когда физическая возможность для совершения действия есть, является свидетельством, что у человека есть скрытые предпочтения, которые противоречат высказанному «хочу».

Но. Если мы определим слова «существование», «право» и «желание» таким образом, то нам придется отказаться от этих слов вообще. Мы потеряем возможность сказать «дракон не существует, а гараж существует». Мы потеряем возможность сказать «у людей есть право на жизнь, но нет права на убийство», и «я не хочу выполнять свою работу, но хочу продолжать работать с моим начальником».

Опыт показывает, что люди, которые предлагают такие радикальные значения слов, обычно строят либо Полностью Универсальный Контраргумент (чтобы сделать вопрос бессмысленным, потому что он им не нравится), либо просто хотят казаться глубокомысленными.

Принцип доверия предлагает нам выбирать из возможных нам интерпретаций суждения наиболее разумную. Если одно из возможных определений слова делает высказывание бессмысленным, задумайтесь, нет ли другого способа понять высказывание, такого, в котором вам не получится так просто проигнорировать суть.

Как менять людей и сообщества

Эпистемический статус (via): конкретные предложения по улучшению LW-сообщества, про которые я пока что не стараюсь детально обосновать, почему я считаю, что они работают и полезны.

Главная страница сайта tinyhabits.com утверждает, что всего три вещи могут изменить поведение человека в долгосрочной перспективе:

  • epiphany, внезапное прозрение
  • change of environment, изменение среды
  • baby steps, маленькие шаги

Внезапное прозрение по определению недостижимо осознанным усилием. Оно приходит само и случайно. Изменение среды формализовать уже проще: можно перейти к советам «наведите дома порядок», «организуйте себе рабочее место», и дальше ещё к большей детализации и конкретным планам. Маленькие шаги можно воплотить, взяв вместо привычки «каждый день делать зарядку» (если вы никогда этого не делали и не имеете привычки, а все прошлые попытки провалились) привычку «делать одно отжимание каждый день», и установив себе метакогнитивный навык «каждый раз, когда я пытаюсь установить себе привычку, про которую ожидаю, что она будет сложной, я ищу переформулировку меньших масштабов, и начинаю с неё».

В любом случае, конкретные планы лучше общих. Структурированное решение, особенно в форме implementation intention, практически полезнее, чем совет «просто возьми и сделай» или «надо просто больше стараться».

Что делать, если у нас есть сообщество, и мы хотим достичь изменений в нём? Что делать, если в сообществе уже сложились какие-то нормы, и нельзя просто так заставить всех принять новую культуру? Что конкретно мы можем сделать, чтобы поменять нормы поведения, когда многие вокруг говорят, что все могло бы быть лучше, но все остается по-прежнему?

Я много думал над этими вопросами в последнее время: про сообщество lesswrong.ru, про то, как оно отличается от культуры lesswrong.com, про то, как культура lesswrong.com мне нравится существенно больше, и про то, что отличия достаточно значимы в смысле последствий, а не только восприятия.

Если мы хотим какую-то другую культуру, то недостаточно просто сказать «текущая культура плохая». Нужно описать механизм её сдвига в новом направлении.

Я когда-нибудь потом подробнее напишу, почему я верю то, во что я верю. А пока про средства сдвига и логику их выбора.

Распространение common knowledge через карму и лайки.

Common knowledge, «общее знание» — знание не только о своих оценках, но и об оценках других участников, и о мнении модераторов. Знание всеми того, что все другие это знают. (TODO на ближайшие посты: объяснить мою модель того, как через common knowledge формируется культура, этика и нормы поведения.) Тред на форуме, где ожесточённо спорят друг с другом два тролля, и есть два комментария от более разумных людей с аргументами, выглядит существенно иначе, чем тред на facebook’е с таким же содержанием, но где у двух комментариев есть множество лайков, а у троллей нет. И еще существенно иначе, чем такой же тред на lesswrong.com, где тролли, вдобавок, заминусованы.

Тред, в котором (в среднем достаточно разумные) участники расставили свои оценки, даже если они не нашли энергии или достаточного интереса к дискуссии, чтобы написать какой-то текст, сообщает всем остальным читателям, какой позиции придерживается сообщество.

Площадка, на которой оценок нет, предвзята по умолчанию в пользу тех людей, которые любят спорить и придираться к мелочам, тех людей, которые вызывают особо эмоциональные реакции (и желание возразить), и тех людей, которые задают особо глупые и провокационные вопросы.

Площадка с оценками тоже от всего этого не защищена, но дает механизм дешёвой обратной связи для читателей.

Как это может быть реализовано:

  • к форуму lesswrong.ru можно прикрутить движок для рейтингов постов (скоро появится);
  • в slack-чате можно чаще пользоваться реакциями, и придумать общеизвестные нормы оценок: проявления КИ, логических ошибок, осуждения агрессии.

Модерация по (по возможности) явно оглашённым правилам.

Сообщества без средств для соблюдения желаемых норм уязвимо к троллям и глупцам, и если я не доверяю текущей культуре в соблюдении желаемых норм, то без средств для вытягивания культуры до более строгих этических и эпистемических стандартов (которые совсем не присущи людям по умолчанию) оно никуда не сдвинется.

Зачем нужны правила, и почему модераторам следует публично объяснять свои решения? Потому что это тоже common knowledge. Потому что социальное обучение — важный механизм усваивания людьми допустимых норм. И потому что правило, сформулированное хорошим модератором — это интуиция, переведённая в форму, годную для переиспользования, а это главное, чего мы тут хотим добиться: чтобы люди, которые «понимают», научили тех, кто пока ещё не понимает.

Как это может быть реализовано:

  • модераторы могли бы редактировать посты на форуме и дописывать к ним специальным цветом свои комментарии с замечаниями для слабых нарушений, или складывать в публично доступный (но, вероятно, закрытый для обсуждений) тред удаленные сообщения с объяснениями;
  • модераторы в slack’е уже складывают удалённые сообщения в отдельный канал.

Ну и проработать список правил, которые мы считаем желательными, похвальными, или недопустимыми в общении, тоже было бы очень полезно. Но про это следующий пункт.

Серия текстов.

Вот с этого поста я собираюсь начать длинную серию текстов с объяснениями конкретных методов ведения коммуникации, почему я считаю их важными и полезными, и как сделать их практически применимыми.

Мы знаем, что цепочки были важны для формирования lesswrong’а. Хорошо написанные тексты явно могут влиять на культуру, особенно на такую, которая сложилась вокруг набора текстов.

Я пока не знаю, смогу ли я объяснить то, что хочу объяснить, с достаточной степенью детализации и обоснованностью, читаемым языком и понятной структурой. Но я точно хочу попробовать.

Philosoraptor.jpg

Бредовая мысль (p>0.99, что некорректная и технически, и идейно): если сделать сильный ИИ, а потом выразить все его алгоритмы с помощью гомоморфного шифрования, получится ли идеальный философский зомби?

Рекуррентные нейросети

Погонял нейросеть на основе кода из http://karpathy.github.io/2015/05/21/rnn-effectiveness/. На примере истории чата из 75000 сообщений, 6MB данных. Увлекает.

До ИИ там конечно далеко, но способность вычленять структуру из потока байтов впечатляет. Связный разговор не осиливает, связные предложения наугад, а вот остальное очень даже.

Пример (выборка не наиболее удачная, выбранная как средне-репрезентативная + чтобы не спалить ничего приватного):

Слава:
Хочется, да :)

Пион:
Я прочувствуешь, что в итоге могут сильнее продолговать.

Пион:
Не

Слава:
штоа?

Пион:
Ничо так. В падику?

Слава:
Перестал это же в толпе с тобой подумать

Пион:
Даа, это твой метод напрягать капса с толкой книги не меняет

Слава:
Ну вот там же.

Пион:
О, она будет апдейтиться в такой жизни очень хорошее

Слава:
А ТЫ? :)

Что тут интересно:

  • Структуру входящего потока в виде «Пион:»/»Слава:» оно просекает почти сразу. Алгоритм инкрементальный, и проходит 30 «эпох» (полных перечитываний текста), на ранних эпохах содержание сообщений не содержит читаемых слов («я центрить назачиваешь аэтри, а КАВ НЕТЕСТА ПВО НИВ У ОЕД ЧТО У ТЕ СЛЕДАЮ УНОДАСЙ РЕМ»).
  • Аналогично со структурой предложений: пробел после запятой, длина слова.
  • Еще до этого оно осознало структуру уникода: изначальный алгоритм работает с байтами, а на выходе получаются символы. То есть \xd0 и \xd1 оно расставляет аккуратно и в тему.
  • Капс, смайлы, точки, сообщения с маленьких букв и с больших (я за этим не очень слежу, статистически правдоподобно, хотя в реальности я более последователен в этом на локальных интервалах.)
  • Склонение слов! В оригинале не было слова «прочувствовать», только «прочувствованное», «прочувствованные» и «прочувствовала» по одному разу.
  • Из наблюдения про склонение слов я делаю вывод, что структуру предложений, согласование существительных, глаголов и прилагательных оно тоже понимает на достаточно продвинутом уровне. В смысле, не просто по принципу цепей Маркова.
  • В примере этого нет, но я много использую скобки, и он обычно не забывает их закрывать.
  • Про авторский стиль: некоторые признаки того, что «Слава» выражается более похоже на меня, а «Пион» более похоже на Пион есть. Я чаще ставлю смайлы и скобки. При этом с родом есть косяки.

PS: Заодно опробовал Spot Instances на EC2. На ноутбуке со встроенной видеокартой недоступна CUDA, и ждать десять часов вчера вечером не хотелось. На EC2 On-Demand g2.2xlarge стоит $0.65/час, а Spot мне обошелся в $0.06/час. (со Spot Instances всегда есть риск, резкий рост цен приведет к потере виртуалки со всеми данными, но он маловероятен был в этом случае.)