Новости LessWrong, 19 февраля 2017

С октября прошлого года я делаю блиц-обзоры новостей, связанных с LessWrong-сообществом и рациональностью, на московских LW-встречах. (Спасибо Денису за проявленную когда-то инициативу по этому формату.)

На последней встрече запись не очень удалась из-за накладок с камерой и диктофоном, так что это повод попробовать перенести формат в текстовый вид.

Итак, новости января-февраля 2017 года.


Beneficial AI 2017 — эпохальная для темы безопасного ИИ конференция. Не с точки зрения достижений, а с точки зрения очередного этапа камингаута людей, которые беспокоятся про AI Safety. Звёздный состав участников, на одной фотке примерно все, про кого можно было бы подумать, что они там должны быть — отцы-основатели deep learning’а, философы, рационалисты, Эрик Шмидт, и ещё за кадром Элон Маск, Ларри Пейдж и Сэм Альтман.

В общем, почитайте пост с заметками с конфы от Скотта Александера.

***

На главной странице LessWrong.com обновился текст. Было: «мы коллективный блог и форум и вот множество наших интересов и ссылок на отдельные тексты», стало: «LessWrong много раз менялся за последние годы, но всё дело в цепочках, ИДИТЕ ЖЕ ЧИТАЙТЕ ИХ, и кстати смотрите: CFAR, MIRI, FHI».

***

Тем временем Vaniver (который, кажется, стал BDFL) говорит, что LessWrong.com переписывают на Telescope/React/Meteor/Apollo/GraphQL. Правда, это было месяц назад, и он называл сроки в 3 недели, но ошибка планирования тут совершенно ожидаема, так что давайте подождём ещё.

В том же комменте он говорит, что MIRI регистрирует отдельную организацию для управления LessWrong и сообществом, так что возможно, что что-то сдвинется.

***

И ещё тем временем: возрождение lesswrong.com как активного блога с интересными постами всё ещё под сомнением. Со времени поста Анны 27 ноября 2016-го, после которого всё должно было задвигаться:

  • в декабре: 5 постов в Main
  • в январе: ни одного
  • в феврале: один пост

Похоже, стимулы продолжают работать против сообщества, и убедить крупных блоггеров писать на lesswrong.com вместо фейсбука или собственного блога остаётся нетривиальной задачей.

***

Теперь про русскоязычное сообщество.

В январе я вбросил в slack-чат сбор предсказаний на 2017-й год, в стиле Скотта. Ещё предстоит дописать код для просмотра ставок всех участников (patches welcome, сам надеюсь добраться до этого в ближайшую неделю или две), но вообще это уже можно считать успехом: 308 ставок по 33 темам от 55 пользователей.

В конце года подведём итоги.

***

На lesswrong.ru стали чаще появляться новые переводы:

Хотите присоединиться к переводам? Читайте тут и приходите в #translations в slack-чате.

***

У меня довольно большие планы по развитию lesswrong.ru, и я наконец созрел их (или хотя бы часть из них) выложить на общее обозрение. Работы много и много для кого, от дизайнеров до редакторов.

В частности, грядёт новая тема для сайта, которая пока не активна для всех, но её уже можно потрогать, дописав к любой ссылке ?lwtheme=test.

***

Ну и наконец. European Community Weekend 2017. 1–3 сентября 2017, Берлин, €150 за 3 дня с ночёвкой и едой.

Кто-нибудь собирается? Я — по возможности да.

Сообщества читающие и пишущие

(Эпистемический статус: ещё одна речь про то, как англоязычный LW лучше русскоязычного, и что с этим делать. Покрывает темы, которые занимают существенную часть моих мыслей в последнее время.)

I.

Джоно Бэкон в книге The Art of Community делит сообщества условно на read-mostly и на write-centered.

Read-mostly communities, читающие сообщества:

  • собираются вокруг общего интереса, часто медийного (например: Star Trek)
  • создают производный контент (косплей, фанфики)
  • имеют слабое влияние на источник своего интереса

Write-centered communities, пишущие сообщества:

  • вместо того, чтобы любить что-то вместе, они создают что-то вместе
  • намного больше кооперируются
  • продукт, на котором фокусируется общий интерес, производится самим сообществом

Например: Ubuntu. Например: любые другие open source сообщества. Например (по крайней мере в лучшие его годы): lesswrong.com.

К какой из этих категорий ближе lesswrong.ru? Пока что, к сожалению, к читающим. На главной странице — только переводы «канона», на форуме споры и низкое соотношение сигнала и шума. Коллективного блога с контролем качества (модераторами или системой кармы) у нас нет, и с рациональной блогосферой тоже всё довольно печально.

II.

Мне кажется, мы отстаём от lesswrong.com на 6-7 лет. 6-7 лет назад цепочки уже были написаны, но культура сообщества ещё не сформировалась. Я не читал lesswrong.com в 2009’м, и у меня нет детальной интуиции про то, как это воспринималось тогда, но у меня есть косвенные свидетельства.

В 2009-м EY написал Why Our Kind Can’t Cooperate. Месяц спустя — Пацифизм губит ухоженные сады. Интересно сравнить, как споры на этот счёт актуальны у нас до сих пор: как участникам сообщества не надо кооперироваться, а не то культ; как не надо соглашаться, а не то groupthink; как не надо ставить цели, а не то групповой конформизм и насилие. Тогда как в англоязычной среде Юдковский идентифицировал и раскрыл проблему ещё 7 лет назад, и можно заметить, что англоязычная LW-культура до сих пор куда более дружелюбна, чем наша.

(Если вы не читали два поста по ссылкам, вам может быть не понятно, о какой проблеме я говорю.)

Была ли тут причинно-следственная связь, а не только корреляция? Помогли ли им разговоры на эти темы, или сыграло роль что-то ещё?

Например, может быть, англоязычный lesswrong просто привлекал более дружелюбных людей, потому что был очень гиковским и аутичным. Но тогда почему несколько троллей не разрушили этот ухоженный сад? Видимо, потому что у жителей сада были средства для противостояния, работающие систематически.

Или, может быть, англоязычная среда в целом более дружелюбная, чем русскоязычная, и их культурные нормы в принципе не допускают некоторых троп в общении? Это, конечно, тоже неверно.

III.

Эта цитата так релевантна проблеме, на которую я пытаюсь указать, что я приведу её целиком:

My huge mistake was that I—as I saw it—tried to speak plainly about the stupidity of what appeared to me to be stupid ideas. I did try to avoid the fallacy known as Bulverism, which is where you open your discussion by talking about how stupid people are for believing something; I would always discuss the issue first, and only afterwards say, “And so this is stupid.” But in 2009 it was an open question in my mind whether it might be important to have some people around who expressed contempt for homeopathy. I thought, and still do think, that there is an unfortunate problem wherein treating ideas courteously is processed by many people on some level as “Nothing bad will happen to me if I say I believe this; I won’t lose status if I say I believe in homeopathy,” and that derisive laughter by comedians can help people wake up from the dream.

Today I would write more courteously, I think. The discourtesy did serve a function, and I think there were people who were helped by reading it; but I now take more seriously the risk of building communities where the normal and expected reaction to low-status outsider views is open mockery and contempt.

Despite my mistake, I am happy to say that my readership has so far been amazingly good about not using my rhetoric as an excuse to bully or belittle others. (I want to single out Scott Alexander in particular here, who is a nicer person than I am and an increasingly amazing writer on these topics, and may deserve part of the credit for making the culture of Less Wrong a healthy one.)

(Из предисловия Юдковского к Rationality: From AI to Zombies.)

У lesswrong.com был Скотт. И многие другие.

У lesswrong.ru были переводы текстов умного, но несколько надменного человека, и не было обратной связи от него, если мнения выходили из берегов.

Lesswrong.ru пытался стать пишущим сообществом, но:

1) Формат форума способствует вбросам в виде вопросов, особенно — провокационных.

2) Канон в виде цепочек способствует подражанию стиля автора, которым каждый (точнее, многие) пытается рассказать остальным, в чём же именно они неправы. Так, чтобы это наиболее походило на канон и считывалось как высокостатусое. Так, чтобы это было наиболее убедительно. Так, чтобы это максимально сигналило превосходство.

Сложно кооперироваться, когда люди оптимизируют сигналинг, а не внешнюю цель. А где взять внешнюю цель, если канон так централен, и выглядит заведомо круче всего нового, что мы можем написать? Те, кто хотят больше рациональности, молча читают архивы lesswrong.com. Общаются — остальные.

Я, конечно, не имею в виду, что весь lesswrong.com и каждый отдельно взятый его участник хорош, а весь lesswrong.ru плох. Возможно, в последних нескольких абзацах я пожертвовал аккуратностью высказываний, пытаясь получше очертить проблему. Но я вижу, как «у них» (у сообщества в целом, группы, способной к саморегуляции) есть некая способность, которой нет «у нас», и продолжаю пытаться понять, как нам эту способность заполучить.

IV.

Что делать? Мой текущий ответ состоит из нескольких частей:

Подход к реализации большинства из них на данный момент мне в целом понятен (кроме последнего – хотя у меня есть одна идея), но до воплощения в реальность всех этих пунктов мне сложно оценить ценность каждого из них по отдельности.

И ещё у меня пока нет понятных метрик, чтобы измерить ни ориентацию на создание нового, ни дружелюбие. Надеюсь, что прочитаю How to Measure Anything в скором времени, и пойму, как к этому подойти более системно.

 

Philosoraptor.jpg

Бредовая мысль (p>0.99, что некорректная и технически, и идейно): если сделать сильный ИИ, а потом выразить все его алгоритмы с помощью гомоморфного шифрования, получится ли идеальный философский зомби?

Чем мог бы стать LessWrong

Встречи LessWrong.ru рождают какой-то контент. Ежедвухнедельная встреча дает выхлоп в два-три доклада на тридцать людей, нескольких видео на youtube (с 50-100 просмотрами в сумме, половина из которых – моя мама), и пары падов в хакпаде, если повезет.

Чтобы захватить/спасти мир, нам нужен намного больший выхлоп. Особенно если думать с точки зрения помощи миру (а не только «а какая тусовка будет лучше для меня лично?»), но даже с чисто точки зрения потребления материала группа в тридцать человек рано или поздно сварится в собственном соку, потому что всем хочется нового и крутого, но все крутое и новое внутреннее она уже переработала. Короче, нам нужна сильная онлайновая часть сообщества, где бы свежая ценная информация перемалывалась в более высоком темпе.

Какое содержание могло бы рождать онлайн-сообщество? Рассчитывать на оригинальные исследования на этом этапе было бы слишком оптимистично, нас мало, и серьезные исследования трудозатратны. Мне кажется, мы могли бы делать мета-ревью, компиляции исследований по выбранным темам, переводы и выжимки из существующих академических статей. На lesswrong.com есть крутые прецеденты.

Какую форму это могло бы обрести – есть много вариантов. Можно пойти дописывать википедию. Можно фигачить посты в личный блог. Можно создать общелесронговскую вики. Я пока не знаю, как лучше, и не знаю, как можно эффективно замотивировать людей этим заниматься, это открытый вопрос. (Весь этот текст состоит из открытых вопросов, у меня нет пошагового рецепта. Но есть кое-какие идеи.)

Отдельная и важная задача – установить и поддержать уровень качества всей этой деятельности. У централизованного форума может быть модерация, у блогов не может. Уровень качества может регулироваться культурой, но следует ли это делать? (Тут много аспектов про баланс между свободой и контролем, бюрократией и мотивацией, чистотой бренда и порогом для входа. Система правил википедии, кстати, не идеальна, но очень даже неплоха.) Да, и это не только вопрос контроля, это и вопрос идентичности – что вообще отличает лессронг от остального мира, про что мы, есть ли у нас однозначная методология?

Кажется, общая методология могла бы быть. Явный список правил, которые надо соблюдать при формулировании знания, критериев качества к итоговому ревью, языковых принципов. Многие участники LW эти принципы знают интуитивно, но единого свода нет. Было бы интересно такой свод сделать.

Кстати, можно сравнить с научным сообществом, у него тоже есть своя методология. Статистические тесты, процесс ревью и публикации статей, списки литературы. Методология крутая, но не идеальная: как в смысле применения статистики, так и с точки зрения медийных форматов (почему я не могу почитать комментарии к научным статьям? почему мне приходится их скачивать через sci-hub? почему в них нет ссылок, и они распространяются pdf’ками?).

Этот последний пункт приводит меня к мысли, ради которой я все это пишу. Переизобретение, в стороне от общепринятых практик, но с переиспользованием всех существующих материалов, Науки 2.0 могло бы быть сверхмиссией лессронга. Начать с первых пробных компиляций в отдельных областях, разобраться с best practices формулирования и оценивания на здравость (биржи предсказаний нам помогут), достроить мост от академической среды до конечных пользователей, не потеряв при этом в правдивости, сделать свой кроссдисциплинарный научный журнал, и так далее и так далее. А?

(По мотивам разговора с Пион о будущем лессронга.)