nutrina pruti

жук номер один

[neutrino2pretty]

О счастливом

Я редко пишу о себе и своей жизни. Но сегодня со мной произошло то, что я бы хотела рассказать всем на свете.

Я веду семинары у студентов 3 курса ВШЭ. За плечами уже 6 занятий, которые давались не просто: сам курс не очень интересует студентов-экономистов, а из преподавательского состава моложе 65 лет только я. Подготовка к семинарам давалась мне тяжело, я готовила слайды и материал после основной работы, вечерами и ночами, поэтому сильно уставала.

И вот вчера я в очередной раз готовилась к такому семинару: до 4 часов утра я подбирала материалы, карты, диаграммы и статистику, оформляла слайды иллюстрациями и примерами, а текстовый материал систематизировала в пункты и таблицы. Я устала и начала понимать, что не успею выспаться, но все равно продолжала: мне очень хотелось рассказать об этой теме больше, ведь она прикладная, перспективная и актуальная. Я также осознавала, что не успеваю прорепетировать рассказ, и поэтому решила импровизировать.

На семинаре я много рассказывала из своего опыта и практики, приводила жизненные примеры, показывала ресурсы, которыми пользовалась когда-то сама. Это так увлекло меня, что я забыла о том, что рассказываю семинар безликим студентам с выключенной камерой в zoom, мне казалось, что я делюсь своими интересами с друзьями-исследователями. Я не просто уложилась точно в время семинара (обычно я с трудом растягивала скучный материал даже на 45 минут), но и увлекла темой студентов: они задавали вопросы, благодарили за интересные материалы и даже отписались после семинара с запросами на дополнительную информацию.

Так я поняла, что ни жалею ни капли о том, что готовилась у семинару до 4 утра. А еще если ты увлечен работой, даже очень трудной, она всегда будет приносить тебе радость как минимум гордостью за свои усилия.

[neutrino2pretty]

[neutrino2pretty]

Мой опыт не всегда помогает: иногда он сужает кругозор

Недавно я проходила собеседование в одну компанию на позицию аналитика в маркетинговых исследованиях. Я думала, что мой опыт в маркетинговом агентстве, которое занимается заказными исследованиями, мне поможет, но все оказалось иначе

Я очень привыкла к тому, что исследования необходимы, и когда мне описали достаточно простую ситуацию, и спросили, что я буду делать, я уверенно заявила: конечно же исследование

Только потом до меня дошло, что исследование это делать и вовсе не обязательно, вся информация есть в открытом доступе

[neutrino2pretty]

Math art

Очень красивый ресурс не только с фотографиями, но и с теорией к ним можно найти по этой ссылке

[neutrino2pretty]

Семейная ошибка Family-wise error rate

Family-wise error rate - на самом деле очень неприятная вещь. Дело в том, что каждый раз, когда проверяется больше одной гипотезы о равенстве средних обычным методом ANOVA, ошибка первого рода* может оказаться больше, чем кажется. А с увеличением количества гипотез ошибка первого рода растет еще больше! 

В частности, существует большое количество поправок на эту ошибку. 

Хорошие источники есть тут:

Multi-testing correction

Family-wise error rate

* Ошибка первого рода: отвержение нулевой гипотезы, когда на самом деле она верна

[neutrino2pretty]

Палитра seaborn

Некоторые пастельные оттенки особенно прекрасны. Чтобы активировать этот пакет, необходимо ввести:

import matplotlib.pyplot as plt import seaborn as sns

[neutrino2pretty]

Подсчет расстояния между точками в разных измерениях

Часто бывает так, что измерений у вектора слишком много, и это серьезно тормозит подсчет расстояния между объектами. В этом ответе было найдено интересное мини-исследование разных принципов подсчета расстояния в зависимости от времени работы алгоритма. 

Оказывается, наиболее быстрым является следующий метод:

a_min_b = a - b numpy.sqrt(numpy.einsum('ij,ij->i', a_min_b, a_min_b))

Спасибо Nico Schlömer

[neutrino2pretty]

Круги Минковского

Герман Минковский изучал семейство разных функций расстояния на евклидовом пространстве. 

Метрика Минковского выглядит следующим образом: 

При p = 2 получается привычная всем Евклидова метрика:

При p = 1 --  Манхэттенское расстояние городских кварталов: 

В отдельности все это не так интересно, однако следующая схема сразу заинтересовала: 

Единичная окружность при различных значениях параметра p расстояния Минковского

[neutrino2pretty]

Тест Ньюкомба

Или тест сравнения эмпирической пропорции разных выборок в бинарных моделях с малыми вероятностями.

Найти доверительный интервал для эмпирических вероятностей в условиях бинарных моделей не так просто, особенно если они лежат близко к 0 или 1. 

Особенно сложно при этом пользоваться апроксимацией нормального распределения: это даст неадекватные результаты в плане cl. В то время, как запрашивается 95%-доверительный интервал, результат может получится для 10%. Это хорошо видно на следующей иллюстрации:

Рекомендуется использовать интервал Вилсена (Wilson interval), он наилучшим образом подходит для задач с малой вероятностью успеха (близкой к нулю). Полное разъяснение ситуации представлено здесь. Странный сурс с доп. информацией для бонуса. 

Тест Ньюкомба также поможет решить данную проблему, привожу следующие исследования на эту тему, содержащие в себе сравнение различных методов в теоретическом и эмпирическом плане:

TWO-SIDED CONFIDENCE INTERVALS FOR THE SINGLE PROPORTION: COMPARISON OF SEVEN METHODS

Interval estimation for the difference between independent proportions: Comparison of eleven method

[neutrino2pretty]

Установка пакета Python

Казалось бы, очень простая процедура. Но у меня частенько возникают проблемы. Поэтому, раз и навсегда:

C:\...path...where...python...installed\python.exe -m pip install package_name

[neutrino2pretty]

Время панелей

Если ты долго наблюдаешь за настроением большого количества жуков, у тебя получаются панельные данные. Разбор полетов панелей начинается с проблемой Pooled-моделей в STATA:

Poled-модели в STATA считаются как обычные OLS регрессии, используя панельные данные (сурс тут)

Что делать с показателями качества моделей? Не ясно, Вербик (стр. 514) рассказывает, что в случае МНК-оценок можно использовать и обычные коэффициенты детерминации (R2 и adjR2). 

Pooled-модели сами по себе не очень интересненькие, во многом они похожи, по моему мнению, на системы одновременных уравнений.

В моделях с фиксированными эффектами (FE) уже все иначе. Они вообще включают в себя теперь и дополнительную компоненту, моделирующую эти эффекты:

[neutrino2pretty]

Об ошибках линейной модели вероятности

Ошибки линейной модели вероятности, если честно, совсем не распределены нормально, что мешает проверять всякие гипотезы и еще много всего другого. 

Учитывая то, что Y (как зависимая переменная) может принимать только два значения: 1 и 0 с вероятностью P{Y=1} и 1 - P{Y=1} соответственно, ошибка регрессии, определяемая как varepsilon = 1 - X*beta и  varepsilon = - X*beta соответственно не может даже в предположении распределяться нормально, так как принимает всего два значения.

Такая вот история

[httppick]