Я пришел в конфликт с соавторами, когда просят сделать вещи, которые я считаю сомнительными.
Однажды мне сказали, чтобы попробовать все возможные спецификация зависимой переменной (количество, доля, бинарных индикатор, вы называете его) в регрессии, пока не найду нормальных отношений. То есть он, нет никаких оснований для выбора одной спецификации на другую кроме того, находят значение. Знаменитая рыбалка на Морская звезда (также известный как P-взлом).
В другой раз меня попросили переписать теорию раздел бумага, отражает случайный вывод из нашего анализа, так что он, как если бы мы задавали вопрос о случайной находкой и придумать поддерживается гипотеза априори. Знаменитый hypothesising после того, как результаты известны (маги).
В обоих случаях я отказался подчиниться и объяснил мои рассуждения, что приводило к конфликтам с другой стороны. Я изо всех сил старался не звучат обвинительные (не создалось впечатления, что сомневаюсь в этике другой стороны), но тем не менее вел к истощению и ухудшению рабочих отношений. В долгий спор, которые последовали, мне сказали, что 'социальная наука не делается в естественных науках,' и я 'слишком негибкой,' 'слишком позитивистской,' и все эти вещи, которые меня попросили сделать. Спор завершился с меня просят 'прекратить препятствовать прогрессу бумаги,' то, что заставило меня чувствовать себя очень расстроен.
С тех пор я видел несколько случаев, что я подозреваю, будет это тип научно-исследовательской практики. Например, аспиранты приходят ко мне просить о том, что они должны изменить в своих моделях, так что их результаты выходят значительные, и люди, работающие в той же компьютерной лаборатории, как я спрашивая у меня же типа помочь.
Я считаю, что эти вещи серьезно сомнительна с этической точки зрения, и хотел бы возразить против них эффективно. Однако, с другой стороны, как правило, опытных исследователей и студентов под руководством опытного исследователя. Как молодой исследователь, я чувствую, что я'м в невыгодное положение, когда спорил против. Часто бывает, что я'м возражая против указания того, кто имеет больше опыта, публикации, и, якобы, знаниями, чем я.
Это один из тех случаев, когда мы можем'т многое сделать, но постарайтесь быть 'изменение, которое мы хотим, чтобы принести О,' Шуд, и убедитесь, что мы делаем правильные вещи сами? Мы должны говорить чаще? Если так, какую-нибудь хорошую стратегию, чтобы быть более эффективным и убедительным?
С. С. Тег социальных наук, потому что в моей области, но я считаю, что это происходит в других областях, и я приветствую ввод из других областей.
Редактировать 1: в Примере 2) ни в какой момент кто-нибудь предложил, что мы могли бы подтвердить новую гипотезу в новый набор данных. Намерение состояло в том, чтобы притворяться, что мы получили это право с самого начала, поэтому я и возразил.
Правка 2: просто чтобы прояснить. Я знаю правильный способ делать такие вещи (т. е. перекрестная проверка, поверочный в новый набор данных, карающие за несколько статистических тестов и т. д.). Это вопрос о том, как утверждать, что P-взлом и основательность, не путь.
Редактировать 3: я знаю о коннотации слова проступок. Я отредактировал и заменил его 'сомнительные исследования практики'
Такого рода вещи происходит в обеих социальных наук и физических наук. Например, очень часто ученый, будет собирать информацию для проверки теории, а также собрать много лишних данных. Анализ этих данных часто следует считать исследовательскую и помечены как таковые (потому что значительные результаты могут быть из-за нескольких тестов) [в качестве другого примера, вы Дон'т хотите знать, как часто химиков повторить эксперимент, пока они не получат хороший урожай, потом прекратить и сообщить, что выход без упоминания, что это был лучший в 20 экспериментов!]
Самое быстрое решение-согласиться сделать несколько анализов, но тогда скажи, что ты сделал в разделе методология. Если вы говорите, что вы проанализировали его несколькими способами и один из способов показал значимость, читатели могут решить, будет ли или не верить в результат. Просто расскажите своим соавторам, что не упомянуть о том, что вы сделали несколько анализов покидает исследования неправильно описал.
Однако, вы можете (иногда) сохранить день. Если, например, вы сделали 10 разных анализов и выбрал лучший вариант, вы'll быть хорошо, если результат будет держаться в рамках коррекции Бонферрони (т. е. вместо того, чтобы требовать значимость на уровне 0.05, требуется значение на 0.05/#испытание). Так что окончательный тест показывает p-значение, например, 0.000001, вы, вероятно, находитесь на безопасном основании.
Другой подход состоит в том, чтобы априори решили, что некоторые тесты являются очевидными (подтверждающего), а некоторые просто ищете вокруг данных (разведочный). Тогда вы можете продемонстрировать подтверждающих результаты, в то время как маркировка ничего интересного среди 'разведочное' результаты 'необходимы дальнейшие исследования'. То есть, вы можете вполне обоснованное сочетание тестов с 'апостериорный анализ данных' Пока вы признаете разницу между двумя наборами тестов.
Но если это'т, возможно, чтобы спасти результат, я'd дальше с тем, что они описывают, что они сделали, с комментарием, что если они стесняются, чтобы описать его, они должны'т сделать это. :)
Можно также добавить, что это часто очевидно (по крайней мере по статистике), что исследователь имеет этот трюк. Когда мы видим испытания в изоляции, что бы не происходило с нами, чтобы быть очевидный подход, или гипотеза, что мы'd не выбрать априори, это выглядит подозрительно. Например, недавно я прочитал документ, в котором утверждалось, что определенная группа людей, как правило, чаще совершают самоубийство, если они родились весной. Было ясно, что просто проверял эффект рождения весной не то, что должно произойти с каждым, без тестирования эффекта рождения и в другие сезоны. Так они, наверное, ложные результаты из-за множественных сравнений.
Это отличный вопрос. Я думаю, что вам (и другим в подобных ситуациях) должен говорить, но я понимаю, что это очень трудно сделать. Две вещи, которые я'd предлагает:
Постарайтесь выяснить, если человек вы'ре дело с понять, что методы, которые они'вновь предлагает (Р-хакерство и т. д.) несколько сомнительный или нет-то есть ли это's не вопрос этики или невежества. Это сложнее, чем может показаться, поскольку я думаю, что многие люди действительно не'т понять, как легко это находить закономерности в шуме, и как-то "исследователь степеней свободы" и надуманные моделей легко создать. Прошу людей, не более агрессивный, чтобы объяснить, как делать тесты на "все возможные спецификация зависимой переменной" и выбирать тех, с "Р<0,05" не соответствует <5% от ТО "случайно" в наборы данных, имеющие интерес бы сделать это яснее, и, возможно, даст вам представление о вопросе этики или невежества. Я'd не спорю, что добрая доля людей, разве'т намеренно не этично, но их облачно понять количественных данных застит этического мышления.
Что-то я'вэ нашел полезными в соответствующих контекстах для моделирования данных и на самом деле показать в принципе, что вы'вновь спорили. Например, генерировать наборы данных невыразительный шум и показывают, что с достаточно переменных для сравнения, всегда можно найти на "значительные" в отношениях. (Очевидно, без коррекции для множественных сравнений.) Это может показаться странным, но видя это в моделируемых данных, кажется, помогает.
Удачи!
Кенджи, За последние несколько лет, я дал продолжая курс обучения называется распространенных ошибок в использовании статистических данных: наблюдение за ними и избегать их. Я надеюсь, что некоторые из подходов, которые я взял, может быть поможет вам убедить ваших коллег, что нужны изменения.
Во-первых, я не'т начать говорить о том, что несколько неэтично (хотя я могу, что, в конце концов). Вместо этого я говорить об ошибках, недоразумений и путаницы. Я тоже в какой-то момент внедрить идею, что "Что's пути мы'ве всегда так делал" и не'т делать, что так правильно.
Я также использую метафору на "Игры на телефон", что многие люди в детстве играли: люди сидят в кругу, один человек что-то шепчет на ухо человек рядом с ними; этот человек шепчет, что он/она слышит, к следующему человеку, и так далее по кругу. Последний человек говорит то, что они слышат громко, и первый человек раскрывает оригинальную фразу. Обычно это две настолько разные, что это'ы смешно. Применяя метафору для преподавания статистики: кто-то искренне пытается понять сложные идеи частотный статистики; они, наконец, считают, у них это получается, и передать их воспринимают (но несколько ущербным) понимание на других; некоторые из получателей (с благими намерениями) сделать более упрощениями или неверного толкования и передавать их как можно больше людей-и так далее вниз по линии. В итоге появляется серьезные недостатки версии в учебники и становится стандартной практикой.
Записки для моего непрерывного Ред курса находятся в свободном доступе в http://www.ma.utexas.edu/users/mks/CommonMistakes2015/commonmistakeshome2015.html. Не стесняйтесь использовать их в любом случае -- например, имея неофициальный дискуссионный семинар, используя их (или некоторые из них) в качестве фона для чтения, может помочь донести идеи. Вы заметите, что первой "общая ошибка" не обсуждается "не жду слишком много неопределенности" в самом деле, что это принципиальная ошибка, которая лежит в основе много чего пошло не так в использовании статистики. Рекомендации, данные есть хорошая отправная точка для помогать коллеги начинают видеть смысл все остальные ошибки.
На сайте также есть ссылки на некоторые онлайн-демонстрации, которые будут полезны для некоторых в понимании проблем, которые часто умалчивается.
Я've также сделал некоторые блоги на общие темы http://www.ma.utexas.edu/blogs/mks/. Некоторые элементы июне 2014 особенно актуальны.
Я надеюсь, что эти советы и ресурсы полезны. Не стесняйтесь связаться со мной если у вас есть какие-либо вопросы.
Ваша инстинктивная забота о создании гипотез из данных и притворяясь, что они были там с самого начала находится на правильном пути:
В статистики, так называемый критерий хи-квадрат можно использовать для сравнения данных моделей, которые были оснащены самих данных. Правда, для этого, хи-квадрат тест должен быть адаптирован к сути-то "наказать" Один's для извлечения параметров при тестировании, как значительный матч.
Это не легко обобщены на другие сетапы, так в общей теории обучения и практике разбивает данные на несколько групп. Например, когда одна часть используется для оптимизации параметров, один, сначала невидимый, часть используется для оптимизации обобщения, и последняя, невидимая, часть не для модели строительства и используется, чтобы проверить, насколько хорошо первые две ступени отработали. Это называется "перекрестная проверка на".
Возможно, вы можете предложить (или просто представить), чтобы ваша группа такой методики, путем разделения данных случайным образом на различные компоненты; из построения модели, которая затем проверяется с невидимым данных. Подробности о том, как сделать раскол будет зависеть от вашего домена. Таким образом, у вас есть уверенность в том, что модель является прогностической. Для этого должен быть звук, вы должны убедиться, что он не использует полный набор данных в любой форме (даже не через одного умного коллегу, что помнить, что данные Параболика в целом). Лучше всего не смотреть на невидимое данных, пока модель не будет завершена.
Что касается пост-hypothesising, я нашел это часто даже не нужно. Можно начать с гипотезы, а затем обнаружить его не действительным, но затем найдите другой, интересный феномен. Это называется "результат Открытия" и крутых работ от этого. Если верхняя журналов поля не приемлю такой стиль, потому что они хотят стандартные "и гипотеза-эксперимент-проверка на" цикла, то проблема лежит глубже, в вашем обществе, чем с вашими коллегами.
Короче: сторона модели из ваших данных и сравнивая матч нормально, если у вас есть способ о наказании, что добыча (как в Хи-квадрат). В противном случае вы можете сделать себе "перекрестная проверка на" для звуковых результатов. Наконец, вместо пост-hypothesising, мое предложение состоит в том, чтобы выдвинуть гипотезу, мол, аннулирует гипотезу и свидетельствуют появление различных гипотез.
Много уже хороших ответов. Тем не менее, в научных кругах, это's всегда лучше, если вы сможете подкрепить вашу позицию с хорошим опубликована ссылка. К счастью, вопрос с п-взлом и тиражируемости поднимается и имя все чаще и чаще в различных дисциплинах.
Я'МР установить в качестве [СW] сообщение(https://meta.stackexchange.com/q/11740/256777) собрать указатели на соответствующие публикации можно использовать в дискуссиях с соавторами, что Дон'т вижу проблему с сомнительной статистической практики. Все, пожалуйста, не стесняйтесь редактировать с вашим дисциплины'ы соответствующих статей или докладов на конференциях.
Психология
Линдсей, Д. Стефана (2015). Репликация в психологической науке. Психологические Науки, 26, 1827-1832. Дои:10.1177/0956797615616374.
Открытое Научное Сотрудничество (2015). Оценка воспроизводимости психологических наук. Науки, 349, 6251. Дои:10.1126/наука.aac4716
Точно описать, что вы сделали на бумаге. Как долго, как вы честны, в статье будут судить рецензентов, редакторов и читателей.
Даже люди делают п-стоимость взлома будет иметь трудное время удаления честное описание от бумаги. Если они говорят вам, чтобы удалить его, спросите их, почему, и вы будете иметь превосходство в результате обсуждения.
Один из вариантов-сделать 'конструктивный' точки. Если ваши соавторы (как многие), используемый для разных степеней Р-взлома, они, вероятно, не будет слишком счастлив, чтобы услышать, что их результат непригодным для опубликования, как они стоят.
Если вы смогли предложить решение публиковать результаты, а также избежать этих плохих практик, то мало кто будет возражать. Лучший способ, вероятно, чтобы попробовать делать байесовского анализа. Здесь, (в некоторых случаях) без значимых результатов, также будут расшифрованы и, следовательно, наказуемыми.
Я надеюсь, что вы Дон'т ум, но я хочу использовать этот шанс, чтобы дать вам другой набор советов от того, что вы просите - советую вам не принимать такой подход к решению этой проблемы в данный момент.
Я делаю предположение, что вы хотите (я) определенный уровень академических успехов - достаточно, чтобы поддержать себя, и (II) для повышения качества исследований и социальных благ. Если я ошибаюсь, Я не'т думаю, что вы должны преследовать этот аргумент (на данном этапе).
Я не'т думаю, что вы должны преследовать этот аргумент (на данном этапе) если ты ценишь свою академическую карьеру, так как это приведет вас, чтобы сжечь важные мосты и закрывать двери. Например, если ваш руководитель п-хаки и вас разоблачить и уничтожить его за это, то вы потеряете свою основную опору и значительно сократить вероятность быть в состоянии обеспечить себе карьеру в этой области.
Как в связи с этим, (на данном этапе) я не'т действительно думаю, что вы не оптимально разместить вызов негативного влияния п-взлома. Вот несколько причин, почему я думаю, что это. Во-первых, как относится к тому, что я сказал выше, если вы находитесь в младенчестве карьеру в пределах конкретной социальной системы, то вы может легко повлиять на поведение тех, кто уже утвердился в том, что карьеры, и которые не знают и не уважают вас. Во-вторых, вы не можете полностью понять, почему система работает именно так, ни рычагов, которые должны быть, чтобы изменить эту операцию, пока вы более знакомы с ней. Вы могли бы сделать микро перепад высот (например, вы выставляете некоторые люди с которыми ты работаешь), но я Дон'т см. Что может быть очень эффективным, так как он будет калечить вас, чтобы сделать так.
Чтобы подытожить свои мысли анекдот: представьте, что вы росли в городе, где все преподаватели коррумпированы и некомпетентны. Как вы думаете, было бы лучше, чтобы протестовать против них, когда в школу? Наверное, не так, как вы хотели достичь очень мало, и учителя, вероятно, используют свою силу, чтобы предотвратить вас от окончания и существенно испортить вам жизнь. Кроме того, это было бы лучше терпеть недостатки учителей, пока вы находитесь вне системы (или выше) и в состоянии реально изменить положение вещей? Я думаю, так как в этом случае вы могли бы в конечном итоге в позиции власти, и имеют ресурсы, чтобы сделать что-то, чтобы изменить систему обучения.
Конечно, все это только мое мнение и я мог видеть много способов, которыми вы могли бы возразить против этого :)
28/12/2015: добавив больше содержания и комментариев.
Я хотел бы уделять больше внимания моей главной мысли; обращение к прагматизму и ждать лучшего времени, чтобы действовать. Лично я считаю, что есть время и место для активной деятельности, что иногда лучше держать рот на замке и ждать, пока у вас больше шансов, чтобы что-то делать, а не говорить и получить пулю ни за что. Таким образом, в любом случае, когда активность является одним из вариантов, решение о том, участвовать в ней должны быть определены с учетом различных соображений, таких как степень тяжести нежелательного исхода, риска для человека в предотвращении, их способность предотвратить ее, и их моральные принципы (например, этических и утилитарных). Как говорится, вы должны выбрать ваш сражений; каждый бой будет сказываться и некоторые сборы, возможно, не стоит платить за то, что они вам.
Лично я считаю, что если вы собираетесь опубликовать то, что может уничтожить человечество, или в конечном итоге с кого-то потом убили всех означает, что вы должны сделать жертву, чтобы предотвратить его (если вы можете сделать что-то). С другой стороны, если ток 'минус' результатов, которые вы видите-это неэтично (некоторые/большинство авторов существующих норм), меняя фокус бумаги (что 5 человек будут читать на самом деле), чтобы посмотреть на одну значимую связь (например, возраст и соотношение с частотой велоспорт), а не другой планировалось ранее отношения (например, пол и корреляции частоты велоспорт), которые оказались не существенными, и новый результат является либо (I) вы будете уволены и в статье, опубликованной без вас, или (II) не будут опубликованы, и никто не сможет извлечь пользу из знания о значимых отношениях, которые вы нашли, то я больше убеждаюсь в том, что активизм-это не путь (на данном этапе во всяком случае).
И да, я признаю, что мои доводы здесь ущербные упрощений, что это очень сложная реальность, но я надеюсь, вы можете понять мое общее смысл и подумать.