안녕하세요, 저는 현재 회사에서 명문공대와 같이 공동연구를 하고 있습니다. 이집트에서 온 연구자와 같이 일을 하고 있는데, 이 친구가 얼마전에 낸 논문을 베이스로 연구를 하고 있습니다. 이 친구의 논문 그림을 보면, 너무나 깨끗하게 연구 결과가 나와 있습니다. 제 경험상 저희 연구는 피험자와 같이 실험을 하기 때문에, 그렇게 논문에서 말하고 싶은 메세지를 깨끗하게 그림에서 나타내기는 쉽지 않습니다.

그래서, 현재 이 친구의 연구결과를 복원하고자 하고 있습니다. 그런데, 문제는 이 친구가 피험자들과 측정한 Raw 데이터에서 상당히 추려서, 논문에 실었다는것입니다. 평균 절반 이상의 데이터는 사용을 안 했고, 피험자에 따라서는 20%, 혹은 30%의 데이터 만을 사용을 했습니다. 저는 논문을 쓰면서 이렇게 데이터를 추려서 사용한적이 없어서 당황 스럽네요.

이렇게 자기가 원하는 답을 주는 데이터만을 사용을 해서, 논문을 쓰는것에 대하여 여러분들의 의견은 어떠신지요?

당연히 조작된 논문입니다.
합리적인 기준이 없이 원하는 결과에 부합하는 데이터만 사용하면 조작된 논문이죠.
피어리뷰를 어떻게 통과했는지 모르겠지만, 아마도 교수도 알면서 조작에 동참한 것이겠지요.

조직내에서 공론화 하십시요. 원글분이 재현 못하는 거에 대해서 능력 부족으로 몰아갈 수 있습니다. fata sampling했다는 걸 그룹 내에 공유하고 필요하다며누일을 대시작 해야할 듯합니다

논문에 데이터를 추려서 했다고 명시하지 않았으면 확률을 완전 조작한간데 이건 사기임..

이래서 논문 보기가 싫어짐. 섹시한 결론을 말하기위한 데이터 장난질

제 경험으로는 다시 재현이 안 되는 논문들이 엄청 많을것 같습니다. 아카데미아에 잡놈들이 많습니다.

그걸 보고 조작이라고 하지 않나요 ㅋㅋㅋ

데이타를 추려서 논문작성하면 당연히 조작이지요. 답을 미리 정해놓고 거기에 쏘쓰를 끼워 맞췄다는건데, 이런식으로 하면 태양이 지구 주위를 돈다고 결론낼수도 있고, 지구가 평평하다는 논문발표도 할수있죠.

원하는 답이 이미정해졌고 그 결과를 얻으려고 추렸다면 조작이지만
답을 보지 않은상태에서 어떤 이유에서 추려 그 결과과 나왔다면 조작은 아니지요.
여러 이유가 있겠지만 데이타 클리닝이라던지 미싱밸류 때문에 샘플을 안썼던지 이유가 있겠지요.

data를 예쁘게 보이기 위해서, 또는 주장하는 바를 보이기 위해서 데이터 분석을 그런식으로 하거나 그래프를 그리는 일은 비일비제한 일입니다. 그러나 데이터에 일부만 사용(그것도 20-30%만)하는건 명백한 사기죠. 이 논문은 withdraw 해야 합니다.

그런데 ‘피험자들과 측정한 Raw 데이터에서 상당히 추려서, 논문에 실었다는것입니다. 평균 절반 이상의 데이터는 사용을 안 했고, 피험자에 따라서는 20%, 혹은 30%의 데이터 만을 사용을 했습니다’ 이걸 어떻게 아셨나요? 그 친구가 님에게 raw data를 주진 않았을것 같은데. 님이 측정한 data와 비교해보니 님에 data에 제일 잘나온 20%만 써야 그렇게 깨끗한 그림이 나온다. 이런말씀이신지?

네, 그렇습니다. 우리가 가지고 있는 모든 raw 데이터를 사용하면, 절대로 논문에 실린것과 같이 아름다운 그림이 안 나옵니다. 하지만, 데이터를 선택적으로 사용해 보니, 논문에 나온 그림과 같이 아름다운 그림이 나오더군요.

그래서, 이 친구에서 그림을 그릴 때, 사용했던 코드를 공유해 줄것을 요청했습니다. 하지만, 코드 공유를 하지 않고 있고, 저에게 이런 방법으로 그려 보라고만 하고 있습니다. 가장 좋은 방법은 그 친구가 코드를 공유해서, 모든 데이터를 사용해서 논문에 실은 것과 같이 아름다운 그림을 재현하는것 입니다. 저도 그것을 바라고 있습니다. 하지만, 왜 그친구는 코드 공유를 하지 않을 까요? 참고로, 이 그림그리는 코드는 엄청난 코드도 아닙니다. 누구나 쉽게 만들 수 있는 코드라서, 제가 더 의문이 생기네요.

‘가지고 있는 모든 raw 데이터를 사용하면, 절대로 논문에 실린것과 같이 아름다운 그림이 안 나옵니다’

논문 저자에게 직접 이걸 말해보셨는지요? 다른 데이타를 사용해보니까 당신이 주장하는 그림이 안나온다고.

물론 데이터를 사용해서, 그런 그림이 안 나온다고 말했습니다. 그러자 그 친구는 이러 이러한 방법으로 하라고 말로만 가르쳐 주네요. 코드를 요청해도 무시하고 있구요. 여러가지로 냄새가 나는 부분이 많이 있습니다.

이런 친구들을 보니, 갑자기 제가 연구하기 싫어지네요.

친구의 말대로 해보시고, 안되면 보고하시죠.

좆카데미아, 그리고 그에 기생하는 교수들, 그리고 교수라면 그냥 물고 빨아주며 한자리 차지해보겠다는 인간들. 이게 학계의 현실.

그 친구 시키는데로 다 했습니다. 하지만, 그 친구가 만든 그림처럼 아름다운 그림을 없었습니다. 상식적으로 제 경험상 생각을 해봐도 그렇게 논문의 키포인트와 딱 맞는 그림을 아름답게 그리는것은 현실세계 데이터로는 불가능해 보입니다. 그래서, 제가 고민을 하고 있습니다. 제 보스와 상의를 해야 할것 같습니다.

학교와 회사가 공동연구일때, 보통 회사가 프로젝트 스폰합니다. 돈을 대죠…즉 갑입니다.
코드를 요청하세요, 강하게. 그걸 원한다면.

네, 맞습니다. 회사가 스폰합니다. 그리고, 회사가 갑이지요. 그 친구가 만든 코드를 돌려서, 논문의 그림이 나오면 해결이 될 문제입니다. 하지만, 그 친구가 데이터를 manually 처리했다는 둥, 좀 이상한 말들을 해서 이해가 가질 않습니다. 연구자의 주관적인 개입이 들어가 여지를 만드는 느낌이 들어서요.

보통 논문조작을 할 때는, 이와 같이 연구자의 주관이 개입할 수 있는 여지를 열어둡니다. 예를 들어, 데이터 질이 안 좋다 혹은 노이즈가 많다, 등등… 연구자가 원하는 데이터만 선택할 수 있는 여지를 두지요. 그리고, 이러한 조건에서 연구 조작도 일어날 수 있다고 생각을 합니다.

제가 원하는것은 전체 데이터를 사용해서 그 친구 코드로 한번 돌려 보는것입니다. 제 경험상 전체 데이터를 넣었을 때, 그렇게 논문 스토리와 딱 맞는 그림은 안 나올 확률이 아주 높습니다. 제가 그 친구 였다면, 코드를 공유했을것 같습니다. 하여간, 그 친구의 심리 상태를 이해할 수 없네요. 보스와 상의를 좀 더 깊이 해야 겠습니다.

이런건 예민한거라 더이상 직접 그친구한테 얘기하지마시고 보스한테만 얘기해보세요.
후 이런거에 선입견이 생기면 안되지만 마이너리티로 먹고온듯한 주변의 나라의 연구자들중 제대로 하는사람 못봄. 화이팅요

결론이 동일하지만 plot을 이쁘게 하기 위한거면 sampling 언급을 하고 넘어갈 수도 있을 것 같지만
결론이 바뀌는 data sampling 을 한거라면 당연히 manipulation 이죠.
화살을 여기저기 갈겨놓고 과녁에 들어간 화살만 보여주는식

대화내용을 이매일로 남겨두시고
이메일에 보스나 몇 관련자들을 포함해서 공론화시켜 접근해 보셔야할 것 같습니다.

쓰레기입니다 논문 아닙니다.

연구자의 윤리강령을 위반한 거 아니에요?
Reproductivity 못하는 논문은 윗분 말씀대로 쓰레기입니다.
후발 연구자가, 논문을 재현할 수 있도록, 방법론을에 자세히 쓰도록 나와있는데