Jump to content

Naštelovana istraživanja vs nauka


voodoo_

Recommended Posts

https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/27/trouble-in-science-massive-effort-to-reproduce-100-experimental-results-succeeds-only-36-times/

Quote

Maverick researchers have long argued that much of what gets published in elite scientific journals is fundamentally squishy — that the results tell a great story but can’t be reproduced when the experiments are run a second time.

Now a volunteer army of fact-checkers has published a new report that affirms that the skepticism was warranted. Over the course of four years, 270 researchers attempted to reproduce the results of 100 experiments that had been published in three prestigious psychology journals.

http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Quote

More than 70% of researchers have tried and failed to reproduce another scientist's experiments, and more than half have failed to reproduce their own experiments. Those are some of the telling figures that emerged from Nature's survey of 1,576 researchers who took a brief online questionnaire on reproducibility in research.

http://www.sciencealert.com/80-of-the-data-in-chinese-clinical-trial-is-fabricated

Quote

A Chinese government investigation has revealed that more than 80 percent of the data used in clinical trials of new pharmaceutical drugs have been "fabricated".

The report uncovered fraudulent behaviour at almost every level, and showed that some pharmaceutical companies had hidden or deleted records of potentially adverse side effects, and tampered with data that didn't meet their desired outcomes.

 

Link to comment
Share on other sites

Sve što nema smisla ili nije povezano sa diskusijom sam obrisao i biće obrisano.

Ovo je veoma aktuelna tema koja u ovom trenutku dobija na značaju i veoma, veoma je bitna. Zato, ko želi da se pravi pametan ili samo da hejtuje, može slobodno da se uzdrži.

-----------------

nema vise zezanja

A.B.

Link to comment
Share on other sites

Занимљива тема, морам да признам. Нисам чуо да постоји "масован" проблем овог типа.
Гледајући екперименте у области у којој ја радим, питао бих: "А ко може да понови експеримент?" Неке ствари које сам видео и којима сам читао раде људи после 20ак година (и више) бављења тиме. Квалитетно може да понови само неко ко је јако стручан, вешт или искусан. Таквих је мало, па ми се чини да питање поновљивости треба да се пита пажљиво. Не можеш тек тако да пробаш да поновиш екперимент, поготово не масовно, у стилу ајмо сада. А мени се чини да ентузијасти из првог поста баш то желе да раде. Као да немају друга посла. Ако би нека научна институција, озбиљна институција, ову причу спровела и контролисала имало би више смисла.

Нисам прочитао све из првог поста, али има и питање како да тврдимо да је екперимент поновљен? Као инжењер по образовању био сам изненађен да видим да се рутински објављују резултати са јако великом стандардном варијацијом (у питању су екпериметни на унутрашњем уху - мерење осцилација или квантивиковање хемијских процеса у живим али и in vitro екпериментима). Ако мере неки угао или фазну разлику +-15 до чак 20 степени је нула, рецимо. То је грешка екперимента. Једном објављене податке нико и не узима за озбиљно, пре као једнан пример. Понављање се дешава, али да будемо сигурни да је нешто заиста тако треба јако пуно времена. Ово зависи и од области којом се баве.

С друге стране ја се бавим нумеричким симулацијама, па понављање није проблем: дамо изворни код. Неки часописи чак изричито захтевају да се код/модел објави у целости. Нема тајне.

Свашта сам нешто поменуо, знам, па да видимо куда иде даље :)

...Од рођења спремна стоји, мене чека моја рака,
Да однесе све што имам у дубину у дубоку.

 

Link to comment
Share on other sites

Ne znam da li si pročitao onaj moj link, to je rad, ali je dovoljno da se pročita apstrakt pa da se zaključi o čemu je reč (a onda možeš detaljnije ako te intresuje). Problem je u sistemu napredovanja u formalnim strukturama (fakulteti, naučne institucije) koji je sada eksplodirao. Zna se za taj problem odavno i mnogi ozbiljni ljudi su ukazivali na to, ali kao i uvek dok se ne pređe određeni prag tolerancije opšta javnost za to ne zna. I sada se postavljaju mnoga pitanja, ne samo u vezi sa ponovljivošću eksperimenata nego i sa kvalitetom radova koji se objavljuju i uopšte gledano korupcijom u nauci.

Jedan od glavnih postulata nauke jeste mogućnost ponavljanja ekseprimenta, baš iz razloga koji si ti naveo (da nije jedan slučaj, nego zakonitost). To šta pričaju ljudi za kompom: "mi hoćemo" nije važno ako ozbiljna laboratorija ne može da ponovi eksperiment druge izbiljne laboratorije.

Međutim, ja i dalje mislim da je problem u sistemu koji te tera da objaviš rad ili gubiš poziciju. Možda mi to ne možemo da shvatimo, ali kada je ogroman novac u pitanju onda on mora da bude opravdan. Nije problem ni u vrhunskim naučnicima, nego, kao i u svemu, običnim naučnicima koji bi da zarade za lebac, a sistem ih tera da daju nešto što objektivno ne mogu i onda štancaju besmislice. Dosta to zavisi i o nauke o kojoj govorimo i naravno da je u "mekim" lakše i napraviti grešku i lažirati, ali to ne znači da ne možeš i u tzv. "tvrdim" naukama to isto da radiš. Jer ako tvoj rad primaju vrhunski časopisi (od čijih poena direktno zavisi tvoja pozicija) ko će u stvari da te kontroliše?

Kako časopis kontroliše? Veoma jednostavno, časopis dobije rad i on se prosleđuje anonimnom ekspertu iz te oblasti na recenziju. Deluje veoma jasno i prirodno, međutim, sigurno postoji milion i jedna falinka takvog pristupa. Nikada nije problem kada je odličan rad i odličan recenzent, ili samo odličan rezenzent, ali šta je u ostalim slučajevima? U "mekim" naukama treba oko šest meseci do godinu dana da prođe od kad si poslao rad na recenziju. Za "tvrde" je nešto kraće. Itd.

Ima tu mnogo faktora, ali da sistem koji danas proizvodi radove mora da se menja, mislim da tu nema govora. Ovo što se tiče ponovljivosti je samo deo toga i krize nauke koju sada počinjemo formalno da priznajemo. I samo da napomenem, nije nauka u krizi, nego su svi ostali/spoljni faktori u krizi i logično za sobom vuku i ono šta je dobro.

-----------------

nema vise zezanja

A.B.

Link to comment
Share on other sites

Признајем да јутрос када сам писао пост нисам детаљније прочитао, али сада јесам.

Слажем се, хиперпродукција није добра. Амери мање-више јавно кажу "Publish or perish", није то никаква тајна. Притисак с једне стране срозава квалитет, а с друге даје предност људима који раде за "џинове" у облсти, или угледне лабоараторије, шлепајући се уз туђу славу. За сталну позицију, "tenure", ти треба лова коју мораш да донесеш универзитету, да произведеш, буквано произведеш, одређен, али не и унапред одређен, број радова, и да се надаш најбољем. То је неких 5 до чак и 10 година пакла. Ништа од овога није тајна, на жалост.

Индиректно везано за тему, ниједан угледни Амерички универзитет неће да објави просечну оцену којом студенти дипломирају. Ни под тачком разно. Чак и када се то питање експлицитно постави, нема одговора. Скоро сам набасао на чланак, не научни рад, где аутор констатује да сви мање-више знају да се просечна оцена повећала током последњих пар деценија, и то добрано. Значи ли то да су деца/студенти паметнија, или да им се попушта? Лично сам чуо и видео скалирање на делу, типа најбољи рад је "А" остало се равна према томе. Лично сам био критикован да се програм који пуца у првом реду, буквално, не оцењује нулом него се предано чита даље и тражи све што је ОК, иако је јасно да студента боли ђока да макар једном покрене код на склепао. Лично помагао завршној години машинства којој није баш најјасније како да реши једноставну диф. једначину.

И једно и друго имају,по мени, корен у пословном (капиталистичком) приступу науци и образовању. Не можеш да обараш клинце који плаћају баснословне школарине. Где сам ја, школарина за основне студије је око $40,000 - $50,000 по семестру. На то додај стан, храну ... Негде сам чуо податак да, слагаћу мало, 70% клинаца дипломира са дугом, а од тог броја неких 40-ак % враћа дуг после студија. Упркос систему где те станло неко јаше да нешто радиш, предајеш неке семинарске и чуда ти имаш само један термин за испит, а платио си грдне паре са цео циркус. Проћи ћеш ако ниси дебил.

У последњих десетак година укупна колична лове са истраживачке стипедије "grants" је јако опала, и јако јако је зајебано да добијеш ту лову. А од тога ти зависи и запослење и останак на послу. Све заједно води до пада у квалитету рада. Јуре се паре, а не "квалитетна" наука.

...Од рођења спремна стоји, мене чека моја рака,
Да однесе све што имам у дубину у дубоку.

 

Link to comment
Share on other sites

Prošle godine (specijalno, piše se o tome već dosta dugo, mislim na pisanje ozbiljnih faca) je bilo mnogo pisanja na temu univerziteta u Americi i glavno pitanje je bilo da li su to klasične profitabilne firme ili institucije koje treba da pruže znanje. Možda je čak neko ovde i okačio nešto na tu temu. Naravno zaključci su porazni u baš to što kažeš, studenti plaćaju i moraju da završe. Kriterijumi više nemaju veze s vezom. Profesori koji su "strogi" prolaze loše, čak se nekim ozbiljnim facama nameštaju slučajevi (ima toga baš dosta) mobinga i slično.

Mene ne pogađa to što ljude puštaš na osnovnim studijama, jer, objektivno, osnovne studije više nisu ni približno po značaju šta su nekada bile, to su sada masteri, mada je i to pitanje. Ako neko hoće da radi, neka radi što pre, to je uostalom i cilj. Problem je u doktorskim, posdoktorskim i ostalim naučnim radovima, jer bi do tog trenutka trebalo da se isfiltrira dovoljno ljudi da ostanu samo nadprosečni (nadprosečni iz ukupne populacije), ali se to ne dešava, jer mora da se štanca, a čim može da se štanca onda u nauku idu ljudi kao što su nekad išli u vojsku, sigurna plata i dovoljna za pristojan život.

-----------------

nema vise zezanja

A.B.

Link to comment
Share on other sites

  • 5 years later...

Malo da podignem temu iz mrtvih, šta kažete za ovo? Doduše, ovaj put su izmedju ostalih farmaceutske kompanije oštećena strana 🙂 https://www.science.org/content/article/potential-fabrication-research-images-threatens-key-theory-alzheimers-disease

 

Slika i prilika današnjeg svega.

tldr

Lika, koji je stručnjak u polju, kontaktira advokat koji zastupa dvojica neuronaučnika sa željom da ospore istraživanje leka za Alchajmera koji se testira. Njih dvojica imaju short pozicije za akcije te kompanije koja pravi lek, pa ako propadne kompanija, oni zarade pare. I istraživanjem otkrivaju verovatno najveću prevaru poslednjih N decenija, a možda ikada. 15tak godina je cvetala industrija istraživanja i radova, svi bazirani na tom radu koji je izgleda falsifikat.

Pohlepa i egomanija (originalni autori koji su želeli slavu, budžet, nagrade) je proizvela "originalni" rad. Znanje zakazalo (peer reviews) i sve metastaziralo izgradnjom čitave industrije bez da iko zastane i zapita se zašto ne mogu da repliciraju rezultate (od kojih su neki i photoshopovani).

I na kraju, pohlepa i ruši celu kulu od karata, zato što su ova dvojica hteli da profitiraju kad prsne kompanija na berzi.

Da kažemo da je sreća u nesreći što je oštećena strana farmaceutska industrija, pa će verovatno biti nešto od ovoga. Ali, verovatno će doći samo do nekog settlementa, nešto u fazonu farma kaže "ovoliko štete ste nam napravili $, ovoliko da platite $$$ i ovo su troškovi advokata $$$.

  • Like +1 1
Link to comment
Share on other sites

Kakvi carevi jebote. To je u stvari mehanizam ispravke u kapitalizmu, šort kada znaš da je nešto bulšit. Samo jebeni sudovi stoje na putu toga...

  • Upvote (+1) 1

We must all fear evil men. But there is another kind of evil which we must fear most and that is the indifference of good men !

Link to comment
Share on other sites

On 7/22/2022 at 2:17 PM, manson said:

Malo da podignem temu iz mrtvih, šta kažete za ovo? Doduše, ovaj put su izmedju ostalih farmaceutske kompanije oštećena strana 🙂 https://www.science.org/content/article/potential-fabrication-research-images-threatens-key-theory-alzheimers-disease

 

Slika i prilika današnjeg svega.

tldr

Lika, koji je stručnjak u polju, kontaktira advokat koji zastupa dvojica neuronaučnika sa željom da ospore istraživanje leka za Alchajmera koji se testira. Njih dvojica imaju short pozicije za akcije te kompanije koja pravi lek, pa ako propadne kompanija, oni zarade pare. I istraživanjem otkrivaju verovatno najveću prevaru poslednjih N decenija, a možda ikada. 15tak godina je cvetala industrija istraživanja i radova, svi bazirani na tom radu koji je izgleda falsifikat.

Pohlepa i egomanija (originalni autori koji su želeli slavu, budžet, nagrade) je proizvela "originalni" rad. Znanje zakazalo (peer reviews) i sve metastaziralo izgradnjom čitave industrije bez da iko zastane i zapita se zašto ne mogu da repliciraju rezultate (od kojih su neki i photoshopovani).

I na kraju, pohlepa i ruši celu kulu od karata, zato što su ova dvojica hteli da profitiraju kad prsne kompanija na berzi.

Da kažemo da je sreća u nesreći što je oštećena strana farmaceutska industrija, pa će verovatno biti nešto od ovoga. Ali, verovatno će doći samo do nekog settlementa, nešto u fazonu farma kaže "ovoliko štete ste nam napravili $, ovoliko da platite $$$ i ovo su troškovi advokata $$$.

ovo kao sa onom caricom iz onog Teranosa ili kako se zvaše što je pokupila milijarde dolara i bila "žena godine" da bi se posle skapiralo da je sve fejkovala 🙂

Link to comment
Share on other sites

  • 4 weeks later...
  • 1 year later...

heh https://edition.cnn.com/2024/01/22/business/harvard-dana-farber-cancer-institute-data-manipulation-claims/index.html

Quote

The Dana-Farber Cancer Institute, a prestigious Harvard teaching school, is moving to retract six studies and correct 31 others following allegations of data manipulation.

The steps by the Harvard Medical School affiliate come after a molecular biologist published a blog post earlier this month alleging researchers falsified data by manipulating images.

 

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...