Naštelovana istraživanja vs nauka

[voodoo_]

https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/27/trouble-in-science-massive-effort-to-reproduce-100-experimental-results-succeeds-only-36-times/

Quote

Maverick researchers have long argued that much of what gets published in elite scientific journals is fundamentally squishy — that the results tell a great story but can’t be reproduced when the experiments are run a second time.

Now a volunteer army of fact-checkers has published a new report that affirms that the skepticism was warranted. Over the course of four years, 270 researchers attempted to reproduce the results of 100 experiments that had been published in three prestigious psychology journals.

http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Quote

More than 70% of researchers have tried and failed to reproduce another scientist's experiments, and more than half have failed to reproduce their own experiments. Those are some of the telling figures that emerged from Nature's survey of 1,576 researchers who took a brief online questionnaire on reproducibility in research.

http://www.sciencealert.com/80-of-the-data-in-chinese-clinical-trial-is-fabricated

Quote

A Chinese government investigation has revealed that more than 80 percent of the data used in clinical trials of new pharmaceutical drugs have been "fabricated".

The report uncovered fraudulent behaviour at almost every level, and showed that some pharmaceutical companies had hidden or deleted records of potentially adverse side effects, and tampered with data that didn't meet their desired outcomes.

 

[bolkonski]

U skladu s temom.

http://rsos.royalsocietypublishing.org/content/3/9/160384

[bolkonski]

Sve što nema smisla ili nije povezano sa diskusijom sam obrisao i biće obrisano.

Ovo je veoma aktuelna tema koja u ovom trenutku dobija na značaju i veoma, veoma je bitna. Zato, ko želi da se pravi pametan ili samo da hejtuje, može slobodno da se uzdrži.

[overkind]

Занимљива тема, морам да признам. Нисам чуо да постоји "масован" проблем овог типа.
Гледајући екперименте у области у којој ја радим, питао бих: "А ко може да понови експеримент?" Неке ствари које сам видео и којима сам читао раде људи после 20ак година (и више) бављења тиме. Квалитетно може да понови само неко ко је јако стручан, вешт или искусан. Таквих је мало, па ми се чини да питање поновљивости треба да се пита пажљиво. Не можеш тек тако да пробаш да поновиш екперимент, поготово не масовно, у стилу ајмо сада. А мени се чини да ентузијасти из првог поста баш то желе да раде. Као да немају друга посла. Ако би нека научна институција, озбиљна институција, ову причу спровела и контролисала имало би више смисла.

Нисам прочитао све из првог поста, али има и питање како да тврдимо да је екперимент поновљен? Као инжењер по образовању био сам изненађен да видим да се рутински објављују резултати са јако великом стандардном варијацијом (у питању су екпериметни на унутрашњем уху - мерење осцилација или квантивиковање хемијских процеса у живим али и in vitro екпериментима). Ако мере неки угао или фазну разлику +-15 до чак 20 степени је нула, рецимо. То је грешка екперимента. Једном објављене податке нико и не узима за озбиљно, пре као једнан пример. Понављање се дешава, али да будемо сигурни да је нешто заиста тако треба јако пуно времена. Ово зависи и од области којом се баве.

С друге стране ја се бавим нумеричким симулацијама, па понављање није проблем: дамо изворни код. Неки часописи чак изричито захтевају да се код/модел објави у целости. Нема тајне.

Свашта сам нешто поменуо, знам, па да видимо куда иде даље :)

[bolkonski]

Ne znam da li si pročitao onaj moj link, to je rad, ali je dovoljno da se pročita apstrakt pa da se zaključi o čemu je reč (a onda možeš detaljnije ako te intresuje). Problem je u sistemu napredovanja u formalnim strukturama (fakulteti, naučne institucije) koji je sada eksplodirao. Zna se za taj problem odavno i mnogi ozbiljni ljudi su ukazivali na to, ali kao i uvek dok se ne pređe određeni prag tolerancije opšta javnost za to ne zna. I sada se postavljaju mnoga pitanja, ne samo u vezi sa ponovljivošću eksperimenata nego i sa kvalitetom radova koji se objavljuju i uopšte gledano korupcijom u nauci.

Jedan od glavnih postulata nauke jeste mogućnost ponavljanja ekseprimenta, baš iz razloga koji si ti naveo (da nije jedan slučaj, nego zakonitost). To šta pričaju ljudi za kompom: "mi hoćemo" nije važno ako ozbiljna laboratorija ne može da ponovi eksperiment druge izbiljne laboratorije.

Međutim, ja i dalje mislim da je problem u sistemu koji te tera da objaviš rad ili gubiš poziciju. Možda mi to ne možemo da shvatimo, ali kada je ogroman novac u pitanju onda on mora da bude opravdan. Nije problem ni u vrhunskim naučnicima, nego, kao i u svemu, običnim naučnicima koji bi da zarade za lebac, a sistem ih tera da daju nešto što objektivno ne mogu i onda štancaju besmislice. Dosta to zavisi i o nauke o kojoj govorimo i naravno da je u "mekim" lakše i napraviti grešku i lažirati, ali to ne znači da ne možeš i u tzv. "tvrdim" naukama to isto da radiš. Jer ako tvoj rad primaju vrhunski časopisi (od čijih poena direktno zavisi tvoja pozicija) ko će u stvari da te kontroliše?

Kako časopis kontroliše? Veoma jednostavno, časopis dobije rad i on se prosleđuje anonimnom ekspertu iz te oblasti na recenziju. Deluje veoma jasno i prirodno, međutim, sigurno postoji milion i jedna falinka takvog pristupa. Nikada nije problem kada je odličan rad i odličan recenzent, ili samo odličan rezenzent, ali šta je u ostalim slučajevima? U "mekim" naukama treba oko šest meseci do godinu dana da prođe od kad si poslao rad na recenziju. Za "tvrde" je nešto kraće. Itd.

Ima tu mnogo faktora, ali da sistem koji danas proizvodi radove mora da se menja, mislim da tu nema govora. Ovo što se tiče ponovljivosti je samo deo toga i krize nauke koju sada počinjemo formalno da priznajemo. I samo da napomenem, nije nauka u krizi, nego su svi ostali/spoljni faktori u krizi i logično za sobom vuku i ono šta je dobro.

[Bliss]

To je logican sledeci korak u hiperprodukciji kadrova. 

Nabasao sam na ovaj veoma pitak ali informativan video pre mesec dana, relevantan je:

 

 

[overkind]

Признајем да јутрос када сам писао пост нисам детаљније прочитао, али сада јесам.

Слажем се, хиперпродукција није добра. Амери мање-више јавно кажу "Publish or perish", није то никаква тајна. Притисак с једне стране срозава квалитет, а с друге даје предност људима који раде за "џинове" у облсти, или угледне лабоараторије, шлепајући се уз туђу славу. За сталну позицију, "tenure", ти треба лова коју мораш да донесеш универзитету, да произведеш, буквано произведеш, одређен, али не и унапред одређен, број радова, и да се надаш најбољем. То је неких 5 до чак и 10 година пакла. Ништа од овога није тајна, на жалост.

Индиректно везано за тему, ниједан угледни Амерички универзитет неће да објави просечну оцену којом студенти дипломирају. Ни под тачком разно. Чак и када се то питање експлицитно постави, нема одговора. Скоро сам набасао на чланак, не научни рад, где аутор констатује да сви мање-више знају да се просечна оцена повећала током последњих пар деценија, и то добрано. Значи ли то да су деца/студенти паметнија, или да им се попушта? Лично сам чуо и видео скалирање на делу, типа најбољи рад је "А" остало се равна према томе. Лично сам био критикован да се програм који пуца у првом реду, буквално, не оцењује нулом него се предано чита даље и тражи све што је ОК, иако је јасно да студента боли ђока да макар једном покрене код на склепао. Лично помагао завршној години машинства којој није баш најјасније како да реши једноставну диф. једначину.

И једно и друго имају,по мени, корен у пословном (капиталистичком) приступу науци и образовању. Не можеш да обараш клинце који плаћају баснословне школарине. Где сам ја, школарина за основне студије је око $40,000 - $50,000 по семестру. На то додај стан, храну ... Негде сам чуо податак да, слагаћу мало, 70% клинаца дипломира са дугом, а од тог броја неких 40-ак % враћа дуг после студија. Упркос систему где те станло неко јаше да нешто радиш, предајеш неке семинарске и чуда ти имаш само један термин за испит, а платио си грдне паре са цео циркус. Проћи ћеш ако ниси дебил.

У последњих десетак година укупна колична лове са истраживачке стипедије "grants" је јако опала, и јако јако је зајебано да добијеш ту лову. А од тога ти зависи и запослење и останак на послу. Све заједно води до пада у квалитету рада. Јуре се паре, а не "квалитетна" наука.

[bolkonski]

Prošle godine (specijalno, piše se o tome već dosta dugo, mislim na pisanje ozbiljnih faca) je bilo mnogo pisanja na temu univerziteta u Americi i glavno pitanje je bilo da li su to klasične profitabilne firme ili institucije koje treba da pruže znanje. Možda je čak neko ovde i okačio nešto na tu temu. Naravno zaključci su porazni u baš to što kažeš, studenti plaćaju i moraju da završe. Kriterijumi više nemaju veze s vezom. Profesori koji su "strogi" prolaze loše, čak se nekim ozbiljnim facama nameštaju slučajevi (ima toga baš dosta) mobinga i slično.

Mene ne pogađa to što ljude puštaš na osnovnim studijama, jer, objektivno, osnovne studije više nisu ni približno po značaju šta su nekada bile, to su sada masteri, mada je i to pitanje. Ako neko hoće da radi, neka radi što pre, to je uostalom i cilj. Problem je u doktorskim, posdoktorskim i ostalim naučnim radovima, jer bi do tog trenutka trebalo da se isfiltrira dovoljno ljudi da ostanu samo nadprosečni (nadprosečni iz ukupne populacije), ali se to ne dešava, jer mora da se štanca, a čim može da se štanca onda u nauku idu ljudi kao što su nekad išli u vojsku, sigurna plata i dovoljna za pristojan život.

[manson]

Malo da podignem temu iz mrtvih, šta kažete za ovo? Doduše, ovaj put su izmedju ostalih farmaceutske kompanije oštećena strana 🙂 https://www.science.org/content/article/potential-fabrication-research-images-threatens-key-theory-alzheimers-disease

 

Slika i prilika današnjeg svega.

tldr

Lika, koji je stručnjak u polju, kontaktira advokat koji zastupa dvojica neuronaučnika sa željom da ospore istraživanje leka za Alchajmera koji se testira. Njih dvojica imaju short pozicije za akcije te kompanije koja pravi lek, pa ako propadne kompanija, oni zarade pare. I istraživanjem otkrivaju verovatno najveću prevaru poslednjih N decenija, a možda ikada. 15tak godina je cvetala industrija istraživanja i radova, svi bazirani na tom radu koji je izgleda falsifikat.

Pohlepa i egomanija (originalni autori koji su želeli slavu, budžet, nagrade) je proizvela "originalni" rad. Znanje zakazalo (peer reviews) i sve metastaziralo izgradnjom čitave industrije bez da iko zastane i zapita se zašto ne mogu da repliciraju rezultate (od kojih su neki i photoshopovani).

I na kraju, pohlepa i ruši celu kulu od karata, zato što su ova dvojica hteli da profitiraju kad prsne kompanija na berzi.

Da kažemo da je sreća u nesreći što je oštećena strana farmaceutska industrija, pa će verovatno biti nešto od ovoga. Ali, verovatno će doći samo do nekog settlementa, nešto u fazonu farma kaže "ovoliko štete ste nam napravili $, ovoliko da platite $$$ i ovo su troškovi advokata $$$.

[Sting]

Kakvi carevi jebote. To je u stvari mehanizam ispravke u kapitalizmu, šort kada znaš da je nešto bulšit. Samo jebeni sudovi stoje na putu toga...

[absolute]

Posle Dule.....

[Sting]

Pusti da sanjamo malo jbg 😄

[Dule_smor]

27 minutes ago, absolute said:

Posle Dule.....

 

ma ne, slusajte vi samo Zwerka i ostale poslusne gradjane vrlog novog sveta heh

[Lucky]

On 7/22/2022 at 2:17 PM, manson said:

Malo da podignem temu iz mrtvih, šta kažete za ovo? Doduše, ovaj put su izmedju ostalih farmaceutske kompanije oštećena strana 🙂 https://www.science.org/content/article/potential-fabrication-research-images-threatens-key-theory-alzheimers-disease

 

Slika i prilika današnjeg svega.

tldr

Lika, koji je stručnjak u polju, kontaktira advokat koji zastupa dvojica neuronaučnika sa željom da ospore istraživanje leka za Alchajmera koji se testira. Njih dvojica imaju short pozicije za akcije te kompanije koja pravi lek, pa ako propadne kompanija, oni zarade pare. I istraživanjem otkrivaju verovatno najveću prevaru poslednjih N decenija, a možda ikada. 15tak godina je cvetala industrija istraživanja i radova, svi bazirani na tom radu koji je izgleda falsifikat.

Pohlepa i egomanija (originalni autori koji su želeli slavu, budžet, nagrade) je proizvela "originalni" rad. Znanje zakazalo (peer reviews) i sve metastaziralo izgradnjom čitave industrije bez da iko zastane i zapita se zašto ne mogu da repliciraju rezultate (od kojih su neki i photoshopovani).

I na kraju, pohlepa i ruši celu kulu od karata, zato što su ova dvojica hteli da profitiraju kad prsne kompanija na berzi.

Da kažemo da je sreća u nesreći što je oštećena strana farmaceutska industrija, pa će verovatno biti nešto od ovoga. Ali, verovatno će doći samo do nekog settlementa, nešto u fazonu farma kaže "ovoliko štete ste nam napravili $, ovoliko da platite $$$ i ovo su troškovi advokata $$$.

ovo kao sa onom caricom iz onog Teranosa ili kako se zvaše što je pokupila milijarde dolara i bila "žena godine" da bi se posle skapiralo da je sve fejkovala 🙂

[cali]

https://futurism.com/scientists-botching-research-machine-learning-they-dont-understand

[Lucky]

10 hours ago, Jose Jimenez said:

https://futurism.com/scientists-botching-research-machine-learning-they-dont-understand

ahahaha, pa ovo je vrh 🙂

podsetilo me na don't look up iz nekog razloga (bez obzira šta ko misli o filmu, nije to bitno :))

[manson]

heh https://edition.cnn.com/2024/01/22/business/harvard-dana-farber-cancer-institute-data-manipulation-claims/index.html

Quote

The Dana-Farber Cancer Institute, a prestigious Harvard teaching school, is moving to retract six studies and correct 31 others following allegations of data manipulation.

The steps by the Harvard Medical School affiliate come after a molecular biologist published a blog post earlier this month alleging researchers falsified data by manipulating images.