<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">---------- Forwarded message ---------<br>From: <strong class="gmail_sendername" dir="auto">Howard Bowman</strong> <span dir="ltr"><<a href="mailto:H.Bowman@kent.ac.uk">H.Bowman@kent.ac.uk</a>></span><br>Date: Thu, Apr 11, 2019 at 9:24 PM<br>Subject: RE: [FieldTrip] a case of double dipping (circular analysis) ???<br>To: Vladimir Litvak <<a href="mailto:litvak.vladimir@gmail.com">litvak.vladimir@gmail.com</a>>, FieldTrip discussion list <<a href="mailto:fieldtrip@science.ru.nl">fieldtrip@science.ru.nl</a>><br></div><br><br><div lang="EN-GB" link="blue" vlink="purple"><div class="m_8547496412586527989WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Hi Vladimir: Thanks for copying me in.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Hi Yair: from your explanation of your analysis, it does also sound to me that you have a double-dipping bias in your analysis. As Vladimir indicates, I have been working through some of the maths on this, but you do not actually need to go that far. The bias (which inflates the false positive/ type I error rate) is easy to demonstrate by simulating the null. I have enclosed our first paper on this, which was published in 2017. Where I would say our paper goes beyond the Kriegeskorte et al Double Dipping paper is the issue that Vladimir highlighted about imbalances of trial counts across conditions, which is the norm in EEG and MEG experiments, for reasons such as artefact rejection.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">As Vladimir said, the approach we advocate is to aggregate your data across conditions and search for a window in that. This is bias free, but in the context of trial count asymmetries, only if you aggregate your data in a fashion that ensures that every trail in every condition counts equally in the aggregated average – that is our Aggregated Average of Trials. When we were first looking at this, I think I even put a bet down that this aggregation at the trial level *<b>would</b>* be biased, but it turns out it is not and it is the right approach. This is shown in simulation in Brooks et al, Psychophysiology, 2017; see figures 2 and 3.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">We also now have a mathematical proof of this bias-freeness, but that paper, which Vladimir is involved with, is still on my “to submit” stack. [If not this weekend, then I’ll certainly get it in next, Vladimir.]<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">I suspect the simulation results will be enough for you Yair, but if you want to see the mathematical details, let me know.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Good luck with your analysis.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Howard<u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">--------------------------------------------</span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">Professor Howard Bowman (PhD)</span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">Professor of Cognition & Logic in CS at Uni Kent, and Professor of Cognitive Neuroscience in Psychology at Uni Birmingham</span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">Centre for Cognitive Neuroscience and Cognitive Systems and the School of Computing, University of Kent at Canterbury, Canterbury, Kent, CT2 7NF, United Kingdom</span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">email: </span><a href="mailto:H.Bowman@kent.ac.uk" target="_blank"><span style="font-size:11.0pt;font-family:"Courier New"">H.Bowman@kent.ac.uk</span></a><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">WWW: </span><a href="http://www.cs.kent.ac.uk/people/staff/hb5/" target="_blank"><span style="font-size:11.0pt;font-family:"Courier New"">http://www.cs.kent.ac.uk/people/staff/hb5/</span></a><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d"> </span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">School of Psychology</span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">,<u></u><u></u></span></p><p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Courier New";color:#1f497d">University of Birmingham, Edgbaston, Birmingham B15 2TT</span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Vladimir Litvak <<a href="mailto:litvak.vladimir@gmail.com" target="_blank">litvak.vladimir@gmail.com</a>> <br><b>Sent:</b> 11 April 2019 10:34<br><b>To:</b> FieldTrip discussion list <<a href="mailto:fieldtrip@science.ru.nl" target="_blank">fieldtrip@science.ru.nl</a>>; H.Bowman <<a href="mailto:H.Bowman@kent.ac.uk" target="_blank">H.Bowman@kent.ac.uk</a>><br><b>Subject:</b> Re: [FieldTrip] a case of double dipping (circular analysis) ???<u></u><u></u></span></p><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">Dear Yair,<u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">There is double dipping in the way you select your SOI because once you have already established that there is an effect in the time window you are averaging over, your second test no longer controls for false positives at the level you set. This should not be critical because this ROI identification is separate from your main test for the effect of interest, but I would understand why the reviewer is not completely comfortable with that. If you can do a cluster-based test over both time and sensors and then average over the cluster, it'd be more elegant<u></u><u></u></p></div><div><p class="MsoNormal">. <u></u><u></u></p></div><div><p class="MsoNormal">Regarding your main test, there is a subtle point that could make a difference. It's whether you first computed averages for each condition and then averaged the averages or you just pooled trials across all conditions and averaged for your ROI identification. If the numbers of trials in conditions A, B and C are equal then the two procedures are equivalent and you should not worry. But if the numbers are unequal, this can lead to bias. This is discussed in the Kriegeskorte paper but not in a very explicit way, Intuitively, you cannot introduce a bias if your ROI test is completely uninformed by what the conditions are (the pooling case) but if you 'inject' some information about conditions by computing separate averages first it could possibly be problematic. My colleague Howard Bowman (CCed) has been working on a paper explaining this point but it is not yet published. He might be able to share the draft with you.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">So to sum up, my recommendation would be to pool all the trials first across A.B.C, do a test across both time and sensors and then compare conditions with respect to the average in the identified cluster.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Best,<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Vladimir<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">On Wed, Apr 10, 2019 at 7:19 PM Yair Dor-Ziderman <<a href="mailto:yairem@gmail.com" target="_blank">yairem@gmail.com</a>> wrote:<u></u><u></u></p></div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0cm;margin-bottom:5.0pt"><div><p class="MsoNormal">Dear Fieldtrip users,<u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">I have just recieved a major revision request for a MEG analysis, with the concern that I was double dipping, citing (Kriegeskorte et al., 2009, Circular analysis in systems neuroscience - the dangers of double dipping, Nature neuroscience, 12(5), 535-540).<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">I ran a MEG visual MIsmatch Negativity experiment (n=24) with standard and deviant trials for, say, conditions A, B and C.<u></u><u></u></p></div><div><p class="MsoNormal">I conducted my analysis in three data-driven steps (all adequately corrected for multiple comparisons):<u></u><u></u></p></div><div><p class="MsoNormal">1) Over all conditions (A, B, and C), and over all sensors, but not over time, I compared the standard and  deviant trials to determine the time of interest (TOI, .when deviant trials deferred from standard trials).<u></u><u></u></p></div><div><p class="MsoNormal">2) Having found the TOI (~250-300 ms post stimulus presentation), I averaged over all conditions, and over the time-of-interest, but not over sensors, I performed a cluster-based permutation test to find the sensors exhibiting the effect (SOI, difference between standard and deviant trials)<u></u><u></u></p></div><div><p class="MsoNormal">3) Finally, for each subject, I averaged over the TOI and SOI, and separated the data into conditions.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">The reviewer argues that "The authors extracted time points and sensors that exhibited significant differences between standard and deviant trials, and subsequently analyzed this data under the null hypothesis of no effect. This seems like a case of circular analysis, or "double dipping""<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">To my modest understanding, standard and deviant are mathematically orthogonol to the study's conditions. However, I do have to say, that closely reading the paper cited above - it appears that even in such cases there may be concern for double dipping.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Has anyone encountered this problem? I this justified ?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Thanks,<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Yair<u></u><u></u></p></div></div><p class="MsoNormal">_______________________________________________<br>fieldtrip mailing list<br><a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" target="_blank">https://mailman.science.ru.nl/mailman/listinfo/fieldtrip</a><br><a href="https://doi.org/10.1371/journal.pcbi.1002202" target="_blank">https://doi.org/10.1371/journal.pcbi.1002202</a><u></u><u></u></p></blockquote></div></div></div></div></div>