<div dir="ltr"><div>Hi Irina,</div><div><br></div><div>On the one hand, the smoothing can indeed influence the cluster size. On the other hand, the "type" of smoothing will influence how sensitive are you to detect the potential differences too. I would try to illustrate the reviewer the trade off between the type of differences you may have (transient vs sustained; regarding the temporal domain) and the filter type that can be more appropriate to detect the differences to justify your pipeline. I have no idea about the type of ERF you're studying but I hope the example is illustrative enough</div><div><br></div><div>Look at the attached screenshot. In the first column, I simulated a transient ERF with added noise (code below) and I ran the non-parametric cluster-based permutation test that showed some significant and discontinuous differences. The second column represents the same data but with a lowpass filter (40 Hz) and I find longer significant clusters. If you look at the filtered ERFs, the structure is very similar to the noisy, unfiltered version. The third column is what I understand is requested by the reviewer. Suddenly, no significant differences are found because the ground truth simulated difference was too short and weak to survive the 0.25ms averaging. In case of a long and sustained ERF, may be the three plots would had been more congruent.</div><div><br></div><div>I guess that the permutation part of the cluster-based nonparametric test will take into account the non-independecy in the data resulting from low-pass filtering. This non-independency will be the same for the original and the permuted surrogates.</div><div><br></div><div>I hope that helps!</div><div><br></div><div>Diego</div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">%---------------------------------</span></div><div><div><br></div><div>fsample = 600;</div><div>sigma = 0.5;</div><div>ferf = 6.0; </div><div>Aerf1 = -0.7;</div><div>Aerf2 = -0.2;</div><div>tau1 = 0.1;</div><div>tau2 = 0.05;</div><div>t = -0.8:1/fsample:0.8; </div><div>signoise = 0.2;</div><div>t0 = 0.05;</div><div>t0idx = nearest(t,t0);</div><div>ntrials = 100;</div><div><br></div><div>data1.label{1}='Oz';</div><div>data2.label{1}='Oz';</div><div><br></div><div>for k=1:ntrials;</div><div>  freq1 = normrnd(ferf,sigma);</div><div>  freq2 = normrnd(ferf,sigma);</div><div>  for tk = 1:size(t,2);</div><div>    phi1 = random('uniform',0,pi,1,1);</div><div>    phi2 = random('uniform',0,pi,1,1);</div><div>    if tk > t0idx;</div><div>      Serf1(1,tk) = Aerf2 * exp(1 - ((t(1,tk)-t0)/tau1)) * sin(2*pi*freq1*(t(1,tk)-t0)+phi1);</div><div>      Serf2(1,tk) = Aerf2 * exp(1 - ((t(1,tk)-t0)/tau2)) * sin(2*pi*freq2*(t(1,tk)-t0)+phi2);</div><div>    end</div><div>    Snoise1 = signoise.*randn(size(t));</div><div>    Snoise2 = signoise.*randn(size(t));</div><div>  end</div><div>  data1.trial{k}(1,:) = Serf1 + Snoise1;</div><div>  data1.time{k} = t;</div><div>  data2.trial{k}(1,:) = Serf2 + Snoise2;</div><div>  data2.time{k} = t;</div><div>end</div><div><br></div><div>cfg = [];</div><div>cfg.keeptrials = 'yes';</div><div>timelock1 = ft_timelockanalysis(cfg, data1);</div><div>timelock2 = ft_timelockanalysis(cfg, data2);</div><div><br></div><div>diff = timelock1;</div><div>diff.avg = timelock1.avg-timelock2.avg;</div><div><br></div><div>figure;plot(t,[timelock1.avg' timelock2.avg' diff.avg']);</div><div>legend('condition 1', 'condition 2', 'difference');</div><div><br></div><div>cfg = [];</div><div>cfg.design = [ 1*ones(1,ntrials) 2*ones(1,ntrials) ];</div><div>cfg.ivar = 1;</div><div>cfg.method = 'montecarlo';</div><div>cfg.statistic = 'indepsamplesT';</div><div>cfg.correctm = 'cluster';</div><div>cfg.numrandomization = 5000;</div><div>stat = ft_timelockstatistics(cfg, timelock1, timelock2);</div><div><br></div><div>figure;</div><div>subplot(4,1,1); plot(stat.time, stat.stat); ylabel('t-value');</div><div>title('raw data: unfiltered')</div><div>subplot(4,1,2); plot(diff.time, diff.avg); ylabel('avg1-avg2 (uV)');</div><div>subplot(4,1,3); semilogy(stat.time, stat.prob); ylabel('prob'); </div><div>subplot(4,1,4); plot(stat.time, stat.mask); ylabel('significant'); </div><div><br></div><div><br></div><div>%% low pass 40 Hz</div><div>cfg          = [];</div><div>cfg.lpfilter = 'yes';</div><div>cfg.lpfreq   = 40;</div><div>data1_lp40   = ft_preprocessing(cfg, data1);</div><div>data2_lp40   = ft_preprocessing(cfg, data2);</div><div><br></div><div>cfg = [];</div><div>cfg.keeptrials = 'yes';</div><div>timelock1 = ft_timelockanalysis(cfg, data1_lp40);</div><div>timelock2 = ft_timelockanalysis(cfg, data2_lp40);</div><div><br></div><div>diff = timelock1;</div><div>diff.avg = timelock1.avg-timelock2.avg;</div><div><br></div><div>figure;plot(t,[timelock1.avg' timelock2.avg' diff.avg']);</div><div><br></div><div><br></div><div>cfg = [];</div><div>cfg.design = [ 1*ones(1,ntrials) 2*ones(1,ntrials) ];</div><div>cfg.ivar = 1;</div><div>cfg.method = 'montecarlo';</div><div>cfg.statistic = 'indepsamplesT';</div><div>cfg.correctm = 'cluster';</div><div>cfg.numrandomization = 5000;</div><div>stat = ft_timelockstatistics(cfg, timelock1, timelock2);</div><div><br></div><div>figure;</div><div>subplot(4,1,1); plot(stat.time, stat.stat); ylabel('t-value');</div><div>title('lowpass filtering 40Hz')</div><div>subplot(4,1,2); plot(diff.time, diff.avg); ylabel('avg1-avg2 (uV)');</div><div>subplot(4,1,3); semilogy(stat.time, stat.prob); ylabel('prob'); </div><div>subplot(4,1,4); plot(stat.time, stat.mask); ylabel('significant'); </div><div><br></div><div><br></div><div>%% boxcar 0.25ms</div><div>cfg = [];</div><div>cfg.boxcar = 0.25;</div><div>data1_box   = ft_preprocessing(cfg, data1);</div><div>data2_box   = ft_preprocessing(cfg, data2);</div><div><br></div><div>cfg = [];</div><div>cfg.keeptrials = 'yes';</div><div>timelock1 = ft_timelockanalysis(cfg, data1_box);</div><div>timelock2 = ft_timelockanalysis(cfg, data2_box);</div><div><br></div><div>diff = timelock1;</div><div>diff.avg = timelock1.avg-timelock2.avg;</div><div><br></div><div>figure;plot(t,[timelock1.avg' timelock2.avg' diff.avg']);</div><div><br></div><div>cfg = [];</div><div>cfg.design = [ 1*ones(1,ntrials) 2*ones(1,ntrials) ];</div><div>cfg.ivar = 1;</div><div>cfg.method = 'montecarlo';</div><div>cfg.statistic = 'indepsamplesT';</div><div>cfg.correctm = 'cluster';</div><div>cfg.numrandomization = 5000;</div><div>stat = ft_timelockstatistics(cfg, timelock1, timelock2);</div><div><br></div><div>figure;</div><div>subplot(4,1,1); plot(stat.time, stat.stat); ylabel('t-value');</div><div>title('boxcar filter 0.25s')</div><div>subplot(4,1,2); plot(diff.time, diff.avg); ylabel('avg1-avg2 (uV)');</div><div>subplot(4,1,3); semilogy(stat.time, stat.prob); ylabel('prob'); </div><div>subplot(4,1,4); plot(stat.time, stat.mask); ylabel('significant'); </div><div><br></div></div><div><br></div><div><br></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On 26 June 2018 at 17:16, Simanova, I. (Irina) <span dir="ltr"><<a href="mailto:i.simanova@donders.ru.nl" target="_blank">i.simanova@donders.ru.nl</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div style="word-wrap:break-word">
<div style="white-space:pre-wrap;background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
<span style="font-variant-ligatures:normal;vertical-align:baseline;white-space:pre-wrap">Dear experts,</span></div>
<div style="white-space:pre-wrap;background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
<span style="font-variant-ligatures:normal;vertical-align:baseline;white-space:pre-wrap"><br>
</span></div>
<div style="background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
<span style="white-space:pre-wrap;font-variant-ligatures:normal;vertical-align:baseline">We recently submitted a paper where we use a cluster permutation analysis of ERFs (testing
 conditions <span style="color:rgb(34,34,34);font-family:sans-serif;font-variant-ligatures:normal;white-space:normal">
exchangeability)</span>. The EEG was sampled at 500 Hz and low-pass filtered at 40 Hz during preprocessing. One of the reviewers has indicated that u</span><span style="white-space:pre-wrap">sing this temporal resolution for the analysis seems unnecessary
 given the low-pass filter, which makes each time point not independent due to smoothing. He further asks: "</span><span style="white-space:pre-wrap">Do all key significant components replicate if the analysis is performed using a mean amplitude
 that is averaged for larger time bins (25 ms bins) instead of individual time points?"</span></div>
<div><br>
</div>
<div style="background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
I understand that when doing parametric analysis one might want to reduce the number of comparisons by averaging ERF samples over time bins. But here we solve the MCP with the cluster analysis. But it also seems like the reviewer is concerned about non-independecy
 in the data resulting from low-pass filtering. I wanted to check with you: can smoothing time-series indeed compromise the cluster-based analysis (e.g. affect the cluster size)?</div>
<div style="background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
<br>
</div>
<div style="background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
Thank you, </div>
<div style="background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
Kind regards, </div><span class="gmail-HOEnZb"><font color="#888888">
<div style="background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
Irina</div>
<div style="white-space:pre-wrap;background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
<br>
</div>
<div style="white-space:pre-wrap;background-color:rgb(255,255,255);line-height:1.38;margin-top:0pt;margin-bottom:0pt">
<br>
</div>
<div><span style="font-size:11pt;color:rgb(255,0,0);font-variant-ligatures:normal;vertical-align:baseline;white-space:pre-wrap"><br>
</span></div>
</font></span></div>

<br>______________________________<wbr>_________________<br>
fieldtrip mailing list<br>
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" rel="noreferrer" target="_blank">https://mailman.science.ru.nl/<wbr>mailman/listinfo/fieldtrip</a><br>
<a href="https://doi.org/10.1371/journal.pcbi.1002202" rel="noreferrer" target="_blank">https://doi.org/10.1371/<wbr>journal.pcbi.1002202</a><br></blockquote></div><br></div></div>