<div dir="ltr">Dear Stephen,<div><br></div><div>thank you so much for the clarification. Indeed, I only thought about how the number of channels/timepoints affects the "real" clusters, without considering the implications for permutations. Thank you again for your help, I really appreciate it.  <br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 17, 2017 at 12:49 PM, Stephen Politzer-Ahles <span dir="ltr"><<a href="mailto:politzerahless@gmail.com" target="_blank">politzerahless@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra">Dear Michele,<br><br></div><div class="gmail_extra">The general idea is, when you get a p-value out of the cluster test, it's evaluated against a permutation distribution---the 'real' cluster is getting compared against all the fake clusters that pop up when you shuffle the data randomly. Roughly speaking, when you analyze more timepoints and more channels, there's more chances for random nonsense clusters to pop up in each permutation of randomly shuffled data; thus, there's more chances to get random nonsense clusters that have a bigger test statistic than your real cluster. Since the p-value is just the proportion of random clusters that have a bigger test statistic than the real cluster, testing more timepoints and/or more channels means you might end up with a higher p-value.<br><br></div><div class="gmail_extra">Anyway, the selection of channels and time ranges has to be chosen <i>a priori</i>, not based on the data (choosing which window to analyze after you've seen where the effect is would be a non-independent / double-dipping analysis), so since you seem to have found a significant effect based on the samples you had identified a priori, I don't think you have to worry about the whole-head analysis.<br><br></div><div class="gmail_extra">Best,<br></div><div class="gmail_extra">Steve<br clear="all"></div><div class="gmail_extra"><div><div class="m_4531268836030067619gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div><span><div>---<br></div>Stephen Politzer-Ahles<br>The Hong Kong Polytechnic University<br>Department of Chinese and Bilingual Studies<br><a href="http://www.mypolyuweb.hk/~sjpolit/" target="_blank">http://www.mypolyuweb.hk/~<wbr>sjpolit/</a></span><a href="http://www.nyu.edu/projects/politzer-ahles/" target="_blank"></a></div></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Fri, Feb 17, 2017 at 7:00 PM,  <span dir="ltr"><<a href="mailto:fieldtrip-request@science.ru.nl" target="_blank">fieldtrip-request@science.ru.<wbr>nl</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Send fieldtrip mailing list submissions to<br>
        <a href="mailto:fieldtrip@science.ru.nl" target="_blank">fieldtrip@science.ru.nl</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" rel="noreferrer" target="_blank">https://mailman.science.ru.nl/<wbr>mailman/listinfo/fieldtrip</a><br>
or, via email, send a message with subject or body 'help' to<br>
        <a href="mailto:fieldtrip-request@science.ru.nl" target="_blank">fieldtrip-request@science.ru.n<wbr>l</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:fieldtrip-owner@science.ru.nl" target="_blank">fieldtrip-owner@science.ru.nl</a><br>
<br></blockquote><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Message: 3<br>
Date: Fri, 17 Feb 2017 10:33:52 +0100<br>
From: Michele Scaltritti <<a href="mailto:michele.scaltritti@gmail.com" target="_blank">michele.scaltritti@gmail.com</a>><br>
To: <a href="mailto:fieldtrip@science.ru.nl" target="_blank">fieldtrip@science.ru.nl</a><br>
Subject: [FieldTrip] time windows and number of channels in cluster<br>
        based   permutation tests<br>
Message-ID:<br>
        <CABGEo=<a href="mailto:TM-TGqh3bQubOD_29z-cxQ93grvXQHNMo70zqLcpjjEg@mail.gmail.com" target="_blank">TM-TGqh3bQubOD_29z-cxQ<wbr>93grvXQHNMo70zqLcpjjEg@mail.<wbr>gmail.com</a>><br>
Content-Type: text/plain; charset="utf-8"<div><div class="h5"><br>
<br>
Dear FieldTrip users,<br>
<br>
I have a rather general question regarding cluster-based permutation test.<br>
<br>
In the tutorial for Cluster-based permutation tests on event related<br>
fields, I read that sensitivity of the analysis depends on the length of<br>
the time interval that is analyzed. Elsewhere, I found a similar reasoning<br>
regarding channels, in the sense that it the exclusion of the sensors where<br>
no effect is likely to be present should yield a more sensitive analysis.<br>
<br>
In my experiment, I analyzed a limited set of central electrodes (where<br>
previous evidence suggests that the difference should be located) and found<br>
a significant positive cluster, and a (smaller) significant negative one.<br>
When doing the same analysis considering all the electrodes, no significant<br>
negative cluster is found, just a positive one. Among other things, this<br>
may reflect a different sensitivity as a function of the number of channels<br>
considered in the analysis. I explored a bit the different parameters (such<br>
as neighbors channels definition), but I did not identify the source of the<br>
difference between the analyses.<br>
<br>
Leaving aside my specific case, in more general terms I cannot understand<br>
how sensitivity is increased by focusing on a smaller time-windows, or on a<br>
specific set of electrodes. After all, the number of comparisons we make<br>
should not affect the number of samples surpassing the threshold, nor the<br>
clustering as a function of the spatial and temporal adjacency of these<br>
supra-theshold samples. I understand that the same cluster may vary when<br>
other samples are considered in the analyses (for example, samples from<br>
other electrodes may get included), but again, I am failing to see how this<br>
may be related to the sensitivity of the analysis. The cluster-level<br>
statistics, for example, should not be weakened by this.<br>
<br>
I apologize if this message underlies any gross misunderstanding.<br>
<br>
Michele Scaltritti<br></div></div>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL: <<a href="http://mailman.science.ru.nl/pipermail/fieldtrip/attachments/20170217/c376010b/attachment-0001.html" rel="noreferrer" target="_blank">http://mailman.science.ru.nl/<wbr>pipermail/fieldtrip/attachment<wbr>s/20170217/c376010b/attachment<wbr>-0001.html</a>><br>
<br>
------------------------------<br>
<br>
______________________________<wbr>_________________<br>
fieldtrip mailing list<br>
<a href="mailto:fieldtrip@donders.ru.nl" target="_blank">fieldtrip@donders.ru.nl</a><br>
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" rel="noreferrer" target="_blank">https://mailman.science.ru.nl/<wbr>mailman/listinfo/fieldtrip</a><br>
<br>
End of fieldtrip Digest, Vol 75, Issue 19<br>
******************************<wbr>***********<br>
</blockquote></div><br></div></div>
<br>______________________________<wbr>_________________<br>
fieldtrip mailing list<br>
<a href="mailto:fieldtrip@donders.ru.nl">fieldtrip@donders.ru.nl</a><br>
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" rel="noreferrer" target="_blank">https://mailman.science.ru.nl/<wbr>mailman/listinfo/fieldtrip</a><br></blockquote></div><br></div></div></div>