<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">
<div>Dear Yvonne,</div>
<div><br class="">
</div>
<div>I advise you to make a distinction between statistical inference and interpretation. Statistical inference pertains to a particular null hypothesis, which is either rejected or not. Interpretation, on the other hand, pertains to the likely cause of a rejection
 (e.g., alpha-band power modulations in the -0.75 to 0 interval). The p-value pertains to statistical inference but not to the interpretation. To make a case for a particular interpretation you are free to use all arguments at your disposal. One of these arguments
 is the fact that the largest cluster in in the alpha-band in the —0.75 to 0 interval. But you can also refer to published results. For instance, the alpha-band is one of the two bands of the sensorimotor rhythm, whose spatio-spectral structure has been described
 in numerous papers (among which several ones to which I contributed as a senior author), and whose amplitude is inversely related to movement and reaction time. In your case, I would look in the post-stimulation period to characterise the sensorimotor rhythm
 in space and frequency. I have advised this procedure in this paper: <a href="https://doi.org/10.1111/j.1469-8986.2011.01320.x" class="">https://doi.org/10.1111/j.1469-8986.2011.01320.x</a>. </div>
<div><br class="">
</div>
<div>In general, I think that we should rely less on p-values for localisation in space, frequency and time. Instead, we should use the spatio-spectro-temporal extent of the largest clusters to provide a mechanistic account of the effect. For that, it is necessary
 to relate your results to the published findings in the literature. I have argued for this approach in this paper: <a href="https://www.sciencedirect.com/science/article/pii/S1364661316300481" class="">https://www.sciencedirect.com/science/article/pii/S1364661316300481</a></div>
<div><br class="">
</div>
<div>best,</div>
<div>Eric</div>
<div><br class="">
</div>
<div><br class="">
<blockquote type="cite" class="">
<div class="">
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; margin: 0px;" class="">
<span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif; color: rgb(127, 127, 127);" class=""><b class="">From:<span class="Apple-converted-space"> </span></b></span><span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif;" class="">Yvonne
 Visser <<a href="mailto:y.visser@hotmail.com" class="">y.visser@hotmail.com</a>><br class="">
</span></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; margin: 0px;" class="">
<span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif; color: rgb(127, 127, 127);" class=""><b class="">Subject:<span class="Apple-converted-space"> </span></b></span><span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif;" class=""><b class="">[FieldTrip]
 Cluster based permutation test interpretation</b><br class="">
</span></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; margin: 0px;" class="">
<span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif; color: rgb(127, 127, 127);" class=""><b class="">Date:<span class="Apple-converted-space"> </span></b></span><span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif;" class="">30
 November 2018 at 10:47:03 CET<br class="">
</span></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; margin: 0px;" class="">
<span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif; color: rgb(127, 127, 127);" class=""><b class="">To:<span class="Apple-converted-space"> </span></b></span><span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif;" class="">"<a href="mailto:fieldtrip@science.ru.nl" class="">fieldtrip@science.ru.nl</a>"
 <<a href="mailto:fieldtrip@science.ru.nl" class="">fieldtrip@science.ru.nl</a>><br class="">
</span></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; margin: 0px;" class="">
<span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif; color: rgb(127, 127, 127);" class=""><b class="">Cc:<span class="Apple-converted-space"> </span></b></span><span style="font-family: -webkit-system-font, "Helvetica Neue", Helvetica, sans-serif;" class="">"<a href="mailto:aaron.schurger@gmail.com" class="">aaron.schurger@gmail.com</a>"
 <<a href="mailto:aaron.schurger@gmail.com" class="">aaron.schurger@gmail.com</a>><br class="">
</span></div>
<br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<div style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 12pt;" class="">
<font size="2" class=""><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">Dear all,</span><span style="font-size: 11pt;" class=""><br class="">
</span></font></div>
<div style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 12pt;" class="">
<font size="2" class=""><span style="font-size: 11pt;" class=""></span></font></div>
<div style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 12pt;" class="">
<font size="2" class=""><span style="font-size: 11pt;" class=""><br class="">
</span><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">Thank you for welcoming me to the discussion list, my name is Yvonne Visser and I currently work as a research assistant with dr. Aaron Schurger
 at Neurospin. During my masters program I learned about cluster based permutation tests for electrophysiological data and distinctly remember how from this type of test one can not conclude that a particular cluster is significant (in line with what is said
 on the fieldtrip website here,<span class="Apple-converted-space"> </span></span><span style="font-size: 11pt;" class=""><a href="http://www.fieldtriptoolbox.org/faq/how_not_to_interpret_results_from_a_cluster-based_permutation_test" target="_blank" rel="noreferrer noopener" title="Ctrl+Click to follow link
http://www.fieldtriptoolbox.org/faq/how_not_to_interpret_results_from_a_cluster-based_permutation_test" class=""><span style="font-family: Calibri, Helvetica, sans-serif; font-size: 11pt; line-height: normal;" class="">http://www.fieldtriptoolbox.org/faq/how_not_to_interpret_results_from_a_cluster-based_permutation_test</span><span style="font-family: Calibri, Helvetica, sans-serif; font-size: 11pt; line-height: normal;" class="">)</span></a><br class="">
</span></font></div>
<div style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 12pt;" class="">
<font size="2" class=""><span style="font-size: 11pt;" class=""><br class="">
</span></font></div>
<span style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 11pt; line-height: normal;" class=""></span><span style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; float: none; display: inline !important;" class=""></span>
<div style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 12pt;" class="">
<font size="2" class=""><span style="font-size: 11pt;" class=""></span></font></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<font size="2" class=""><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">We are currently using the cluster based permutation test in the analysis of our experiment, but we are a bit confused on</span></font></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<font size="2" class=""><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">how to interpret the results from our test.</span><span style="font-size: 11pt;" class=""></span></font></div>
<div style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<font size="2" class=""><span style="font-size: 11pt;" class=""></span></font></div>
<font size="2" style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class=""><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">To
 give you a short introduction to our experiment: we are looking for a relationship between a behavioural variable and our collected EEG data. So we computed the grand average time frequency spectrum in a single channel of the time bins of interest. Then, we
 correlated each time/frequency point in this 2d matrix with the behavioural variable in that trial. This resulted in a correlation matrix like you can see in attachment1_correlationmatrix. As you can see, we also computed clusters of time/frequency points
 with p<0.05.</span><span class="Apple-converted-space"> </span><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">After computing the permutations, we found that the biggest "real" cluster is bigger than
 any of the permuted clusters.</span><span style="font-size: 11pt;" class=""><br class="">
<br class="">
</span><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">Now, we would like to conclude something from this result about which frequency band at what time is correlated to our behavioural variable. We
 found a fieldtrip function called ft_clusterplot that does seem to suggest that you can highlight a specific cluster it if it survives the test, but isn't that exactly what my lectures and the webpage say we should not do? Can we say that activity in the alpha
 band around -0.75 to 0 (where the biggest cluster is located) is correlated to the size of the movement? Or should we not conclude something about which cluster is significant and can we only say that some time frequency power is correlated to our behavioural
 variable? If the second is true, do you have any advice for us to make the interpretation more specific?</span><span style="font-size: 11pt;" class=""><br class="">
<br class="">
</span><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">Thank you so much in advance, and please let us know if anything is unclear.</span><span style="font-size: 11pt;" class=""><br class="">
</span><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">Kind regards,</span><span style="font-size: 11pt;" class=""><br class="">
</span><span style="font-size: 11pt; font-family: Calibri, Helvetica, sans-serif; line-height: normal;" class="">Yvonne & Aaron.</span></font><span style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; float: none; display: inline !important;" class=""></span>
<div style="caret-color: rgb(0, 0, 0); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; font-family: Calibri, Helvetica, sans-serif; font-size: 12pt;" class="">
<font size="2" class=""><span style="font-size: 11pt;" class=""></span></font><br class="">
</div>
<span id="cid:7835FC03-5A19-4E3A-9FA7-A33B0083BEA5"><attachment1_correlationmatrix.jpg></span><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<span style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; float: none; display: inline !important;" class="">_______________________________________________</span><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<span style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; float: none; display: inline !important;" class="">fieldtrip
 mailing list</span><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;" class="">https://mailman.science.ru.nl/mailman/listinfo/fieldtrip</a><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<span style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; float: none; display: inline !important;" class="">_______________________________________________</span><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<span style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; float: none; display: inline !important;" class="">fieldtrip
 mailing list</span><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;" class="">https://mailman.science.ru.nl/mailman/listinfo/fieldtrip</a><br style="caret-color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none;" class="">
<a href="https://doi.org/10.1371/journal.pcbi.1002202" style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;" class="">https://doi.org/10.1371/journal.pcbi.1002202</a></div>
</blockquote>
</div>
<br class="">
<div class="">
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;">
<font face="Calibri" class=""><span style="font-size: 11px;" class="">Eric Maris | Donders Institute for Brain, Cognition, and Behaviour & Faculty of Social Sciences | Radboud University | PO Box 9104, 6500 HE Nijmegen | (024) 3612651 | <a href="http://www.ru.nl" class="">www.ru.nl</a><br class="">
</span><em style="color: rgb(34, 34, 34); font-size: 15px;" class=""><br class="">
</em></font></div>
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;">
<span style="color: rgb(34, 34, 34); font-size: 9px;" class=""><font face="Calibri" class=""><i class="">This message (and any attachments) is intended solely for the addressee(s) and may contain confidential information. If you are not the addressee, do not
 copy this message (and any attachments), forward or share this message with third parties. You are requested to notify the sender immediately and delete this message.</i></font></span></div>
</div>
</div>
<br class="">
</body>
</html>