<div>Dear Vladimir and Eric,</div>
<div> </div>
<div>thank you for your accurate responses. I fully understand from your arguments that temporally zooming on clusters is definitely wrong. Still, I wonder whether and how it is possible to use cluster randomization analysis cases in which it is difficult to formulate a precise hypothesis about when to expect an effect  (for example, in infants), or cases in which an unexpected effect arises from a t-test. Do you think it would be correct to slide a relatively large (width of 200ms? 400ms? to be chosen a priori of course) window through the epochs and compute cluster randomization analysis for each latency to explore dubious significant t-test clusters? 
</div>
<div> </div>
<div>Another related question: I computed a post-hoc non kosher tuning of the window around the most significative cluster in my data, and I saw that it is significative (p<0.05) if the window edges exceed of about 50 ms the cluster edges (since the cluster is about 70 ms long, the whole window is about 170 ms long); but if I take longer windows, the p-value increases quite rapidly (I'm running at least 500 random draws for each window, and checking that the result does not depend on the number of draws). Do you have such instabilities in your data or should I think that the effect relative to my cluster is definitely too weak? Or maybe my data are not clean enough?
<br> </div>
<div>About the minimum number of channels: I understand and agree that it is set only in space. Maybe it would help saying it explicitly on the tutorial.</div>
<div> </div>
<div>About the reference: my non kosher approach does not include changing the reference to chase a significant effect! My previous e-mail was probably misleading about that.</div>
<div> </div>
<div>Thank you and have a good day,</div>
<div> </div>
<div>Marco</div>
<div> </div>
<div> </div>
<div> </div>
<div><span class="gmail_quote">On 10/28/05, <b class="gmail_sendername">Eric Maris</b> <<a href="mailto:maris@nici.ru.nl">maris@nici.ru.nl</a>> wrote:</span>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">Dear Marco,<br><br><br>> The procedure I am following now is a sort of two-steps method: in the<br>> first place, I choose a wide time interval and a low minimum number of
<br>> channels. I end up with many clusters that are far from being<br>> significative. I then shorten the time interval to include just one<br>> cluster (starting from the most significant one), and increase the minimum
<br>> number of channels, and run the analysis again. In this case, I eventually<br>> got a significative cluster where I was expecting it from a simple<br>> observation of the t-test. Do you think this procedure is right or am I
<br>> doing something wrong? Is it correct to temporally focus on a cluster to<br>> check its significance?<br><br><br>Clusterrandanalysis only controls the false alarm (type I error) rate if you<br>choose the "tuning parameters" (latency interval, channel subset, the
<br>minnbchan-parameter; and if you use on TFRs, also the frequency interval)<br>independent of the data. Instead, if you play around with these tuning<br>parameters until you find a cluster whose p-value exceeds the critical
<br>alpha-level, you are not controlling the false alarm rate. In this case, the<br>chosen tuning parameters depend on the data.<br><br>An extreme example illustrates this even better. Assume you calculate<br>T-statistics for all (channel, time point)-pairs and you select the pair
<br>with the largest T-statistic. Then, you select the latency interval that<br>only contains this time point and the channel subset that only contains this<br>channel. With these tuning parameters, you reduce your data to a single cell
<br>in the spatiotemporal matrix, and clusterrrandanalysis will produce a<br>p-value that is very close to the p-value of a T-test. Since you have<br>selected this (channel, time point)-pair on the basis of its T-statistic,
<br>this p-value is strongly biased.<br><br><br>> Another couple of questions:<br>> 1) Minnbchan. I understood it is the minimum number of significative<br>> neighbor (channel,time) points for a  (channel,time) point to enter a
<br>> cluster, no matter if adjacency is more in channel space or time<br>> direction. Am I right? Since time and channel space are quite different<br>> dimension, would it be better to set a minimum channel number separately
<br>> for the two?<br><br>Minnbchan should also be chosen independent of the data. I introduced this<br>tuning parameter because it turned out that in 3-dimensional analyses on<br>TFRs (involving the dimensions time, space (
i.e., sensors) and frequency),<br>sometimes a cluster appeared that consisted of two or more 3-dimensional<br>"blobs" that were connected by a single (channel, time, frequency)-element.<br>From a physiological perspective, such a cluster does not make sense. To
<br>remove these physiologically implausible (and therefore probably random)<br>connections, I introduced the minnbchan parameter. Because of this<br>physiological rationale, I apply the minimum number criterium to the<br>
spatial, and not to the temporal dimension. Short-lived phenomena are very<br>well possible from a physiological perspective, whereas effects at spatially<br>isolated sensors are not.<br><br><br>> 2) Maybe because my data are average-referenced, I often end up with a
<br>> positive and negative cluster emerging almost at the same time. Have you<br>> thought about any way to include the search of dipole-like configurations?<br><br>I have not thought about it, but it certainly makes sense to incorporate
<br>biophysical constraints (such dipolar patterns) in the test statistic.<br><br>One should be aware of the fact that different hypotheses are tested before<br>and after rereferencing. This is physical and not a statistical issue. As
<br>you most certainly know, EEG-signals are potential DIFFERENCES and therefore<br>the underlying physiological events that are measured by EEG depend on the<br>reference channel(s). If the experimental manipulation affects the current
<br>reference channel, then rereferencing to another channel (or set of<br>channels) that is not affected by the experimental manipulation makes a<br>difference for the result of the statistical test.<br><br><br>greetings,
<br><br>Eric Maris<br></blockquote></div><br><br clear="all"><br>-- <br>Marco Buiatti - Post Doc<br><br>**************************************************************<br>Cognitive Neuroimaging Unit  - INSERM U562<br>Service Hospitalier Frederic Joliot, CEA/DRM/DSV
<br>4 Place du general Leclerc, 91401 Orsay cedex, France<br>Telephone: +33 1 69 86 77 65    Fax: +33 1 69 86 78 16<br>E-mail: <a href="mailto:marco.buiatti@gmail.com">marco.buiatti@gmail.com</a>    Web: <a href="http://www.unicog.org">
www.unicog.org</a><br>***************************************************************