<div dir="ltr"><div class="gmail_extra">Hi Eric,</div><div class="gmail_extra"><br></div><div class="gmail_extra">I tried effect sizes of 20 and 4 subjects per condition. With 200 iterations, the false alarm rate was *lower* for permutations (.02) than for a standard ANOVA (.025). For good measure, I also tried with effect sizes of 10, with the same result (.02 vs. .03). </div>

<div class="gmail_extra"><br></div><div class="gmail_extra">I still don't see what the problem would be. I always understood that the main thing permutation tests need is exchangeability, and it doesn't get much more exchangeable than in a between/between design. I'm reading the original work now, though, so maybe I'll discover something.</div>

<div class="gmail_extra"><br></div><div class="gmail_extra">Josh</div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 4, 2014 at 6:16 AM, Eric Maris <span dir="ltr"><<a href="mailto:e.maris@psych.ru.nl" target="_blank">e.maris@psych.ru.nl</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="NL" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Hi Josh,<u></u><u></u></span></p>


<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">You may have found something that is worth exploring. However, it will be challenge to provide a formal proof of the fact that the permutation analysis provides false alarm rate control under the null hypothesis of no interaction effect. The crucial design here is the full between-subjects design, because for the other designs a valid permutation analysis exists (as demonstrated by formal proof).<u></u><u></u></span></p>


<p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I would embark on a testing-the-limits simulation study:<u></u><u></u></span></p>


<p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><div style="border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt">


<div><div><div><p class="MsoNormal"><b>between/between</b>. Normally-distributed data in each of 4 cells. The effect size for e1 and e2 were each set to 1, with a SD of 1. The interaction (if present) was .75 with an SD of 1. There were 40 subjects per cell. <u></u><u></u></p>


</div><div><p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Set the effect sizes to 20, reduce the number of subjects to 5 per cell, and simulate data without an interaction effect. I’m curious how the simulated false alarm rate of the permutation test looks like.<u></u><u></u></span></p>


<p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">(After this email, I will not continue this discussion any further. It is becoming a scientific project; interesting though …)<u></u><u></u></span></p>


<p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Best,<span><font color="#888888"><u></u><u></u></font></span></span></p>


<span><font color="#888888"><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal">
<span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Eric<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>


<p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> </span></p>


</font></span></div></div></div></div></div></div></blockquote></div></div></div>