<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
Hi Lorenzo,
<div class=""><br class="">
</div>
<div class="">Well, your interpretation was almost OK, yet by keeping a certain number of components one makes the data explicitly rank deficient (so that’s the part that was not fully correctly stated in your pre-previous e-mail) The thing is that with keeping
 only (e.g.) 50 components, your data will still be rank deficient, yet the small components (those that end up as component 51 and up) cannot negatively affect the inverse of the data covariance matrix (which needs to be regularized anyway).</div>
<div class=""><br class="">
</div>
<div class="">Best,</div>
<div class="">Jan-Mathijs </div>
<div class=""><br class="">
</div>
<div class=""><br class="">
</div>
<div class=""><br class="">
<div>
<blockquote type="cite" class="">
<div class="">On 19 Sep 2016, at 15:00, Lorenzo Magazzini <<a href="mailto:magazzinil@gmail.com" class="">magazzinil@gmail.com</a>> wrote:</div>
<br class="Apple-interchange-newline">
<div class="">
<div dir="ltr" class="">
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
Hi Jan-Mathijs,</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
<br class="">
</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
Thanks for your answer. </div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
<br class="">
</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
Just for clarity also to the other users, am I right to say that my previous interpretation was wrong, then? Is the purpose of the PCA simply that of 'stabilizing' the data matrix? The number of components has nothing to do with the rank deficiency (or what
 is the relationship between the two)?</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
<br class="">
</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
Thanks,<br class="">
Lorenzo</div>
</div>
<div class="gmail_extra"><br clear="all" class="">
<div class="">
<div class="gmail_signature" data-smartmail="gmail_signature">
<div dir="ltr" class="">
<div class="">
<div dir="ltr" class="">
<div class="">
<div dir="ltr" class="">
<div class="">
<div dir="ltr" class="">
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class="">Lorenzo Magazzini</font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class="">PhD Student</font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><a href="mailto:magazzinil@cardiff.ac.uk" target="_blank" class="">magazzinil@cardiff.ac.uk</a></font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class="">CUBRIC Building<br class="">
Maindy Road<u class=""></u><u class=""></u></font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font size="1" face="arial, helvetica, sans-serif" class="">Cardiff<br class="">
CF24 4HQ</font></div>
<div style="margin: 0cm 0cm 0.0001pt;" class=""><font face="verdana, sans-serif" size="1" class=""><br class="">
</font></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<br class="">
<div class="gmail_quote">On 19 September 2016 at 13:45, Schoffelen, J.M. (Jan Mathijs)
<span dir="ltr" class=""><<a href="mailto:jan.schoffelen@donders.ru.nl" target="_blank" class="">jan.schoffelen@donders.ru.nl</a>></span> wrote:<br class="">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="word-wrap:break-word" class="">Hi all,<br class="">
<div class="">
<div style="word-wrap:break-word" class="">
<div class=""><br class="">
</div>
<div class="">The reason to do the PCA has to do in this context with the fact that a beamformer is used further down in the tutorial. The beamformer uses the inverse of the covariance matrix, which behaves unpredictably (but usually quite bad) when the smallest
 (usually poorly conditioned) components are not well estimated.</div>
<div class="">The data that is used for the source reconstruction comes from three separate runs, each of which was separately maxfiltered. As a consequence, the low-rank subspace that is spanned by the individual runs’ data is slightly different (each of which
 has approximately, say, a rank of 60). Upon concatenation, however, the rank is suddenly increased to >> 60, where most likely quite a lot of the ‘higher’ components represent noise. In order to account for that in the covariance inversion, the whole data
 matrix is ‘stabilized’ with a PCA.</div>
<div class=""><br class="">
</div>
<div class="">Best,</div>
<div class="">Jan-Mathijs</div>
<div class="">
<div class="h5">
<div class=""><br class="">
</div>
<div class=""><br class="">
<div class="">
<blockquote type="cite" class="">
<div class="">On 19 Sep 2016, at 13:48, Lorenzo Magazzini <<a href="mailto:magazzinil@gmail.com" target="_blank" class="">magazzinil@gmail.com</a>> wrote:</div>
<br class="">
<div class="">
<div dir="ltr" class="">
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
Hi Mike,</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
<br class="">
</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
This is a question that I've been asking myself too and I'd love to hear an expert (and more technical) answer. In the meantime, these discussions may be of help:</div>
<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">
<br class="">
</div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class=""><a href="https://mailman.science.ru.nl/pipermail/fieldtrip/2013-March/006270.html" target="_blank" class="">https://mailman.science.ru.nl/<wbr class="">pipermail/fieldtrip/2013-March<wbr class="">/006270.html</a></font></div>
<div class="gmail_default"><a href="https://mailman.science.ru.nl/pipermail/fieldtrip/2013-November/007170.html" target="_blank" class="">https://mailman.science.ru.nl/<wbr class="">pipermail/fieldtrip/2013-<wbr class="">November/007170.html</a></div>
<div class="gmail_default"><a href="http://www.fieldtriptoolbox.org/faq/why_does_my_ica_output_contain_complex_numbers?s[" target="_blank" class="">http://www.fieldtriptoolbox.<wbr class="">org/faq/why_does_my_ica_<wbr class="">output_contain_complex_<wbr class="">numbers?s[</a><br class="">
</div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class="">I wonder if the confusion arises from the difference between rank and number of components? My understanding is that maxfilter reduces the rank of the data (from 306 to 64, apparently).
 Therefore, my best guess is that by performing a PCA and rejecting a number of components (only the first 50 are kept, in the tutorial example), the data is no longer rank-deficient, i.e. the rank is equal or greater than the number of components in the data.</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class="">Clearly, this is a very non-technical interpretation, and a correction would be more than welcome.. :)</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class="">Best,</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class="">Lorenzo</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div class="gmail_default"><font face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div class="gmail_extra"><br clear="all" class="">
<div class="">
<div class="">
<div dir="ltr" class="">
<div class="">
<div dir="ltr" class="">
<div class="">
<div dir="ltr" class="">
<div class="">
<div dir="ltr" class="">
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class="">Lorenzo Magazzini</font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class="">PhD Student</font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><a href="mailto:magazzinil@cardiff.ac.uk" target="_blank" class="">magazzinil@cardiff.ac.uk</a></font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class=""><br class="">
</font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class="">CUBRIC Building<br class="">
Maindy Road<u class=""></u><u class=""></u></font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font size="1" face="arial, helvetica, sans-serif" class="">Cardiff<br class="">
CF24 4HQ</font></div>
<div style="margin:0cm 0cm 0.0001pt" class=""><font face="verdana, sans-serif" size="1" class=""><br class="">
</font></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<br class="">
<div class="gmail_quote">On 19 September 2016 at 11:25, Hall, Michael (Research Student)
<span dir="ltr" class=""><<a href="mailto:hallmbh@aston.ac.uk" target="_blank" class="">hallmbh@aston.ac.uk</a>></span> wrote:<br class="">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div class="">
<div style="direction:ltr;font-family:tahoma;font-size:10pt" class="">
<div style="direction:ltr;font-family:tahoma;font-size:10pt" class="">
<div class="">Dear All, </div>
<div class=""><br class="">
</div>
<div class="">I've been doing some testing with elekta neuromag data in Fieldtrip using different sensor types (meg, meggrad, megmag) and different preprocessing steps (tSSS 0.9 corr limit, no tSSS).</div>
<div class=""><br class="">
</div>
<div class="">A step that was proposed at the MEG UK 2015 demo was to use PCA to compensate for the ill-conditioned estimate of the cov/csd matrix due to maxfilter - could I ask why running a PCA and reducing the number of components further would compensate
 for this? Apologies if this a naive question, however I would assume that you would not want to reduce the rank of your data further? <span style="font-size:10pt" class="">Please see below for the link and code that I'm referring to. </span></div>
<div class=""><span style="font-size:10pt" class=""><br class="">
</span></div>
<div class="">
<div class=""><a href="http://www.fieldtriptoolbox.org/workshop/meg-uk-2015/fieldtrip-beamformer-demo" target="_blank" class=""><font size="2" class="">http://www.fieldtriptoolbox.or<wbr class="">g/workshop/meg-uk-2015/fieldtr<wbr class="">ip-beamformer-demo</font></a></div>
<div class="">
<p class="MsoNormal"><font size="2" class=""><br class="">
</font></p>
</div>
<div class=""><font size="2" class="">%% deal with maxfilter</font></div>
<div class=""><font size="2" class=""> </font></div>
<div class=""><font size="2" class="">% the data has been maxfiltered and subsequently concatenated</font></div>
<div class=""><font size="2" class="">% this results in an ill-conditioned estimate of covariance or CSD</font></div>
<div class=""><font size="2" class=""> </font></div>
<div class=""><font size="2" class="">cfg = [];</font></div>
<div class=""><font size="2" class="">cfg.method = 'pca';</font></div>
<div class=""><font size="2" class="">cfg.updatesens = 'no';</font></div>
<div class=""><font size="2" class="">cfg.channel = 'MEGMAG';</font></div>
<div class=""><font size="2" class="">comp = ft_componentanalysis(cfg, data);</font></div>
<div class=""><font size="2" class=""> </font></div>
<div class=""><font size="2" class="">cfg = [];</font></div>
<div class=""><font size="2" class="">cfg.updatesens = 'no';</font></div>
<div class=""><font size="2" class="">cfg.component = comp.label(51:end);</font></div>
<div class=""><font size="2" class="">data_fix = ft_rejectcomponent(cfg, comp);</font></div>
</div>
<div class=""><br class="">
</div>
<div class=""><br class="">
</div>
<div class="">Many thanks,</div>
<div class="">Mike Hall</div>
<div class="">
<div style="font-family:tahoma;font-size:13px" class="">
<div style="font-family:tahoma;font-size:13px" class=""><br class="">
<p class="MsoNormal"><br class="">
</p>
<p class="MsoNormal"><font face="Times New Roman" size="3" class=""><span style="font-size:12pt" class=""><font size="2" class=""><span style="font-size:10pt" class=""><br class="">
</span></font></span></font></p>
</div>
</div>
</div>
</div>
</div>
</div>
<br class="">
______________________________<wbr class="">_________________<br class="">
fieldtrip mailing list<br class="">
<a href="mailto:fieldtrip@donders.ru.nl" target="_blank" class="">fieldtrip@donders.ru.nl</a><br class="">
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" rel="noreferrer" target="_blank" class="">https://mailman.science.ru.nl/<wbr class="">mailman/listinfo/fieldtrip</a><br class="">
</blockquote>
</div>
<br class="">
</div>
</div>
______________________________<wbr class="">_________________<br class="">
fieldtrip mailing list<br class="">
<a href="mailto:fieldtrip@donders.ru.nl" target="_blank" class="">fieldtrip@donders.ru.nl</a><br class="">
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" target="_blank" class="">https://mailman.science.ru.nl/<wbr class="">mailman/listinfo/fieldtrip</a></div>
</blockquote>
</div>
<br class="">
</div>
</div>
</div>
</div>
<br class="">
<br class="">
</div>
<br class="">
</div>
<br class="">
______________________________<wbr class="">_________________<br class="">
fieldtrip mailing list<br class="">
<a href="mailto:fieldtrip@donders.ru.nl" class="">fieldtrip@donders.ru.nl</a><br class="">
<a href="https://mailman.science.ru.nl/mailman/listinfo/fieldtrip" rel="noreferrer" target="_blank" class="">https://mailman.science.ru.nl/<wbr class="">mailman/listinfo/fieldtrip</a><br class="">
</blockquote>
</div>
<br class="">
</div>
_______________________________________________<br class="">
fieldtrip mailing list<br class="">
<a href="mailto:fieldtrip@donders.ru.nl" class="">fieldtrip@donders.ru.nl</a><br class="">
https://mailman.science.ru.nl/mailman/listinfo/fieldtrip</div>
</blockquote>
</div>
<br class="">
</div>
</body>
</html>