
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /></head><body style='font-size: 9pt; font-family: Verdana,Geneva,sans-serif'>

<p><br /></p>

<div id="signature"> </div>

<p><br /></p>

<p id="reply-intro">On 2019-01-30 07:33, Stephan Bosch wrote:</p>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0"><!-- html ignored --><!-- head ignored --><!-- meta ignored -->

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><span style="white-space: nowrap;">(forgot to CC mailing list)</span><br /><br /><span style="white-space: nowrap;">Op 26/01/2019 om 20:07 schreef Joan Moreau via dovecot:</span>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0"><br /><br /><span style="white-space: nowrap;">*- Bugs so far*</span><br /><br />-> Line 620 of fts_solr dovecot plugin : the size oof header is improperly calculated ("huge header" warning for a simple email, which kilss the index of that considered email, so basically MOST emails as the calculation is wrong)</blockquote>

*You can check that regularly in dovecot log file. My guess is the mix of Unicode which is not properly addressed here.*</blockquote>

<br />Does this happen with specific messages? Do you have a sample message for me? I don't see how Unicode could cause this.</div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><span style="color: #339966;"><strong>My only guess is that it refers to some 'strlen', which is wrong of course in case of Unicode emails. This is just a guess.</strong></span></div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><span style="color: #339966;"><strong>But do a grep for "huge" in the dovecot log of a busy server to find examples.</strong></span></div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><span style="color: #339966;"><strong>(Sorry, I switched to Xapian, as SOlr is creating too much troubles for my server, so no more concrete example)</strong></span></div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><br /><br />

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0"><br />-> The UID returned by SOlr is to be considered as a STRING (and that is maybe the source of problem of the "out of bound" errors in fts_solr dovecot, as "long" is not enough)</blockquote>

*This is just highly visible in Solr schema.xml. Swithcing it to "long" in schema.xml returns plenty of errors.*</blockquote>

<br />I cannot reproduce this so far (see modified schema below). In a simple test I just get the desired results and no errors logged.</div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><span style="color: #339966;"><strong>I got this with large mailboxes (where UID seems not acceptable for Solr ). The fault is not on Dovecot side but Solr, and the returned UID(s) for a search is garbage instead of a proper value -> Putting it as string solves this<br /></strong></span></div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><br /><br />

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0"><br />-> Java errors : A lot of non sense for me, I am not expert in Java. But, with increased memory, it seems not crashing, even if complaining quite a lot in the logs<br /><br />Can you elaborate on the errors you have seen so far? When do these happen? How can I reproduce them?<br /><br /></blockquote>

*Honestly, I have no clue what the problems are. I just increased the memory of the JVM and the systems stopped crashing. Log files are huge anyway.*</blockquote>

<br />What errors do you see? I see only INFO entries in my /var/solr/logs/solr.log. Looks like Solr is pretty verbose by default (lots of INFO output), but there must be a way to reduce that.</div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><span style="color: #339966;"><strong>I deleted SOlr. No more logs. Maybe someone else can tell.</strong></span></div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> </div>

<div class="pre" style="margin: 0; padding: 0; font-family: monospace"><br /><span style="white-space: nowrap;"><?xml version="1.0" encoding="UTF-8"?></span><br /><span style="white-space: nowrap;"><schema name="dovecot" version="2.0"></span><br /><span style="white-space: nowrap;"><uniqueKey>id</uniqueKey></span><br /><fieldType name="long" class="solr.LongPointField" positionIncrementGap="0"/><br /><fieldType name="dovecottext" class="solr.TextField" autoGeneratePhraseQueries="true" positionIncrementGap="100"><br /><span style="white-space: nowrap;"><analyzer type="index"></span><br /><span style="white-space: nowrap;"><tokenizer class="solr.ClassicTokenizerFactory"/></span><br /><filter class="solr.WordDelimiterGraphFilterFactory" catenateNumbers="1" generateNumberParts="1" splitOnCaseChange="1" generateWordParts="1" splitOnNumerics="1" catenateAll="1" catenateWords="1" preserveOriginal="1"/><br /><span style="white-space: nowrap;"><filter class="solr.FlattenGraphFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.LowerCaseFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.TrimFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.RemoveDuplicatesTokenFilterFactory"/></span><br /><span style="white-space: nowrap;"></analyzer></span><br /><span style="white-space: nowrap;"><analyzer type="query"></span><br /><span style="white-space: nowrap;"><tokenizer class="solr.KeywordTokenizerFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.LowerCaseFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.TrimFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.RemoveDuplicatesTokenFilterFactory"/></span><br /><span style="white-space: nowrap;"></analyzer></span><br /><span style="white-space: nowrap;"></fieldType></span><br /><fieldType name="dovecotfield" class="solr.TextField" autoGeneratePhraseQueries="true"><br /><span style="white-space: nowrap;"><analyzer type="index"></span><br /><span style="white-space: nowrap;"><tokenizer class="solr.ClassicTokenizerFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.NGramFilterFactory" minGramSize="3" maxGramSize="25"/></span><br /><span style="white-space: nowrap;"><filter class="solr.TrimFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.LowerCaseFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.RemoveDuplicatesTokenFilterFactory"/></span><br /><span style="white-space: nowrap;"></analyzer></span><br /><span style="white-space: nowrap;"><analyzer type="query"></span><br /><span style="white-space: nowrap;"><tokenizer class="solr.KeywordTokenizerFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.LowerCaseFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.TrimFilterFactory"/></span><br /><span style="white-space: nowrap;"><filter class="solr.RemoveDuplicatesTokenFilterFactory"/></span><br /><span style="white-space: nowrap;"></analyzer></span><br /><span style="white-space: nowrap;"></fieldType></span><br /><br /><span style="white-space: nowrap;"><fieldType name="string" class="solr.StrField"/></span><br /><span style="white-space: nowrap;"><field name="_version_" type="string" indexed="true" stored="true"/></span><br /><span style="white-space: nowrap;"><field name="bcc" type="string" indexed="false" stored="false"/></span><br /><span style="white-space: nowrap;"><field name="body" type="dovecottext" indexed="true" stored="false"/></span><br /><field name="box" type="string" indexed="true" required="true" stored="true"/><br /><span style="white-space: nowrap;"><field name="cc" type="dovecotfield" indexed="true" stored="false"/></span><br /><span style="white-space: nowrap;"><field name="from" type="dovecotfield" indexed="true" stored="false"/></span><br /><span style="white-space: nowrap;"><field name="hdr" type="string" indexed="false" stored="false"/></span><br /><field name="id" type="string" indexed="true" required="true" stored="true"/><br /><span style="white-space: nowrap;"><field name="subject" type="dovecottext" indexed="true" stored="false"/></span><br /><span style="white-space: nowrap;"><field name="to" type="dovecotfield" indexed="true" stored="false"/></span><br /><span style="white-space: nowrap;"><field name="uid" type="long" indexed="true" required="true" stored="true"/></span><br /><field name="user" type="string" indexed="true" required="true" stored="true"/><br /><span style="white-space: nowrap;"></schema></span><br /><br /><br /><br /><br /><br /></div>

</blockquote>

</body></html>