<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"></head><body><div>Once you cache grows bigger than 0x4000000 you have problems</div><div><br></div><div><br></div><div><br></div><div id="composer_signature"><meta http-equiv="Content-Type" content="text/html; charset=UTF-8">---<div>Aki Tuomi</div><div>Dovecot oy</div></div><div><br></div><div style="font-size:100%;color:#000000"><!-- originalMessage --><div>-------- Original message --------</div><div>From: Ian Bobbitt <ibobbitt@globalnoc.iu.edu> </div><div>Date: 23/02/2018  20:33  (GMT+02:00) </div><div>To: dovecot@dovecot.org </div><div>Subject: Re: Assertion during dsync receive </div><div><br></div></div>
    Thanks. I've had the user clear out that mailbox, and replication is
    working fine for them again.<br>
    <br>
    Is there a better way to catch this than watch for crashes and read
    the backtrace to find what mailbox needs to be shrunk?<br>
    <br>
    Where is the threshold for "too big"?<br>
    <br>
    -- Ian<br>
    <br>
    On 2/23/18 11:33 AM, Aki Tuomi wrote:<br>
    <blockquote type="cite" cite="mid:20180223163401.C8D36221D43@talvi.dovecot.org">
      <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
      <div>The mailbox is too big.</div>
      <div><br>
      </div>
      <div><br>
      </div>
      <div><br>
      </div>
      <div id="composer_signature">
        <meta http-equiv="Content-Type" content="text/html;
          charset=utf-8">
        ---
        <div>Aki Tuomi</div>
        <div>Dovecot oy</div>
      </div>
      <div><br>
      </div>
      <div style="font-size:100%;color:#000000"><!-- originalMessage -->
        <div>-------- Original message --------</div>
        <div>From: Ian Bobbitt <a class="moz-txt-link-rfc2396E" href="mailto:ibobbitt@globalnoc.iu.edu"><ibobbitt@globalnoc.iu.edu></a> </div>
        <div>Date: 23/02/2018 17:52 (GMT+02:00) </div>
        <div>To: <a class="moz-txt-link-abbreviated" href="mailto:dovecot@dovecot.org">dovecot@dovecot.org</a> </div>
        <div>Subject: Assertion during dsync receive </div>
        <div><br>
        </div>
      </div>
      Hi,<br>
      <br>
      I'm getting an assertion failed on the receiving side, causing
      syncs to fail for one user. The servers are setup so that<br>
      only one is receiving any traffic other than replication at any
      time. The one that's only receiving replications is the<br>
      one that's failing.<br>
      <br>
      I've tried deleting the user's home on the receiving server, but
      it still crashes during the sync. Oddly, the user's<br>
      home is 7.4G on the sending server, but ends up at 42G on the
      receiving side, even after deleting and trying a fresh sync.<br>
      <br>
      The mailbox implicated in the backtrace ("Spam") does have a very
      large number of messages in it.<br>
      On sender:<br>
      Spam messages=1217764 recent=0 uidnext=1218103
      uidvalidity=1379509105 unseen=16 highestmodseq=744588
      vsize=34468460093<br>
      guid=090ed93a7a055559abf10200fdf6807a firstsaved=1498744186<br>
      On receiver:<br>
      Spam messages=1217766 recent=352 uidnext=1218105
      uidvalidity=1379509105 unseen=16 highestmodseq=744589
      vsize=34468496809<br>
      guid=090ed93a7a055559abf10200fdf6807a firstsaved=1519396172<br>
      <br>
      Feb 23 14:57:20 dovecot: dsync-local(bgeels): Warning: fscking
      index file<br>
      /gnoc/mail/home/bgeels/mail/storage/dovecot.map.index<br>
      Feb 23 14:57:20 dovecot: dsync-local(bgeels): Warning: mdbox
      /gnoc/mail/home/bgeels/mail/storage: rebuilding indexes<br>
      Feb 23 14:57:33 dovecot: dsync-local(bgeels): Panic: file
      mail-index-util.c: line 10 (mail_index_uint32_to_offset):<br>
      assertion failed: (offset < 0x40000000)<br>
      Feb 23 14:57:33 dovecot: dsync-local(bgeels): Error: Raw
      backtrace: /usr/lib64/dovecot/libdovecot.so.0(+0x9f3de)<br>
      [0x7feb584143de] ->
      /usr/lib64/dovecot/libdovecot.so.0(+0x9f4be) [0x7feb584144be]
      -><br>
      /usr/lib64/dovecot/libdovecot.so.0(i_fatal+0) [0x7feb583a577c]
      -><br>
/usr/lib64/dovecot/libdovecot-storage.so.0(mail_index_uint32_to_offset+0xa0)
      [0x7feb587906d0] -><br>
/usr/lib64/dovecot/libdovecot-storage.so.0(mail_cache_compress+0x854)
      [0x7feb58774f34] -><br>
/usr/lib64/dovecot/libdovecot-storage.so.0(mail_index_sync_commit+0x25f)
      [0x7feb587884ff] -><br>
/usr/lib64/dovecot/libdovecot-storage.so.0(mdbox_storage_rebuild_in_context+0x10de)
      [0x7feb5870b3ae] -><br>
      /usr/lib64/dovecot/libdovecot-storage.so.0(mdbox_sync_begin+0x858)
      [0x7feb5870ccd8] -><br>
      /usr/lib64/dovecot/libdovecot-storage.so.0(mdbox_sync+0x4c)
      [0x7feb5870ce7c] -><br>
/usr/lib64/dovecot/libdovecot-storage.so.0(mdbox_storage_sync_init+0x4b)
      [0x7feb5870cf3b] -><br>
      /usr/lib64/dovecot/libdovecot-storage.so.0(mailbox_sync_init+0x44)
      [0x7feb586f2834] -><br>
      /usr/lib64/dovecot/libdovecot-storage.so.0(mailbox_sync+0x37)
      [0x7feb586f28d7] -><br>
      dovecot/doveadm-server(dsync_mailbox_import_deinit+0x475)
      [0x445495] -> dovecot/doveadm-server() [0x43edc0] -><br>
      dovecot/doveadm-server(dsync_brain_sync_mails+0x743) [0x43f653]
      -> dovecot/doveadm-server(dsync_brain_run+0x541)<br>
      [0x43acf1] -> dovecot/doveadm-server() [0x43b070] ->
      dovecot/doveadm-server() [0x44fe5f] -><br>
      /usr/lib64/dovecot/libdovecot.so.0(io_loop_call_io+0x52)
      [0x7feb58429cd2] -><br>
/usr/lib64/dovecot/libdovecot.so.0(io_loop_handler_run_internal+0x10f)
      [0x7feb5842b3bf] -><br>
      /usr/lib64/dovecot/libdovecot.so.0(io_loop_handler_run+0x3c)
      [0x7feb58429d6c] -><br>
      /usr/lib64/dovecot/libdovecot.so.0(io_loop_run+0x38)
      [0x7feb58429f28] -> dovecot/doveadm-server() [0x4209c5] -><br>
      dovecot/doveadm-server() [0x422df6] -> dovecot/doveadm-server()
      [0x4377f4] -><br>
      /usr/lib64/dovecot/libdovecot.so.0(io_loop_call_io+0x52)
      [0x7feb58429cd2] -><br>
/usr/lib64/dovecot/libdovecot.so.0(io_loop_handler_run_internal+0x10f)
      [0x7feb5842b3bf] -><br>
      /usr/lib64/dovecot/libdovecot.so.0(io_loop_handler_run+0x3c)
      [0x7feb58429d6c]<br>
      Feb 23 14:57:33 dsync-local(bgeels): Fatal: master:
      service(doveadm): child 82098 killed with signal 6 (core dumped)<br>
      <br>
      I've attached the output of `doveconf -n` and the full backtrace
      from a core dump.<br>
      <br>
      Dovecot 2.2.33.2 (GhettoForge package)<br>
      CentOS 7 x86_64<br>
      XFS, no NFS.<br>
      <br>
      <br>
      -- Ian<br>
    </blockquote>
    <br>
  </body></html>