source: trunk/libtransmission/fdlimit.c @ 8707

Last change on this file since 8707 was 8707, checked in by charles, 12 years ago

(trunk libT) #2196: add a fallback implementation of preallocateFileFull() in case the os-specific and fs-specific approaches don't work.

  • Property svn:keywords set to Date Rev Author Id
File size: 17.6 KB
Line 
1/******************************************************************************
2 * $Id: fdlimit.c 8707 2009-06-16 17:10:47Z charles $
3 *
4 * Copyright (c) 2005-2008 Transmission authors and contributors
5 *
6 * Permission is hereby granted, free of charge, to any person obtaining a
7 * copy of this software and associated documentation files (the "Software"),
8 * to deal in the Software without restriction, including without limitation
9 * the rights to use, copy, modify, merge, publish, distribute, sublicense,
10 * and/or sell copies of the Software, and to permit persons to whom the
11 * Software is furnished to do so, subject to the following conditions:
12 *
13 * The above copyright notice and this permission notice shall be included in
14 * all copies or substantial portions of the Software.
15 *
16 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
17 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
18 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
19 * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
20 * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
21 * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
22 * DEALINGS IN THE SOFTWARE.
23 *****************************************************************************/
24
25#ifndef WIN32
26 #define HAVE_GETRLIMIT
27#endif
28
29#ifdef HAVE_POSIX_FADVISE
30 #ifdef _XOPEN_SOURCE
31  #undef _XOPEN_SOURCE
32 #endif
33 #define _XOPEN_SOURCE 600
34#endif
35
36#include <assert.h>
37#include <errno.h>
38#include <inttypes.h>
39#include <stdio.h>
40#include <stdlib.h>
41#include <string.h>
42#ifdef SYS_DARWIN
43 #include <fcntl.h>
44#endif
45
46#ifdef HAVE_XFS_XFS_H
47 #include <xfs/xfs.h>
48#endif
49
50#include <sys/types.h>
51#include <sys/stat.h>
52#ifdef HAVE_GETRLIMIT
53 #include <sys/time.h> /* getrlimit */
54 #include <sys/resource.h> /* getrlimit */
55#endif
56#include <unistd.h>
57#include <fcntl.h> /* O_LARGEFILE posix_fadvise */
58
59#include <evutil.h>
60
61#include "transmission.h"
62#include "fdlimit.h"
63#include "list.h"
64#include "net.h"
65#include "platform.h" /* tr_lock */
66#include "utils.h"
67
68#define dbgmsg( ... ) \
69    do { \
70        if( tr_deepLoggingIsActive( ) ) \
71            tr_deepLog( __FILE__, __LINE__, NULL, __VA_ARGS__ ); \
72    } while( 0 )
73
74/**
75***
76**/
77
78enum
79{
80    NOFILE_BUFFER = 512, /* the process' number of open files is
81                            globalMaxPeers + NOFILE_BUFFER */
82};
83
84struct tr_openfile
85{
86    tr_bool    isCheckedOut;
87    tr_bool    isWritable;
88    tr_bool    closeWhenDone;
89    char       filename[MAX_PATH_LENGTH];
90    int        fd;
91    uint64_t   date;
92};
93
94struct tr_fd_s
95{
96    int                   socketCount;
97    int                   socketLimit;
98
99    struct tr_openfile  * openFiles;
100    int                   openFileLimit;
101
102    tr_lock             * lock;
103};
104
105static struct tr_fd_s * gFd = NULL;
106
107/***
108****
109****  Local Files
110****
111***/
112
113#ifndef O_LARGEFILE
114 #define O_LARGEFILE 0
115#endif
116
117static tr_bool
118preallocateFileSparse( int fd, uint64_t length )
119{
120    const char zero = '\0';
121
122    if( length == 0 )
123        return TRUE;
124
125    if( lseek( fd, length-1, SEEK_SET ) == -1 )
126        return FALSE;
127    if( write( fd, &zero, 1 ) == -1 )
128        return FALSE;
129    if( ftruncate( fd, length ) == -1 )
130        return FALSE;
131
132    return TRUE;
133}
134
135static tr_bool
136preallocateFileFull( const char * filename, uint64_t length )
137{
138    tr_bool success = 0;
139
140#ifdef WIN32
141
142    HANDLE hFile = CreateFile( filename, GENERIC_WRITE, 0, 0, CREATE_NEW, 0, 0 );
143    if( hFile != INVALID_HANDLE_VALUE )
144    {
145        LARGE_INTEGER li;
146        li.QuadPart = length;
147        success = SetFilePointerEx( hFile, li, NULL, FILE_BEGIN ) && SetEndOfFile( hFile );
148        CloseHandle( hFile );
149    }
150
151#else
152
153    int flags = O_RDWR | O_CREAT | O_LARGEFILE;
154    int fd = open( filename, flags, 0666 );
155    if( fd >= 0 )
156    {
157# ifdef HAVE_XFS_XFS_H
158        if( !success && platform_test_xfs_fd( fd ) )
159        {
160            xfs_flock64_t fl;
161            fl.l_whence = 0;
162            fl.l_start = 0;
163            fl.l_len = length;
164            success = !xfsctl( NULL, fd, XFS_IOC_RESVSP64, &fl );
165        }
166# endif
167# ifdef SYS_DARWIN
168        if( !success )
169        {
170            fstore_t fst;
171            fst.fst_flags = F_ALLOCATECONTIG;
172            fst.fst_posmode = F_PEOFPOSMODE;
173            fst.fst_offset = 0;
174            fst.fst_length = length;
175            fst.fst_bytesalloc = 0;
176            success = !fcntl( fd, F_PREALLOCATE, &fst );
177        }
178# endif
179# ifdef HAVE_POSIX_FALLOCATE
180        if( !success )
181        {
182            success = !posix_fallocate( fd, 0, length );
183        }
184# endif
185
186        if( !success ) /* if nothing else works, do it the old-fashioned way */
187        {
188            uint8_t buf[ 4096 ]; 
189            memset( buf, 0, sizeof( buf ) ); 
190            success = TRUE; 
191            while ( success && ( length > 0 ) ) 
192            { 
193                const int thisPass = MIN( length, sizeof( buf ) ); 
194                success = write( fd, buf, thisPass ) == thisPass; 
195                length -= thisPass; 
196            } 
197        }
198
199        close( fd );
200    }
201
202#endif
203
204    return success;
205}
206
207tr_bool
208tr_preallocate_file( const char * filename, uint64_t length )
209{
210    return preallocateFileFull( filename, length );
211}
212
213int
214tr_open_file_for_writing( const char * filename )
215{
216    int flags = O_WRONLY | O_CREAT;
217#ifdef O_BINARY
218    flags |= O_BINARY;
219#endif
220#ifdef O_LARGEFILE
221    flags |= O_LARGEFILE;
222#endif
223    return open( filename, flags, 0666 );
224}
225
226int
227tr_open_file_for_scanning( const char * filename )
228{
229    int fd;
230    int flags;
231
232    /* build the flags */
233    flags = O_RDONLY;
234#ifdef O_SEQUENTIAL
235    flags |= O_SEQUENTIAL;
236#endif
237#ifdef O_BINARY
238    flags |= O_BINARY;
239#endif
240#ifdef O_LARGEFILE
241    flags |= O_LARGEFILE;
242#endif
243
244    /* open the file */
245    fd = open( filename, flags, 0666 );
246    if( fd >= 0 )
247    {
248        /* Set hints about the lookahead buffer and caching. It's okay
249           for these to fail silently, so don't let them affect errno */
250        const int err = errno;
251#ifdef HAVE_POSIX_FADVISE
252        posix_fadvise( fd, 0, 0, POSIX_FADV_SEQUENTIAL );
253#endif
254#ifdef SYS_DARWIN
255        fcntl( fd, F_NOCACHE, 1 );
256        fcntl( fd, F_RDAHEAD, 1 );
257#endif
258        errno = err;
259    }
260
261    return fd;
262}
263
264void
265tr_close_file( int fd )
266{
267#if defined(HAVE_POSIX_FADVISE)
268    /* Set hint about not caching this file.
269       It's okay for this to fail silently, so don't let it affect errno */
270    const int err = errno;
271    posix_fadvise( fd, 0, 0, POSIX_FADV_DONTNEED );
272    errno = err;
273#endif
274    close( fd );
275}
276
277/**
278 * returns 0 on success, or an errno value on failure.
279 * errno values include ENOENT if the parent folder doesn't exist,
280 * plus the errno values set by tr_mkdirp() and open().
281 */
282static int
283TrOpenFile( int                      i,
284            const char             * folder,
285            const char             * torrentFile,
286            tr_bool                  doWrite,
287            tr_preallocation_mode    preallocationMode,
288            uint64_t                 desiredFileSize )
289{
290    struct tr_openfile * file = &gFd->openFiles[i];
291    int                  flags;
292    char               * filename;
293    struct stat          sb;
294    int                  alreadyExisted;
295
296    /* confirm the parent folder exists */
297    if( stat( folder, &sb ) || !S_ISDIR( sb.st_mode ) )
298    {
299        tr_err( _( "Couldn't create \"%1$s\": parent folder \"%2$s\" does not exist" ), torrentFile, folder );
300        return ENOENT;
301    }
302
303    /* create subfolders, if any */
304    filename = tr_buildPath( folder, torrentFile, NULL );
305    if( doWrite )
306    {
307        char * tmp = tr_dirname( filename );
308        const int err = tr_mkdirp( tmp, 0777 ) ? errno : 0;
309        if( err ) {
310            tr_err( _( "Couldn't create \"%1$s\": %2$s" ), tmp, tr_strerror( err ) );
311            tr_free( tmp );
312            tr_free( filename );
313            return err;
314        }
315        tr_free( tmp );
316    }
317
318    alreadyExisted = !stat( filename, &sb ) && S_ISREG( sb.st_mode );
319
320    if( doWrite && !alreadyExisted && ( preallocationMode == TR_PREALLOCATE_FULL ) )
321        if( preallocateFileFull( filename, desiredFileSize ) )
322            tr_inf( _( "Preallocated file \"%s\"" ), filename );
323   
324    /* open the file */
325    flags = doWrite ? ( O_RDWR | O_CREAT ) : O_RDONLY;
326#ifdef O_SEQUENTIAL
327    flags |= O_SEQUENTIAL;
328#endif
329#ifdef O_LARGEFILE
330    flags |= O_LARGEFILE;
331#endif
332#ifdef WIN32
333    flags |= O_BINARY;
334#endif
335    file->fd = open( filename, flags, 0666 );
336    if( file->fd == -1 )
337    {
338        const int err = errno;
339        tr_err( _( "Couldn't open \"%1$s\": %2$s" ), filename, tr_strerror( err ) );
340        tr_free( filename );
341        return err;
342    }
343
344    if( doWrite && !alreadyExisted && ( preallocationMode == TR_PREALLOCATE_SPARSE ) )
345        preallocateFileSparse( file->fd, desiredFileSize );
346
347#ifdef HAVE_POSIX_FADVISE
348    posix_fadvise( file->fd, 0, 0, POSIX_FADV_SEQUENTIAL );
349#endif
350
351    tr_free( filename );
352    return 0;
353}
354
355static int
356fileIsOpen( const struct tr_openfile * o )
357{
358    return o->fd >= 0;
359}
360
361static void
362TrCloseFile( int i )
363{
364    struct tr_openfile * o = &gFd->openFiles[i];
365
366    assert( i >= 0 );
367    assert( i < gFd->openFileLimit );
368    assert( fileIsOpen( o ) );
369
370    tr_close_file( o->fd );
371    o->fd = -1;
372    o->isCheckedOut = 0;
373}
374
375static int
376fileIsCheckedOut( const struct tr_openfile * o )
377{
378    return fileIsOpen( o ) && o->isCheckedOut;
379}
380
381/* returns an fd on success, or a -1 on failure and sets errno */
382int
383tr_fdFileCheckout( const char             * folder,
384                   const char             * torrentFile,
385                   tr_bool                  doWrite,
386                   tr_preallocation_mode    preallocationMode,
387                   uint64_t                 desiredFileSize )
388{
389    int i, winner = -1;
390    struct tr_openfile * o;
391    char filename[MAX_PATH_LENGTH];
392
393    assert( folder && *folder );
394    assert( torrentFile && *torrentFile );
395    assert( doWrite == 0 || doWrite == 1 );
396
397    tr_snprintf( filename, sizeof( filename ), "%s%c%s", folder, TR_PATH_DELIMITER, torrentFile );
398    dbgmsg( "looking for file '%s', writable %c", filename, doWrite ? 'y' : 'n' );
399
400    tr_lockLock( gFd->lock );
401
402    /* Is it already open? */
403    for( i = 0; i < gFd->openFileLimit; ++i )
404    {
405        o = &gFd->openFiles[i];
406
407        if( !fileIsOpen( o ) )
408            continue;
409
410        if( strcmp( filename, o->filename ) )
411            continue;
412
413        if( fileIsCheckedOut( o ) )
414        {
415            dbgmsg( "found it!  it's open, but checked out.  waiting..." );
416            tr_lockUnlock( gFd->lock );
417            tr_wait( 200 );
418            tr_lockLock( gFd->lock );
419            i = -1; /* reloop */
420            continue;
421        }
422
423        if( doWrite && !o->isWritable )
424        {
425            dbgmsg(
426                "found it!  it's open and available, but isn't writable. closing..." );
427            TrCloseFile( i );
428            break;
429        }
430
431        dbgmsg( "found it!  it's ready for use!" );
432        winner = i;
433        break;
434    }
435
436    dbgmsg(
437        "it's not already open.  looking for an open slot or an old file." );
438    while( winner < 0 )
439    {
440        uint64_t date = tr_date( ) + 1;
441
442        /* look for the file that's been open longest */
443        for( i = 0; i < gFd->openFileLimit; ++i )
444        {
445            o = &gFd->openFiles[i];
446
447            if( !fileIsOpen( o ) )
448            {
449                winner = i;
450                dbgmsg( "found an empty slot in %d", winner );
451                break;
452            }
453
454            if( date > o->date )
455            {
456                date = o->date;
457                winner = i;
458            }
459        }
460
461        if( winner >= 0 )
462        {
463            if( fileIsOpen( &gFd->openFiles[winner] ) )
464            {
465                dbgmsg( "closing file '%s', slot #%d",
466                        gFd->openFiles[winner].filename,
467                        winner );
468                TrCloseFile( winner );
469            }
470        }
471        else
472        {
473            dbgmsg( "everything's full!  waiting for someone else to finish something" );
474            tr_lockUnlock( gFd->lock );
475            tr_wait( 200 );
476            tr_lockLock( gFd->lock );
477        }
478    }
479
480    assert( winner >= 0 );
481    o = &gFd->openFiles[winner];
482    if( !fileIsOpen( o ) )
483    {
484        const int err = TrOpenFile( winner, folder, torrentFile, doWrite, preallocationMode, desiredFileSize );
485        if( err ) {
486            tr_lockUnlock( gFd->lock );
487            errno = err;
488            return -1;
489        }
490
491        dbgmsg( "opened '%s' in slot %d, doWrite %c", filename, winner,
492                doWrite ? 'y' : 'n' );
493        tr_strlcpy( o->filename, filename, sizeof( o->filename ) );
494        o->isWritable = doWrite;
495    }
496
497    dbgmsg( "checking out '%s' in slot %d", filename, winner );
498    o->isCheckedOut = 1;
499    o->closeWhenDone = 0;
500    o->date = tr_date( );
501    tr_lockUnlock( gFd->lock );
502    return o->fd;
503}
504
505void
506tr_fdFileReturn( int fd )
507{
508    int i;
509
510    tr_lockLock( gFd->lock );
511
512    for( i = 0; i < gFd->openFileLimit; ++i )
513    {
514        struct tr_openfile * o = &gFd->openFiles[i];
515        if( o->fd != fd )
516            continue;
517
518        dbgmsg( "releasing file '%s' in slot #%d", o->filename, i );
519        o->isCheckedOut = 0;
520        if( o->closeWhenDone )
521            TrCloseFile( i );
522
523        break;
524    }
525
526    tr_lockUnlock( gFd->lock );
527}
528
529void
530tr_fdFileClose( const char * filename )
531{
532    int i;
533
534    tr_lockLock( gFd->lock );
535
536    for( i = 0; i < gFd->openFileLimit; ++i )
537    {
538        struct tr_openfile * o = &gFd->openFiles[i];
539        if( !fileIsOpen( o ) || strcmp( filename, o->filename ) )
540            continue;
541
542        dbgmsg( "tr_fdFileClose closing '%s'", filename );
543
544        if( !o->isCheckedOut )
545        {
546            dbgmsg( "not checked out, so closing it now... '%s'", filename );
547            TrCloseFile( i );
548        }
549        else
550        {
551            dbgmsg(
552                "flagging file '%s', slot #%d to be closed when checked in",
553                gFd->openFiles[i].filename, i );
554            o->closeWhenDone = 1;
555        }
556    }
557
558    tr_lockUnlock( gFd->lock );
559}
560
561/***
562****
563****  Sockets
564****
565***/
566
567static int
568getSocketMax( struct tr_fd_s * gFd )
569{
570    return gFd->socketLimit;
571}
572
573int
574tr_fdSocketCreate( int domain, int type )
575{
576    int s = -1;
577
578    tr_lockLock( gFd->lock );
579
580    if( gFd->socketCount < getSocketMax( gFd ) )
581        if( ( s = socket( domain, type, 0 ) ) < 0 )
582        {
583#ifdef SYS_DARWIN
584            if( sockerrno != EAFNOSUPPORT )
585#endif
586            tr_err( _( "Couldn't create socket: %s" ),
587                   tr_strerror( sockerrno ) );
588            s = -sockerrno;
589        }
590
591    if( s > -1 )
592        ++gFd->socketCount;
593
594    assert( gFd->socketCount >= 0 );
595
596    tr_lockUnlock( gFd->lock );
597    return s;
598}
599
600int
601tr_fdSocketAccept( int           b,
602                   tr_address  * addr,
603                   tr_port     * port )
604{
605    int s;
606    unsigned int len;
607    struct sockaddr_storage sock;
608    tr_lockLock( gFd->lock );
609
610    assert( addr );
611    assert( port );
612
613    len = sizeof( struct sockaddr_storage );
614    s = accept( b, (struct sockaddr *) &sock, &len );
615
616    if( ( s >= 0 ) && gFd->socketCount > getSocketMax( gFd ) )
617    {
618        EVUTIL_CLOSESOCKET( s );
619        s = -1;
620    }
621
622    if( s >= 0 )
623    {
624        /* "The ss_family field of the sockaddr_storage structure will always
625         * align with the family field of any protocol-specific structure." */ 
626        if( sock.ss_family == AF_INET ) 
627        {
628            struct sockaddr_in *si;
629            union { struct sockaddr_storage dummy; struct sockaddr_in si; } s;
630            s.dummy = sock;
631            si = &s.si;
632            addr->type = TR_AF_INET; 
633            addr->addr.addr4.s_addr = si->sin_addr.s_addr; 
634            *port = si->sin_port; 
635        } 
636        else 
637        { 
638            struct sockaddr_in6 *si;
639            union { struct sockaddr_storage dummy; struct sockaddr_in6 si; } s;
640            s.dummy = sock;
641            si = &s.si;
642            addr->type = TR_AF_INET6; 
643            addr->addr.addr6 = si->sin6_addr;
644            *port = si->sin6_port; 
645        } 
646        ++gFd->socketCount;
647    }
648
649    tr_lockUnlock( gFd->lock );
650    return s;
651}
652
653static void
654socketClose( int fd )
655{
656    EVUTIL_CLOSESOCKET( fd );
657}
658
659void
660tr_fdSocketClose( int s )
661{
662    tr_lockLock( gFd->lock );
663
664    if( s >= 0 )
665    {
666        socketClose( s );
667        --gFd->socketCount;
668    }
669
670    assert( gFd->socketCount >= 0 );
671
672    tr_lockUnlock( gFd->lock );
673}
674
675/***
676****
677****  Startup / Shutdown
678****
679***/
680
681void
682tr_fdInit( size_t openFileLimit, size_t socketLimit )
683{
684    int i;
685
686    assert( gFd == NULL );
687    gFd = tr_new0( struct tr_fd_s, 1 );
688    gFd->openFiles = tr_new0( struct tr_openfile, openFileLimit );
689    gFd->openFileLimit = openFileLimit;
690    gFd->lock = tr_lockNew( );
691
692#ifdef HAVE_GETRLIMIT
693    {
694        struct rlimit rlim;
695        getrlimit( RLIMIT_NOFILE, &rlim );
696        rlim.rlim_cur = MIN( rlim.rlim_max,
697                            (rlim_t)( socketLimit + NOFILE_BUFFER ) );
698        setrlimit( RLIMIT_NOFILE, &rlim );
699        gFd->socketLimit = rlim.rlim_cur - NOFILE_BUFFER;
700        tr_dbg( "setrlimit( RLIMIT_NOFILE, %d )", (int)rlim.rlim_cur );
701    }
702#else
703    gFd->socketLimit = socketLimit;
704#endif
705    tr_dbg( "%zu usable file descriptors", socketLimit );
706
707    for( i = 0; i < gFd->openFileLimit; ++i )
708        gFd->openFiles[i].fd = -1;
709}
710
711void
712tr_fdClose( void )
713{
714    int i = 0;
715
716    for( i = 0; i < gFd->openFileLimit; ++i )
717        if( fileIsOpen( &gFd->openFiles[i] ) )
718            TrCloseFile( i );
719
720    tr_lockFree( gFd->lock );
721
722    tr_free( gFd->openFiles );
723    tr_free( gFd );
724    gFd = NULL;
725}
726
727void
728tr_fdSetPeerLimit( uint16_t n )
729{
730    assert( gFd != NULL && "tr_fdInit() must be called first!" );
731    gFd->socketLimit = n;
732}
733
734uint16_t
735tr_fdGetPeerLimit( void )
736{
737    return gFd ? gFd->socketLimit : -1;
738}
739
Note: See TracBrowser for help on using the repository browser.