source: trunk/libtransmission/metainfo.c @ 5031

Last change on this file since 5031 was 5031, checked in by charles, 14 years ago

#706: reduce memory by 25% by cutting tr_file struct

  • Property svn:keywords set to Date Rev Author Id
File size: 19.9 KB
Line 
1/******************************************************************************
2 * $Id: metainfo.c 5031 2008-02-14 00:52:58Z charles $
3 *
4 * Copyright (c) 2005-2008 Transmission authors and contributors
5 *
6 * Permission is hereby granted, free of charge, to any person obtaining a
7 * copy of this software and associated documentation files (the "Software"),
8 * to deal in the Software without restriction, including without limitation
9 * the rights to use, copy, modify, merge, publish, distribute, sublicense,
10 * and/or sell copies of the Software, and to permit persons to whom the
11 * Software is furnished to do so, subject to the following conditions:
12 *
13 * The above copyright notice and this permission notice shall be included in
14 * all copies or substantial portions of the Software.
15 *
16 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
17 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
18 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
19 * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
20 * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
21 * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
22 * DEALINGS IN THE SOFTWARE.
23 *****************************************************************************/
24
25#include <assert.h>
26#include <errno.h>
27#include <stdio.h>
28#include <stdlib.h>
29
30#include <sys/types.h>
31#include <sys/stat.h>
32#include <unistd.h> /* unlink, stat */
33
34#include <miniupnp/miniwget.h> /* parseURL */
35
36#include "transmission.h"
37#include "bencode.h"
38#include "crypto.h" /* tr_sha1 */
39#include "metainfo.h"
40#include "platform.h"
41#include "utils.h"
42
43
44static int
45tr_httpParseUrl( const char * url_in, int len,
46                 char ** setme_host, int * setme_port, char ** setme_path )
47{
48    char * url = tr_strndup( url_in, len );
49    char * path;
50    char host[4096+1];
51    unsigned short port;
52    int success;
53
54    success = parseURL( url, host, &port, &path );
55
56    if( success ) {
57        *setme_host = tr_strdup( host );
58        *setme_port = port;
59        *setme_path = tr_strdup( path );
60    }
61
62    tr_free( url );
63
64    return !success;
65}
66
67/***********************************************************************
68 * Local prototypes
69 **********************************************************************/
70static int getannounce( tr_info * inf, benc_val_t * meta );
71static char * announceToScrape( const char * announce );
72static int parseFiles( tr_info * inf, benc_val_t * name,
73                       benc_val_t * files, benc_val_t * length );
74
75/***
76****
77***/
78
79#define WANTBYTES( want, got ) \
80    if( (want) > (got) ) { return; } else { (got) -= (want); }
81static void
82strlcat_utf8( void * dest, const void * src, size_t len, char skip )
83{
84    char       * s      = dest;
85    const char * append = src;
86    const char * p;
87
88    /* don't overwrite the nul at the end */
89    len--;
90
91    /* Go to the end of the destination string */
92    while( s[0] )
93    {
94        s++;
95        len--;
96    }
97
98    /* Now start appending, converting on the fly if necessary */
99    for( p = append; p[0]; )
100    {
101        /* skip over the requested character */
102        if( skip == p[0] )
103        {
104            p++;
105            continue;
106        }
107
108        if( !( p[0] & 0x80 ) )
109        {
110            /* ASCII character */
111            WANTBYTES( 1, len );
112            *(s++) = *(p++);
113            continue;
114        }
115
116        if( ( p[0] & 0xE0 ) == 0xC0 && ( p[1] & 0xC0 ) == 0x80 )
117        {
118            /* 2-bytes UTF-8 character */
119            WANTBYTES( 2, len );
120            *(s++) = *(p++); *(s++) = *(p++);
121            continue;
122        }
123
124        if( ( p[0] & 0xF0 ) == 0xE0 && ( p[1] & 0xC0 ) == 0x80 &&
125            ( p[2] & 0xC0 ) == 0x80 )
126        {
127            /* 3-bytes UTF-8 character */
128            WANTBYTES( 3, len );
129            *(s++) = *(p++); *(s++) = *(p++);
130            *(s++) = *(p++);
131            continue;
132        }
133
134        if( ( p[0] & 0xF8 ) == 0xF0 && ( p[1] & 0xC0 ) == 0x80 &&
135            ( p[2] & 0xC0 ) == 0x80 && ( p[3] & 0xC0 ) == 0x80 )
136        {
137            /* 4-bytes UTF-8 character */
138            WANTBYTES( 4, len );
139            *(s++) = *(p++); *(s++) = *(p++);
140            *(s++) = *(p++); *(s++) = *(p++);
141            continue;
142        }
143
144        /* ISO 8859-1 -> UTF-8 conversion */
145        WANTBYTES( 2, len );
146        *(s++) = 0xC0 | ( ( *p & 0xFF ) >> 6 );
147        *(s++) = 0x80 | ( *(p++) & 0x3F );
148    }
149}
150
151static void
152savedname( char * name, size_t len, const char * hash, const char * tag )
153{
154    const char * torDir = tr_getTorrentsDirectory ();
155
156    if( tag == NULL )
157    {
158        tr_buildPath( name, len, torDir, hash, NULL );
159    }
160    else
161    {
162        char base[1024];
163        snprintf( base, sizeof(base), "%s-%s", hash, tag );
164        tr_buildPath( name, len, torDir, base, NULL );
165    }
166}
167
168
169int
170tr_metainfoParse( tr_info * inf, const benc_val_t * meta_in, const char * tag )
171{
172    int i;
173    benc_val_t * beInfo, * val, * val2;
174    benc_val_t * meta = (benc_val_t *) meta_in;
175
176    /* info_hash: urlencoded 20-byte SHA1 hash of the value of the info key
177     * from the Metainfo file. Note that the value will be a bencoded
178     * dictionary, given the definition of the info key above. */
179    if(( beInfo = tr_bencDictFindType( meta, "info", TYPE_DICT )))
180    {
181        int len;
182        char * str = tr_bencSave( beInfo, &len );
183        tr_sha1( inf->hash, str, len, NULL );
184        tr_free( str );
185    }
186    else
187    {
188        tr_err( "info dictionary not found!" );
189        return TR_EINVALID;
190    }
191
192    for( i = 0; i < SHA_DIGEST_LENGTH; i++ )
193    {
194        snprintf( inf->hashString + i * 2, sizeof( inf->hashString ) - i * 2,
195                  "%02x", inf->hash[i] );
196    }
197    savedname( inf->torrent, sizeof( inf->torrent ), inf->hashString, tag );
198
199    /* Comment info */
200    val = tr_bencDictFindFirst( meta, "comment.utf-8", "comment", NULL );
201    if( NULL != val && TYPE_STR == val->type )
202    {
203        strlcat_utf8( inf->comment, val->val.s.s, sizeof( inf->comment ), 0 );
204    }
205   
206    /* Creator info */
207    val = tr_bencDictFindFirst( meta, "created by.utf-8", "created by", NULL );
208    if( NULL != val && TYPE_STR == val->type )
209    {
210        strlcat_utf8( inf->creator, val->val.s.s, sizeof( inf->creator ), 0 );
211    }
212   
213    /* Date created */
214    inf->dateCreated = 0;
215    val = tr_bencDictFind( meta, "creation date" );
216    if( NULL != val && TYPE_INT == val->type )
217    {
218        inf->dateCreated = val->val.i;
219    }
220   
221    /* Private torrent */
222    val  = tr_bencDictFind( beInfo, "private" );
223    val2 = tr_bencDictFind( meta,  "private" );
224    if( ( NULL != val  && ( TYPE_INT != val->type  || 0 != val->val.i ) ) ||
225        ( NULL != val2 && ( TYPE_INT != val2->type || 0 != val2->val.i ) ) )
226    {
227        inf->isPrivate = 1;
228    }
229   
230    /* Piece length */
231    val = tr_bencDictFind( beInfo, "piece length" );
232    if( NULL == val || TYPE_INT != val->type )
233    {
234        tr_err( "%s \"piece length\" entry", ( val ? "Invalid" : "Missing" ) );
235        goto fail;
236    }
237    inf->pieceSize = val->val.i;
238
239    /* Hashes */
240    val = tr_bencDictFind( beInfo, "pieces" );
241    if( NULL == val || TYPE_STR != val->type )
242    {
243        tr_err( "%s \"pieces\" entry", ( val ? "Invalid" : "Missing" ) );
244        goto fail;
245    }
246    if( val->val.s.i % SHA_DIGEST_LENGTH )
247    {
248        tr_err( "Invalid \"piece\" string (size is %d)", val->val.s.i );
249        goto fail;
250    }
251    inf->pieceCount = val->val.s.i / SHA_DIGEST_LENGTH;
252
253    inf->pieces = calloc ( inf->pieceCount, sizeof(tr_piece) );
254
255    for ( i=0; i<inf->pieceCount; ++i )
256    {
257        memcpy (inf->pieces[i].hash, &val->val.s.s[i*SHA_DIGEST_LENGTH], SHA_DIGEST_LENGTH);
258    }
259
260    /* get file or top directory name */
261    val = tr_bencDictFindFirst( beInfo, "name.utf-8", "name", NULL );
262    if( parseFiles( inf, tr_bencDictFindFirst( beInfo,
263                                               "name.utf-8", "name", NULL ),
264                    tr_bencDictFind( beInfo, "files" ),
265                    tr_bencDictFind( beInfo, "length" ) ) )
266    {
267        goto fail;
268    }
269
270    if( !inf->fileCount )
271    {
272        tr_err( "Torrent has no files." );
273        goto fail;
274    }
275
276    if( !inf->totalSize )
277    {
278        tr_err( "Torrent is zero bytes long." );
279        goto fail;
280    }
281
282    /* TODO add more tests so we don't crash on weird files */
283
284    if( (uint64_t) inf->pieceCount !=
285        ( inf->totalSize + inf->pieceSize - 1 ) / inf->pieceSize )
286    {
287        tr_err( "Size of hashes and files don't match" );
288        goto fail;
289    }
290
291    /* get announce or announce-list */
292    if( getannounce( inf, meta ) )
293    {
294        goto fail;
295    }
296
297    return TR_OK;
298
299  fail:
300    tr_metainfoFree( inf );
301    return TR_EINVALID;
302}
303
304void tr_metainfoFree( tr_info * inf )
305{
306    int i, j;
307
308    for( i=0; i<inf->fileCount; ++i )
309        tr_free( inf->files[i].name );
310
311    tr_free( inf->pieces );
312    tr_free( inf->files );
313    tr_free( inf->primaryAddress );
314   
315    for( i=0; i<inf->trackerTiers; ++i ) {
316        for( j=0; j<inf->trackerList[i].count; ++j )
317            tr_trackerInfoClear( &inf->trackerList[i].list[j] );
318        tr_free( inf->trackerList[i].list );
319    }
320    tr_free( inf->trackerList );
321
322    memset( inf, '\0', sizeof(tr_info) );
323}
324
325static int getfile( char ** setme,
326                    const char * prefix, benc_val_t * name )
327{
328    benc_val_t  * dir;
329    const char ** list;
330    int           ii, jj;
331    char          buf[4096];
332
333    if( TYPE_LIST != name->type )
334    {
335        return TR_EINVALID;
336    }
337
338    list = calloc( name->val.l.count, sizeof( list[0] ) );
339    if( NULL == list )
340    {
341        return TR_EINVALID;
342    }
343
344    for( ii = jj = 0; name->val.l.count > ii; ii++ )
345    {
346        dir = &name->val.l.vals[ii];
347        if( TYPE_STR != dir->type )
348        {
349            continue;
350        }
351        if( 0 == strcmp( "..", dir->val.s.s ) )
352        {
353            if( 0 < jj )
354            {
355                jj--;
356            }
357        }
358        else if( 0 != strcmp( ".", dir->val.s.s ) )
359        {
360            list[jj] = dir->val.s.s;
361            jj++;
362        }
363    }
364
365    if( 0 == jj )
366    {
367        free( list );
368        return TR_EINVALID;
369    }
370
371    memset( buf, 0, sizeof( buf ) );
372    strlcat_utf8( buf, prefix, sizeof(buf), 0 );
373    for( ii = 0; jj > ii; ii++ )
374    {
375        strlcat_utf8( buf, TR_PATH_DELIMITER_STR, sizeof(buf), 0 );
376        strlcat_utf8( buf, list[ii], sizeof(buf), TR_PATH_DELIMITER );
377    }
378    free( list );
379
380    tr_free( *setme );
381    *setme = tr_strdup( buf );
382
383    return TR_OK;
384}
385
386static int getannounce( tr_info * inf, benc_val_t * meta )
387{
388    benc_val_t        * val, * subval, * urlval;
389    char              * address, * announce;
390    int                 ii, jj, port, random, subcount;
391    tr_tracker_info   * sublist;
392    void * swapping;
393
394    /* Announce-list */
395    val = tr_bencDictFind( meta, "announce-list" );
396    if( NULL != val && TYPE_LIST == val->type && 0 < val->val.l.count )
397    {
398        inf->trackerTiers = 0;
399        inf->trackerList = calloc( val->val.l.count,
400                                   sizeof( inf->trackerList[0] ) );
401
402        /* iterate through the announce-list's tiers */
403        for( ii = 0; ii < val->val.l.count; ii++ )
404        {
405            subval = &val->val.l.vals[ii];
406            if( TYPE_LIST != subval->type || 0 >= subval->val.l.count )
407            {
408                continue;
409            }
410            subcount = 0;
411            sublist = calloc( subval->val.l.count, sizeof( sublist[0] ) );
412
413            /* iterate through the tier's items */
414            for( jj = 0; jj < subval->val.l.count; jj++ )
415            {
416                tr_tracker_info tmp;
417
418                urlval = &subval->val.l.vals[jj];
419                if( TYPE_STR != urlval->type ||
420                    tr_trackerInfoInit( &tmp, urlval->val.s.s, urlval->val.s.i ) )
421                {
422                    continue;
423                }
424
425                if( !inf->primaryAddress ) {
426                     char buf[1024];
427                     snprintf( buf, sizeof(buf), "%s:%d", tmp.address, tmp.port );
428                     inf->primaryAddress = tr_strdup( buf );
429                }
430
431                /* place the item info in a random location in the sublist */
432                random = tr_rand( subcount + 1 );
433                if( random != subcount )
434                    sublist[subcount] = sublist[random];
435                sublist[random] = tmp;
436                subcount++;
437            }
438
439            /* just use sublist as-is if it's full */
440            if( subcount == subval->val.l.count )
441            {
442                inf->trackerList[inf->trackerTiers].list = sublist;
443                inf->trackerList[inf->trackerTiers].count = subcount;
444                inf->trackerTiers++;
445            }
446            /* if we skipped some of the tier's items then trim the sublist */
447            else if( 0 < subcount )
448            {
449                inf->trackerList[inf->trackerTiers].list = calloc( subcount, sizeof( sublist[0] ) );
450                memcpy( inf->trackerList[inf->trackerTiers].list, sublist,
451                        sizeof( sublist[0] ) * subcount );
452                inf->trackerList[inf->trackerTiers].count = subcount;
453                inf->trackerTiers++;
454                free( sublist );
455            }
456            /* drop the whole sublist if we didn't use any items at all */
457            else
458            {
459                free( sublist );
460            }
461        }
462
463        /* did we use any of the tiers? */
464        if( 0 == inf->trackerTiers )
465        {
466            tr_inf( "No valid entries in \"announce-list\"" );
467            free( inf->trackerList );
468            inf->trackerList = NULL;
469        }
470        /* trim unused sublist pointers */
471        else if( inf->trackerTiers < val->val.l.count )
472        {
473            swapping = inf->trackerList;
474            inf->trackerList = calloc( inf->trackerTiers,
475                                       sizeof( inf->trackerList[0] ) );
476            memcpy( inf->trackerList, swapping,
477                    sizeof( inf->trackerList[0] ) * inf->trackerTiers );
478            free( swapping );
479        }
480    }
481
482    /* Regular announce value */
483    val = tr_bencDictFind( meta, "announce" );
484    if( NULL == val || TYPE_STR != val->type )
485    {
486        tr_err( "No \"announce\" entry" );
487        return TR_EINVALID;
488    }
489
490    if( !inf->trackerTiers )
491    {
492
493        if( tr_httpParseUrl( val->val.s.s, val->val.s.i,
494                             &address, &port, &announce ) )
495        {
496            tr_err( "Invalid announce URL (%s)", val->val.s.s );
497            return TR_EINVALID;
498        }
499        sublist                   = calloc( 1, sizeof( sublist[0] ) );
500        sublist[0].address        = address;
501        sublist[0].port           = port;
502        sublist[0].announce       = announce;
503        sublist[0].scrape         = announceToScrape( announce );
504        inf->trackerList          = calloc( 1, sizeof( inf->trackerList[0] ) );
505        inf->trackerList[0].list  = sublist;
506        inf->trackerList[0].count = 1;
507        inf->trackerTiers         = 1;
508
509        if( !inf->primaryAddress ) {
510            char buf[1024];
511            snprintf( buf, sizeof(buf), "%s:%d", sublist[0].address, sublist[0].port );
512            inf->primaryAddress = tr_strdup( buf );
513        }
514
515    }
516
517    return TR_OK;
518}
519
520static char * announceToScrape( const char * announce )
521{
522    char old[]  = "announce";
523    int  oldlen = 8;
524    char new[]  = "scrape";
525    int  newlen = 6;
526    char * slash, * scrape;
527    size_t scrapelen, used;
528
529    slash = strrchr( announce, '/' );
530    if( NULL == slash )
531    {
532        return NULL;
533    }
534    slash++;
535   
536    if( 0 != strncmp( slash, old, oldlen ) )
537    {
538        return NULL;
539    }
540
541    scrapelen = strlen( announce ) - oldlen + newlen;
542    scrape = calloc( scrapelen + 1, 1 );
543    if( NULL == scrape )
544    {
545        return NULL;
546    }
547    assert( ( size_t )( slash - announce ) < scrapelen );
548    memcpy( scrape, announce, slash - announce );
549    used = slash - announce;
550    strncat( scrape, new, scrapelen - used );
551    used += newlen;
552    assert( strlen( scrape ) == used );
553    if( used < scrapelen )
554    {
555        assert( strlen( slash + oldlen ) == scrapelen - used );
556        strncat( scrape, slash + oldlen, scrapelen - used );
557    }
558
559    return scrape;
560}
561
562int
563tr_trackerInfoInit( tr_tracker_info  * info,
564                    const char       * address,
565                    int                address_len )
566{
567    int ret = tr_httpParseUrl( address, address_len,
568                               &info->address,
569                               &info->port,
570                               &info->announce );
571    if( !ret )
572        info->scrape = announceToScrape( info->announce );
573
574    return ret;
575}
576
577void
578tr_trackerInfoClear( tr_tracker_info * info )
579{
580    tr_free( info->address );
581    tr_free( info->announce );
582    tr_free( info->scrape );
583    memset( info, '\0', sizeof(tr_tracker_info) );
584}
585
586void
587tr_metainfoRemoveSaved( const char * hashString, const char * tag )
588{
589    char file[MAX_PATH_LENGTH];
590    savedname( file, sizeof file, hashString, tag );
591    unlink( file );
592}
593
594/* Save a copy of the torrent file in the saved torrent directory */
595int
596tr_metainfoSave( const char * hash, const char * tag,
597                 const uint8_t * buf, size_t buflen )
598{
599    char   path[MAX_PATH_LENGTH];
600    FILE * file;
601
602    savedname( path, sizeof path, hash, tag );
603    file = fopen( path, "wb+" );
604    if( !file )
605    {
606        tr_err( "Could not open file (%s) (%s)", path, strerror( errno ) );
607        return TR_EINVALID;
608    }
609    fseek( file, 0, SEEK_SET );
610    if( fwrite( buf, 1, buflen, file ) != buflen )
611    {
612        tr_err( "Could not write file (%s) (%s)", path, strerror( errno ) );
613        fclose( file );
614        return TR_EINVALID;
615    }
616    fclose( file );
617
618    return TR_OK;
619}
620
621static int
622parseFiles( tr_info * inf, benc_val_t * name,
623            benc_val_t * files, benc_val_t * length )
624{
625    benc_val_t * item, * path;
626    int ii;
627
628    if( NULL == name || TYPE_STR != name->type )
629    {
630        tr_err( "%s \"name\" string", ( name ? "Invalid" : "Missing" ) );
631        return TR_EINVALID;
632    }
633
634    strlcat_utf8( inf->name, name->val.s.s, sizeof( inf->name ),
635                  TR_PATH_DELIMITER );
636    if( '\0' == inf->name[0] )
637    {
638        tr_err( "Invalid \"name\" string" );
639        return TR_EINVALID;
640    }
641    inf->totalSize = 0;
642
643    if( files && TYPE_LIST == files->type )
644    {
645        /* Multi-file mode */
646        inf->isMultifile = 1;
647        inf->fileCount = files->val.l.count;
648        inf->files     = calloc( inf->fileCount, sizeof( inf->files[0] ) );
649
650        if( !inf->files )
651            return TR_EINVALID;
652
653        for( ii = 0; files->val.l.count > ii; ii++ )
654        {
655            item = &files->val.l.vals[ii];
656            path = tr_bencDictFindFirst( item, "path.utf-8", "path", NULL );
657            if( getfile( &inf->files[ii].name, inf->name, path ) )
658            {
659                tr_err( "%s \"path\" entry",
660                        ( path ? "Invalid" : "Missing" ) );
661                return TR_EINVALID;
662            }
663            length = tr_bencDictFind( item, "length" );
664            if( NULL == length || TYPE_INT != length->type )
665            {
666                tr_err( "%s \"length\" entry",
667                        ( length ? "Invalid" : "Missing" ) );
668                return TR_EINVALID;
669            }
670            inf->files[ii].length = length->val.i;
671            inf->totalSize         += length->val.i;
672        }
673    }
674    else if( NULL != length && TYPE_INT == length->type )
675    {
676        char buf[4096];
677
678        /* Single-file mode */
679        inf->isMultifile = 0;
680        inf->fileCount = 1;
681        inf->files     = calloc( 1, sizeof( inf->files[0] ) );
682
683        if( !inf->files )
684            return TR_EINVALID;
685
686        memset( buf, 0, sizeof( buf ) );
687        strlcat_utf8( buf, name->val.s.s, sizeof(buf), TR_PATH_DELIMITER );
688        tr_free( inf->files[0].name );
689        inf->files[0].name = tr_strdup( buf );
690
691        inf->files[0].length = length->val.i;
692        inf->totalSize      += length->val.i;
693    }
694    else
695    {
696        tr_err( "%s \"files\" entry and %s \"length\" entry",
697                ( files ? "Invalid" : "Missing" ),
698                ( length ? "invalid" : "missing" ) );
699    }
700
701    return TR_OK;
702}
Note: See TracBrowser for help on using the repository browser.