source: trunk/libtransmission/web.c @ 9868

Last change on this file since 9868 was 9868, checked in by charles, 12 years ago

happy new year!

  • Property svn:keywords set to Date Rev Author Id
File size: 15.4 KB
Line 
1/*
2 * This file Copyright (C) 2008-2010 Mnemosyne LLC
3 *
4 * This file is licensed by the GPL version 2.  Works owned by the
5 * Transmission project are granted a special exemption to clause 2(b)
6 * so that the bulk of its code can remain under the MIT license.
7 * This exemption does not extend to derived works not owned by
8 * the Transmission project.
9 *
10 * $Id: web.c 9868 2010-01-04 21:00:47Z charles $
11 */
12
13#include <assert.h>
14
15#include <curl/curl.h>
16#include <event.h>
17
18#include "transmission.h"
19#include "net.h"
20#include "session.h"
21#include "trevent.h"
22#include "utils.h"
23#include "version.h"
24#include "web.h"
25
26enum
27{
28    TR_MEMORY_TRASH = 0xCC,
29
30    DEFAULT_TIMER_MSEC = 1500 /* arbitrary */
31};
32
33#if 0
34#define dbgmsg(...) \
35    do { \
36        fprintf( stderr, __VA_ARGS__ ); \
37        fprintf( stderr, "\n" ); \
38    } while( 0 )
39#else
40#define dbgmsg( ... ) \
41    do { \
42        if( tr_deepLoggingIsActive( ) ) \
43            tr_deepLog( __FILE__, __LINE__, "web", __VA_ARGS__ ); \
44    } while( 0 )
45#endif
46
47/***
48****
49***/
50
51struct tr_web
52{
53    tr_bool closing;
54    tr_bool haveAddr;
55    int taskCount;
56    long timer_msec;
57    CURLM * multi;
58    tr_session * session;
59    tr_address addr;
60    struct event timer_event;
61};
62
63static void
64web_free( tr_web * g )
65{
66    curl_multi_cleanup( g->multi );
67    evtimer_del( &g->timer_event );
68    memset( g, TR_MEMORY_TRASH, sizeof( struct tr_web ) );
69    tr_free( g );
70}
71
72/***
73****
74***/
75
76struct tr_web_task
77{
78    unsigned long tag;
79    struct evbuffer * response;
80    char * url;
81    char * range;
82    tr_session * session;
83    tr_web_done_func * done_func;
84    void * done_func_user_data;
85};
86
87static void
88task_free( struct tr_web_task * task )
89{
90    evbuffer_free( task->response );
91    tr_free( task->range );
92    tr_free( task->url );
93    memset( task, TR_MEMORY_TRASH, sizeof( struct tr_web_task ) );
94    tr_free( task );
95}
96
97/***
98****
99***/
100
101static size_t
102writeFunc( void * ptr, size_t size, size_t nmemb, void * vtask )
103{
104    const size_t byteCount = size * nmemb;
105    struct tr_web_task * task = vtask;
106    evbuffer_add( task->response, ptr, byteCount );
107    dbgmsg( "wrote %zu bytes to task %p's buffer", byteCount, task );
108    return byteCount;
109}
110
111static int
112sockoptfunction( void * vtask, curl_socket_t fd, curlsocktype purpose UNUSED )
113{
114    struct tr_web_task * task = vtask;
115    const tr_bool isScrape = strstr( task->url, "scrape" ) != NULL;
116    const tr_bool isAnnounce = strstr( task->url, "announce" ) != NULL;
117
118    /* announce and scrape requests have tiny payloads. */
119    if( isScrape || isAnnounce )
120    {
121        const int sndbuf = 1024;
122        const int rcvbuf = isScrape ? 2048 : 3072;
123        setsockopt( fd, SOL_SOCKET, SO_SNDBUF, &sndbuf, sizeof(sndbuf) );
124        setsockopt( fd, SOL_SOCKET, SO_RCVBUF, &rcvbuf, sizeof(rcvbuf) );
125    }
126
127    /* return nonzero if this function encountered an error */
128    return 0;
129}
130
131static int
132getCurlProxyType( tr_proxy_type t )
133{
134    if( t == TR_PROXY_SOCKS4 ) return CURLPROXY_SOCKS4;
135    if( t == TR_PROXY_SOCKS5 ) return CURLPROXY_SOCKS5;
136    return CURLPROXY_HTTP;
137}
138
139static int
140getTimeoutFromURL( const char * url )
141{
142    if( strstr( url, "scrape" ) != NULL ) return 20;
143    if( strstr( url, "announce" ) != NULL ) return 30;
144    return 240;
145}
146
147static void
148addTask( void * vtask )
149{
150    struct tr_web_task * task = vtask;
151    const tr_session * session = task->session;
152
153    if( session && session->web )
154    {
155        CURL * e = curl_easy_init( );
156        struct tr_web * web = session->web;
157        const long timeout = getTimeoutFromURL( task->url );
158        const long verbose = getenv( "TR_CURL_VERBOSE" ) != NULL;
159        const char * user_agent = TR_NAME "/" LONG_VERSION_STRING;
160
161        dbgmsg( "adding task #%lu [%s]", task->tag, task->url );
162
163        if( !task->range && session->isProxyEnabled ) {
164            curl_easy_setopt( e, CURLOPT_PROXY, session->proxy );
165            curl_easy_setopt( e, CURLOPT_PROXYAUTH, CURLAUTH_ANY );
166            curl_easy_setopt( e, CURLOPT_PROXYPORT, session->proxyPort );
167            curl_easy_setopt( e, CURLOPT_PROXYTYPE,
168                                      getCurlProxyType( session->proxyType ) );
169        }
170        if( !task->range && session->isProxyAuthEnabled ) {
171            char * str = tr_strdup_printf( "%s:%s", session->proxyUsername,
172                                                    session->proxyPassword );
173            curl_easy_setopt( e, CURLOPT_PROXYUSERPWD, str );
174            tr_free( str );
175        }
176
177        curl_easy_setopt( e, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4 );
178        curl_easy_setopt( e, CURLOPT_TIMEOUT, timeout );
179        curl_easy_setopt( e, CURLOPT_CONNECTTIMEOUT, timeout-5 );
180        curl_easy_setopt( e, CURLOPT_SOCKOPTFUNCTION, sockoptfunction );
181        curl_easy_setopt( e, CURLOPT_SOCKOPTDATA, task );
182        curl_easy_setopt( e, CURLOPT_WRITEDATA, task );
183        curl_easy_setopt( e, CURLOPT_WRITEFUNCTION, writeFunc );
184        curl_easy_setopt( e, CURLOPT_DNS_CACHE_TIMEOUT, 1800L );
185        curl_easy_setopt( e, CURLOPT_FOLLOWLOCATION, 1L );
186        curl_easy_setopt( e, CURLOPT_AUTOREFERER, 1L );
187        curl_easy_setopt( e, CURLOPT_FORBID_REUSE, 1L );
188        curl_easy_setopt( e, CURLOPT_MAXREDIRS, -1L );
189        curl_easy_setopt( e, CURLOPT_NOSIGNAL, 1L );
190        curl_easy_setopt( e, CURLOPT_PRIVATE, task );
191        curl_easy_setopt( e, CURLOPT_SSL_VERIFYHOST, 0L );
192        curl_easy_setopt( e, CURLOPT_SSL_VERIFYPEER, 0L );
193        curl_easy_setopt( e, CURLOPT_URL, task->url );
194        curl_easy_setopt( e, CURLOPT_USERAGENT, user_agent );
195        curl_easy_setopt( e, CURLOPT_VERBOSE, verbose );
196        if( web->haveAddr )
197            curl_easy_setopt( e, CURLOPT_INTERFACE, tr_ntop_non_ts( &web->addr ) );
198        if( task->range )
199            curl_easy_setopt( e, CURLOPT_RANGE, task->range );
200
201        if( curl_multi_add_handle( web->multi, e ) == CURLM_OK )
202            ++web->taskCount;
203    }
204}
205
206/***
207****
208***/
209
210static void
211task_finish( struct tr_web_task * task, long response_code )
212{
213    dbgmsg( "finished web task %lu; got %ld", task->tag, response_code );
214
215    if( task->done_func != NULL )
216        task->done_func( task->session,
217                         response_code,
218                         EVBUFFER_DATA( task->response ),
219                         EVBUFFER_LENGTH( task->response ),
220                         task->done_func_user_data );
221    task_free( task );
222}
223
224static void
225remove_finished_tasks( tr_web * g )
226{
227    CURLMsg * msg;
228    int msgs_left;
229
230    while(( msg = curl_multi_info_read( g->multi, &msgs_left ))) {
231        if(( msg->msg == CURLMSG_DONE ) && ( msg->easy_handle != NULL )) {
232            long code;
233            struct tr_web_task * task;
234            CURL * e = msg->easy_handle;
235            curl_easy_getinfo( e, CURLINFO_PRIVATE, (void*)&task );
236            curl_easy_getinfo( e, CURLINFO_RESPONSE_CODE, &code );
237            curl_multi_remove_handle( g->multi, e );
238            curl_easy_cleanup( e );
239            task_finish( task, code );
240        }
241    }
242}
243
244static void
245restart_timer( tr_web * g )
246{
247    dbgmsg( "adding a timeout for %.1f seconds from now", g->timer_msec/1000.0 );
248    evtimer_del( &g->timer_event );
249    tr_timerAddMsec( &g->timer_event, g->timer_msec );
250}
251
252static void
253tr_multi_perform( tr_web * g, int fd, int curl_what )
254{
255    CURLMcode m;
256
257    dbgmsg( "check_run_count: %d taskCount", g->taskCount );
258
259    /* invoke libcurl's processing */
260    do
261        m = curl_multi_socket_action( g->multi, fd, curl_what, &g->taskCount );
262    while( m == CURLM_CALL_MULTI_SOCKET );
263
264    remove_finished_tasks( g );
265
266    if( g->closing && !g->taskCount )
267        web_free( g );
268    else
269        restart_timer( g );
270}
271
272/* libevent says that sock is ready to be processed, so wake up libcurl */
273static void
274event_cb( int fd, short ev_what, void * g )
275{
276    int curl_what = 0;
277    if( ev_what & EV_READ ) curl_what |= CURL_POLL_IN;
278    if( ev_what & EV_WRITE ) curl_what |= CURL_POLL_OUT;
279    tr_multi_perform( g, fd, curl_what );
280}
281
282/* CURLMOPT_SOCKETFUNCTION */
283static int
284sock_cb( CURL * e UNUSED, curl_socket_t fd, int curl_what,
285         void * vweb, void * vevent )
286{
287    /*static int num_events = 0;*/
288    struct tr_web * web = vweb;
289    struct event * io_event = vevent;
290    dbgmsg( "sock_cb: curl_what %d, fd %d, io_event %p",
291            curl_what, (int)fd, io_event );
292
293    if( ( curl_what == CURL_POLL_NONE ) || ( curl_what & CURL_POLL_REMOVE ) )
294    {
295        if( io_event != NULL )
296        {
297            event_del( io_event );
298#ifndef SYS_DARWIN
299            tr_free( io_event );
300#else
301#warning FIXME - OS X
302#endif
303            curl_multi_assign( web->multi, fd, NULL );
304            /*fprintf( stderr, "-1 io_events to %d\n", --num_events );*/
305        }
306    }
307    else if( curl_what & ( CURL_POLL_IN | CURL_POLL_OUT ) )
308    {
309        const short ev_what = EV_PERSIST
310                           | (( curl_what & CURL_POLL_IN ) ? EV_READ : 0 )
311                           | (( curl_what & CURL_POLL_OUT ) ? EV_WRITE : 0 );
312
313        if( io_event != NULL )
314            event_del( io_event );
315        else {
316            io_event = tr_new0( struct event, 1 );
317            curl_multi_assign( web->multi, fd, io_event );
318            /*fprintf( stderr, "+1 io_events to %d\n", ++num_events );*/
319        }
320
321        dbgmsg( "enabling (libevent %hd, libcurl %d) on io_event %p, fd %d",
322                ev_what, curl_what, io_event, fd );
323        event_set( io_event, fd, ev_what, event_cb, web );
324        event_add( io_event, NULL );
325    }
326    else assert( 0 && "unhandled curl_what" );
327
328    return 0; /* libcurl documentation: "The callback MUST return 0." */
329}
330
331/* libevent says that timer_msec have passed, so wake up libcurl */
332static void
333libevent_timer_cb( int fd UNUSED, short what UNUSED, void * g )
334{
335    dbgmsg( "libevent timer is done" );
336    tr_multi_perform( g, CURL_SOCKET_TIMEOUT, 0 );
337}
338
339/* libcurl documentation: "If 0, it means you should proceed immediately
340 * without waiting for anything. If it returns -1, there's no timeout at all
341 * set ... (but) you must not wait too long (more than a few seconds perhaps)
342 * before you call curl_multi_perform() again."  */
343static void
344multi_timer_cb( CURLM * multi UNUSED, long timer_msec, void * vg )
345{
346    tr_web * g = vg;
347
348    g->timer_msec = timer_msec > 0 ? timer_msec : DEFAULT_TIMER_MSEC;
349
350    if( timer_msec < 1 )
351        tr_multi_perform( g, CURL_SOCKET_TIMEOUT, 0 );
352    else
353        restart_timer( g );
354}
355
356/****
357*****
358****/
359
360void
361tr_webRun( tr_session         * session,
362           const char         * url,
363           const char         * range,
364           tr_web_done_func     done_func,
365           void               * done_func_user_data )
366{
367    if( session->web != NULL )
368    {
369        static unsigned long tag = 0;
370        struct tr_web_task * task = tr_new0( struct tr_web_task, 1 );
371        task->session = session;
372        task->url = tr_strdup( url );
373        task->range = tr_strdup( range );
374        task->done_func = done_func;
375        task->done_func_user_data = done_func_user_data;
376        task->tag = ++tag;
377        task->response = evbuffer_new( );
378        tr_runInEventThread( session, addTask, task );
379    }
380}
381
382void
383tr_webSetInterface( tr_web * web, const tr_address * addr )
384{
385    if(( web->haveAddr = ( addr != NULL )))
386        web->addr = *addr;
387}
388
389tr_web*
390tr_webInit( tr_session * session )
391{
392    tr_web * web;
393
394    /* try to enable ssl for https support; but if that fails,
395     * try a plain vanilla init */
396    if( curl_global_init( CURL_GLOBAL_SSL ) )
397        curl_global_init( 0 );
398
399    web = tr_new0( struct tr_web, 1 );
400    web->session = session;
401    web->timer_msec = DEFAULT_TIMER_MSEC; /* overwritten by multi_timer_cb() */
402    evtimer_set( &web->timer_event, libevent_timer_cb, web );
403
404    web->multi = curl_multi_init( );
405    curl_multi_setopt( web->multi, CURLMOPT_SOCKETDATA, web );
406    curl_multi_setopt( web->multi, CURLMOPT_SOCKETFUNCTION, sock_cb );
407    curl_multi_setopt( web->multi, CURLMOPT_TIMERDATA, web );
408    curl_multi_setopt( web->multi, CURLMOPT_TIMERFUNCTION, multi_timer_cb );
409
410    return web;
411}
412
413void
414tr_webClose( tr_web ** web_in )
415{
416    tr_web * web = *web_in;
417    *web_in = NULL;
418    if( web->taskCount < 1 )
419        web_free( web );
420    else
421        web->closing = 1;
422}
423
424/*****
425******
426******
427*****/
428
429const char *
430tr_webGetResponseStr( long code )
431{
432    switch( code )
433    {
434        case   0: return "No Response";
435        case 101: return "Switching Protocols";
436        case 200: return "OK";
437        case 201: return "Created";
438        case 202: return "Accepted";
439        case 203: return "Non-Authoritative Information";
440        case 204: return "No Content";
441        case 205: return "Reset Content";
442        case 206: return "Partial Content";
443        case 300: return "Multiple Choices";
444        case 301: return "Moved Permanently";
445        case 302: return "Found";
446        case 303: return "See Other";
447        case 304: return "Not Modified";
448        case 305: return "Use Proxy";
449        case 306: return "(Unused)";
450        case 307: return "Temporary Redirect";
451        case 400: return "Bad Request";
452        case 401: return "Unauthorized";
453        case 402: return "Payment Required";
454        case 403: return "Forbidden";
455        case 404: return "Not Found";
456        case 405: return "Method Not Allowed";
457        case 406: return "Not Acceptable";
458        case 407: return "Proxy Authentication Required";
459        case 408: return "Request Timeout";
460        case 409: return "Conflict";
461        case 410: return "Gone";
462        case 411: return "Length Required";
463        case 412: return "Precondition Failed";
464        case 413: return "Request Entity Too Large";
465        case 414: return "Request-URI Too Long";
466        case 415: return "Unsupported Media Type";
467        case 416: return "Requested Range Not Satisfiable";
468        case 417: return "Expectation Failed";
469        case 500: return "Internal Server Error";
470        case 501: return "Not Implemented";
471        case 502: return "Bad Gateway";
472        case 503: return "Service Unavailable";
473        case 504: return "Gateway Timeout";
474        case 505: return "HTTP Version Not Supported";
475        default:  return "Unknown Error";
476    }
477}
478
479void
480tr_http_escape( struct evbuffer  * out,
481                const char * str, int len, tr_bool escape_slashes )
482{
483    int i;
484
485    if( ( len < 0 ) && ( str != NULL ) )
486        len = strlen( str );
487
488    for( i = 0; i < len; i++ ) {
489        switch( str[i] ) {
490        case ',': case '-': case '.':
491        case '0': case '1': case '2': case '3': case '4':
492        case '5': case '6': case '7': case '8': case '9':
493        case 'a': case 'b': case 'c': case 'd': case 'e':
494        case 'f': case 'g': case 'h': case 'i': case 'j':
495        case 'k': case 'l': case 'm': case 'n': case 'o':
496        case 'p': case 'q': case 'r': case 's': case 't':
497        case 'u': case 'v': case 'w': case 'x': case 'y': case 'z':
498        case 'A': case 'B': case 'C': case 'D': case 'E':
499        case 'F': case 'G': case 'H': case 'I': case 'J':
500        case 'K': case 'L': case 'M': case 'N': case 'O':
501        case 'P': case 'Q': case 'R': case 'S': case 'T':
502        case 'U': case 'V': case 'W': case 'X': case 'Y': case 'Z':
503            evbuffer_add( out, &str[i], 1 );
504            break;
505        case '/':
506            if(!escape_slashes) {
507                evbuffer_add( out, &str[i], 1 );
508                break;
509            }
510            /* Fall through. */
511        default:
512            evbuffer_add_printf( out, "%%%02X", (unsigned)(str[i]&0xFF) );
513            break;
514        }
515    }
516}
517
518char *
519tr_http_unescape( const char * str, int len )
520{
521    char * tmp = curl_unescape( str, len );
522    char * ret = tr_strdup( tmp );
523    curl_free( tmp );
524    return ret;
525}
Note: See TracBrowser for help on using the repository browser.