source: trunk/libtransmission/web.c @ 9813

Last change on this file since 9813 was 9813, checked in by charles, 13 years ago

(trunk libT) #2416 "crash in event_queue_insert" -- possible fix. it looks like the kqueue client is accessing the event after the callback and after event_del() is being called. *If* that's the case I don't know if it's a libevent bug or if libtransmission is making assumptions it shouldn't've... but it's easy enough to keep the memory in a pool and free it later when it's safer to do so.

  • Property svn:keywords set to Date Rev Author Id
File size: 15.4 KB
Line 
1/*
2 * This file Copyright (C) 2008-2009 Mnemosyne LLC
3 *
4 * This file is licensed by the GPL version 2.  Works owned by the
5 * Transmission project are granted a special exemption to clause 2(b)
6 * so that the bulk of its code can remain under the MIT license.
7 * This exemption does not extend to derived works not owned by
8 * the Transmission project.
9 *
10 * $Id: web.c 9813 2009-12-23 16:12:18Z charles $
11 */
12
13#include <curl/curl.h>
14#include <event.h>
15
16#include "transmission.h"
17#include "list.h"
18#include "net.h"
19#include "session.h"
20#include "trevent.h"
21#include "utils.h"
22#include "version.h"
23#include "web.h"
24
25enum
26{
27    TR_MEMORY_TRASH = 0xCC,
28
29    DEFAULT_TIMER_MSEC = 1500 /* arbitrary */
30};
31
32#if 0
33#define dbgmsg(...) \
34    do { \
35        fprintf( stderr, __VA_ARGS__ ); \
36        fprintf( stderr, "\n" ); \
37    } while( 0 )
38#else
39#define dbgmsg( ... ) \
40    do { \
41        if( tr_deepLoggingIsActive( ) ) \
42            tr_deepLog( __FILE__, __LINE__, "web", __VA_ARGS__ ); \
43    } while( 0 )
44#endif
45
46struct tr_web
47{
48    tr_bool closing;
49    tr_bool haveAddr;
50    int taskCount;
51    long timer_msec;
52    CURLM * multi;
53    tr_session * session;
54    tr_address addr;
55    struct event timer_event;
56    tr_list * freeme;
57};
58
59static void
60web_free( tr_web * g )
61{
62    curl_multi_cleanup( g->multi );
63    tr_list_free( &g->freeme, tr_free );
64    evtimer_del( &g->timer_event );
65    memset( g, TR_MEMORY_TRASH, sizeof( struct tr_web ) );
66    tr_free( g );
67}
68
69/***
70****
71***/
72
73struct tr_web_task
74{
75    unsigned long tag;
76    struct evbuffer * response;
77    char * url;
78    char * range;
79    tr_session * session;
80    tr_web_done_func * done_func;
81    void * done_func_user_data;
82};
83
84static void
85task_free( struct tr_web_task * task )
86{
87    evbuffer_free( task->response );
88    tr_free( task->range );
89    tr_free( task->url );
90    memset( task, TR_MEMORY_TRASH, sizeof( struct tr_web_task ) );
91    tr_free( task );
92}
93
94/***
95****
96***/
97
98static size_t
99writeFunc( void * ptr, size_t size, size_t nmemb, void * vtask )
100{
101    const size_t byteCount = size * nmemb;
102    struct tr_web_task * task = vtask;
103    evbuffer_add( task->response, ptr, byteCount );
104    dbgmsg( "wrote %zu bytes to task %p's buffer", byteCount, task );
105    return byteCount;
106}
107
108static void
109sockoptfunction( void * vtask, curl_socket_t fd, curlsocktype purpose UNUSED )
110{
111    struct tr_web_task * task = vtask;
112    const tr_bool isScrape = strstr( task->url, "scrape" ) != NULL;
113    const tr_bool isAnnounce = strstr( task->url, "announce" ) != NULL;
114
115    /* announce and scrape requests have tiny payloads...
116     * which have very small payloads */
117    if( isScrape || isAnnounce )
118    {
119        const int sndbuf = 1024;
120        const int rcvbuf = isScrape ? 2048 : 3072;
121        setsockopt( fd, SOL_SOCKET, SO_SNDBUF, &sndbuf, sizeof(sndbuf) );
122        setsockopt( fd, SOL_SOCKET, SO_RCVBUF, &rcvbuf, sizeof(rcvbuf) );
123    }
124}
125
126static int
127getCurlProxyType( tr_proxy_type t )
128{
129    if( t == TR_PROXY_SOCKS4 ) return CURLPROXY_SOCKS4;
130    if( t == TR_PROXY_SOCKS5 ) return CURLPROXY_SOCKS5;
131    return CURLPROXY_HTTP;
132}
133
134static int
135getTimeoutFromURL( const char * url )
136{
137    if( strstr( url, "scrape" ) != NULL ) return 20;
138    if( strstr( url, "announce" ) != NULL ) return 30;
139    return 240;
140}
141
142static void
143addTask( void * vtask )
144{
145    struct tr_web_task * task = vtask;
146    const tr_session * session = task->session;
147
148    if( session && session->web )
149    {
150        CURL * e = curl_easy_init( );
151        struct tr_web * web = session->web;
152        const long timeout = getTimeoutFromURL( task->url );
153        const long verbose = getenv( "TR_CURL_VERBOSE" ) != NULL;
154        const char * user_agent = TR_NAME "/" LONG_VERSION_STRING;
155
156        dbgmsg( "adding task #%lu [%s]", task->tag, task->url );
157
158        if( !task->range && session->isProxyEnabled ) {
159            curl_easy_setopt( e, CURLOPT_PROXY, session->proxy );
160            curl_easy_setopt( e, CURLOPT_PROXYAUTH, CURLAUTH_ANY );
161            curl_easy_setopt( e, CURLOPT_PROXYPORT, session->proxyPort );
162            curl_easy_setopt( e, CURLOPT_PROXYTYPE,
163                                      getCurlProxyType( session->proxyType ) );
164        }
165        if( !task->range && session->isProxyAuthEnabled ) {
166            char * str = tr_strdup_printf( "%s:%s", session->proxyUsername,
167                                                    session->proxyPassword );
168            curl_easy_setopt( e, CURLOPT_PROXYUSERPWD, str );
169            tr_free( str );
170        }
171
172        curl_easy_setopt( e, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4 );
173        curl_easy_setopt( e, CURLOPT_TIMEOUT, timeout );
174        curl_easy_setopt( e, CURLOPT_CONNECTTIMEOUT, timeout-5 );
175        curl_easy_setopt( e, CURLOPT_SOCKOPTFUNCTION, sockoptfunction );
176        curl_easy_setopt( e, CURLOPT_SOCKOPTDATA, task );
177        curl_easy_setopt( e, CURLOPT_WRITEDATA, task );
178        curl_easy_setopt( e, CURLOPT_WRITEFUNCTION, writeFunc );
179        curl_easy_setopt( e, CURLOPT_DNS_CACHE_TIMEOUT, 1800L );
180        curl_easy_setopt( e, CURLOPT_FOLLOWLOCATION, 1L );
181        curl_easy_setopt( e, CURLOPT_AUTOREFERER, 1L );
182        curl_easy_setopt( e, CURLOPT_FORBID_REUSE, 1L );
183        curl_easy_setopt( e, CURLOPT_MAXREDIRS, -1L );
184        curl_easy_setopt( e, CURLOPT_NOSIGNAL, 1L );
185        curl_easy_setopt( e, CURLOPT_PRIVATE, task );
186        curl_easy_setopt( e, CURLOPT_SSL_VERIFYHOST, 0L );
187        curl_easy_setopt( e, CURLOPT_SSL_VERIFYPEER, 0L );
188        curl_easy_setopt( e, CURLOPT_URL, task->url );
189        curl_easy_setopt( e, CURLOPT_USERAGENT, user_agent );
190        curl_easy_setopt( e, CURLOPT_VERBOSE, verbose );
191        if( web->haveAddr )
192            curl_easy_setopt( e, CURLOPT_INTERFACE, tr_ntop_non_ts( &web->addr ) );
193        if( task->range )
194            curl_easy_setopt( e, CURLOPT_RANGE, task->range );
195
196        if( curl_multi_add_handle( web->multi, e ) == CURLM_OK )
197            ++web->taskCount;
198    }
199}
200
201/***
202****
203***/
204
205static void
206task_finish( struct tr_web_task * task, long response_code )
207{
208    dbgmsg( "finished web task %lu; got %ld", task->tag, response_code );
209
210    if( task->done_func != NULL )
211        task->done_func( task->session,
212                         response_code,
213                         EVBUFFER_DATA( task->response ),
214                         EVBUFFER_LENGTH( task->response ),
215                         task->done_func_user_data );
216    task_free( task );
217}
218
219static void
220remove_finished_tasks( tr_web * g )
221{
222    CURLMsg * msg;
223    int msgs_left;
224
225    while(( msg = curl_multi_info_read( g->multi, &msgs_left ))) {
226        if(( msg->msg == CURLMSG_DONE ) && ( msg->easy_handle != NULL )) {
227            long code;
228            struct tr_web_task * task;
229            CURL * e = msg->easy_handle;
230            curl_easy_getinfo( e, CURLINFO_PRIVATE, (void*)&task );
231            curl_easy_getinfo( e, CURLINFO_RESPONSE_CODE, &code );
232            curl_multi_remove_handle( g->multi, e );
233            curl_easy_cleanup( e );
234            task_finish( task, code );
235        }
236    }
237}
238
239static void
240restart_timer( tr_web * g )
241{
242    dbgmsg( "adding a timeout for %.1f seconds from now", g->timer_msec/1000.0 );
243    evtimer_del( &g->timer_event );
244    tr_timerAddMsec( &g->timer_event, g->timer_msec );
245}
246
247static void
248tr_multi_perform( tr_web * g, int fd, int curl_what )
249{
250    CURLMcode mcode;
251
252    dbgmsg( "check_run_count: %d taskCount", g->taskCount );
253
254    /* invoke libcurl's processing */
255    do
256        mcode = curl_multi_socket_action( g->multi, fd, curl_what, &g->taskCount );
257    while( mcode == CURLM_CALL_MULTI_SOCKET );
258
259    remove_finished_tasks( g );
260
261    if( g->closing && !g->taskCount )
262        web_free( g );
263    else
264        restart_timer( g );
265}
266
267/* libevent says that sock is ready to be processed, so wake up libcurl */
268static void
269event_cb( int fd, short ev_what, void * g )
270{
271    int curl_what = 0;
272    if( ev_what & EV_READ ) curl_what |= CURL_POLL_IN;
273    if( ev_what & EV_WRITE ) curl_what |= CURL_POLL_OUT;
274    tr_multi_perform( g, fd, curl_what );
275}
276
277/* CURLMOPT_SOCKETFUNCTION */
278static int
279sock_cb( CURL * e UNUSED, curl_socket_t fd, int action,
280         void * vweb, void * vevent )
281{
282    /*static int num_events = 0;*/
283    struct tr_web * web = vweb;
284    struct event * io_event = vevent;
285    dbgmsg( "sock_cb: action %d, fd %d, io_event %p", action, (int)fd, io_event );
286
287    if( ( action == CURL_POLL_NONE ) || ( action & CURL_POLL_REMOVE ) )
288    {
289        if( io_event != NULL )
290        {
291            event_del( io_event );
292            memset( io_event, TR_MEMORY_TRASH, sizeof( struct event ) );
293            tr_list_append( &web->freeme, io_event );
294            curl_multi_assign( web->multi, fd, NULL );
295            /*fprintf( stderr, "-1 io_events to %d\n", --num_events );*/
296        }
297    }
298    else if( action & ( CURL_POLL_IN | CURL_POLL_OUT ) )
299    {
300        const short events = EV_PERSIST
301                           | (( action & CURL_POLL_IN ) ? EV_READ : 0 )
302                           | (( action & CURL_POLL_OUT ) ? EV_WRITE : 0 );
303
304        if( io_event != NULL )
305            event_del( io_event );
306        else {
307            io_event = tr_new0( struct event, 1 );
308            curl_multi_assign( web->multi, fd, io_event );
309            /*fprintf( stderr, "+1 io_events to %d\n", ++num_events );*/
310        }
311
312        dbgmsg( "enabling (libevent %hd, libcurl %d) polling on io_event %p, fd %d",
313                events, action, io_event, fd );
314        event_set( io_event, fd, events, event_cb, web );
315        event_add( io_event, NULL );
316    }
317    else tr_assert( 0, "unhandled action: %d", action );
318
319    return 0; /* libcurl documentation: "The callback MUST return 0." */
320}
321
322/* libevent says that timer_msec have passed, so wake up libcurl */
323static void
324libevent_timer_cb( int fd UNUSED, short what UNUSED, void * vg )
325{
326    tr_web * g = vg;
327    tr_list_free( &g->freeme, tr_free );
328    dbgmsg( "libevent timer is done" );
329    tr_multi_perform( g, CURL_SOCKET_TIMEOUT, 0 );
330}
331
332/* libcurl documentation: "If 0, it means you should proceed immediately
333 * without waiting for anything. If it returns -1, there's no timeout at all
334 * set ... (but) you must not wait too long (more than a few seconds perhaps)
335 * before you call curl_multi_perform() again."  */
336static void
337multi_timer_cb( CURLM * multi UNUSED, long timer_msec, void * vg )
338{
339    tr_web * g = vg;
340
341    g->timer_msec = timer_msec > 0 ? timer_msec : DEFAULT_TIMER_MSEC;
342
343    if( timer_msec < 1 )
344        tr_multi_perform( g, CURL_SOCKET_TIMEOUT, 0 );
345}
346
347/****
348*****
349****/
350
351void
352tr_webRun( tr_session         * session,
353           const char         * url,
354           const char         * range,
355           tr_web_done_func     done_func,
356           void               * done_func_user_data )
357{
358    if( session->web != NULL )
359    {
360        static unsigned long tag = 0;
361        struct tr_web_task * task = tr_new0( struct tr_web_task, 1 );
362        task->session = session;
363        task->url = tr_strdup( url );
364        task->range = tr_strdup( range );
365        task->done_func = done_func;
366        task->done_func_user_data = done_func_user_data;
367        task->tag = ++tag;
368        task->response = evbuffer_new( );
369        tr_runInEventThread( session, addTask, task );
370    }
371}
372
373void
374tr_webSetInterface( tr_web * web, const tr_address * addr )
375{
376    if(( web->haveAddr = ( addr != NULL )))
377        web->addr = *addr;
378}
379
380tr_web*
381tr_webInit( tr_session * session )
382{
383    tr_web * web;
384
385    /* try to enable ssl for https support; but if that fails,
386     * try a plain vanilla init */
387    if( curl_global_init( CURL_GLOBAL_SSL ) )
388        curl_global_init( 0 );
389
390    web = tr_new0( struct tr_web, 1 );
391    web->session = session;
392    web->timer_msec = DEFAULT_TIMER_MSEC; /* overwritten by multi_timer_cb() */
393    evtimer_set( &web->timer_event, libevent_timer_cb, web );
394
395    web->multi = curl_multi_init( );
396    curl_multi_setopt( web->multi, CURLMOPT_SOCKETDATA, web );
397    curl_multi_setopt( web->multi, CURLMOPT_SOCKETFUNCTION, sock_cb );
398    curl_multi_setopt( web->multi, CURLMOPT_TIMERDATA, web );
399    curl_multi_setopt( web->multi, CURLMOPT_TIMERFUNCTION, multi_timer_cb );
400
401    return web;
402}
403
404void
405tr_webClose( tr_web ** web_in )
406{
407    tr_web * web = *web_in;
408    *web_in = NULL;
409    if( web->taskCount < 1 )
410        web_free( web );
411    else
412        web->closing = 1;
413}
414
415/*****
416******
417******
418*****/
419
420const char *
421tr_webGetResponseStr( long code )
422{
423    switch( code )
424    {
425        case   0: return "No Response";
426        case 101: return "Switching Protocols";
427        case 200: return "OK";
428        case 201: return "Created";
429        case 202: return "Accepted";
430        case 203: return "Non-Authoritative Information";
431        case 204: return "No Content";
432        case 205: return "Reset Content";
433        case 206: return "Partial Content";
434        case 300: return "Multiple Choices";
435        case 301: return "Moved Permanently";
436        case 302: return "Found";
437        case 303: return "See Other";
438        case 304: return "Not Modified";
439        case 305: return "Use Proxy";
440        case 306: return "(Unused)";
441        case 307: return "Temporary Redirect";
442        case 400: return "Bad Request";
443        case 401: return "Unauthorized";
444        case 402: return "Payment Required";
445        case 403: return "Forbidden";
446        case 404: return "Not Found";
447        case 405: return "Method Not Allowed";
448        case 406: return "Not Acceptable";
449        case 407: return "Proxy Authentication Required";
450        case 408: return "Request Timeout";
451        case 409: return "Conflict";
452        case 410: return "Gone";
453        case 411: return "Length Required";
454        case 412: return "Precondition Failed";
455        case 413: return "Request Entity Too Large";
456        case 414: return "Request-URI Too Long";
457        case 415: return "Unsupported Media Type";
458        case 416: return "Requested Range Not Satisfiable";
459        case 417: return "Expectation Failed";
460        case 500: return "Internal Server Error";
461        case 501: return "Not Implemented";
462        case 502: return "Bad Gateway";
463        case 503: return "Service Unavailable";
464        case 504: return "Gateway Timeout";
465        case 505: return "HTTP Version Not Supported";
466        default:  return "Unknown Error";
467    }
468}
469
470void
471tr_http_escape( struct evbuffer  * out,
472                const char * str, int len, tr_bool escape_slashes )
473{
474    int i;
475
476    if( ( len < 0 ) && ( str != NULL ) )
477        len = strlen( str );
478
479    for( i = 0; i < len; i++ ) {
480        switch( str[i] ) {
481        case ',': case '-': case '.':
482        case '0': case '1': case '2': case '3': case '4':
483        case '5': case '6': case '7': case '8': case '9':
484        case 'a': case 'b': case 'c': case 'd': case 'e':
485        case 'f': case 'g': case 'h': case 'i': case 'j':
486        case 'k': case 'l': case 'm': case 'n': case 'o':
487        case 'p': case 'q': case 'r': case 's': case 't':
488        case 'u': case 'v': case 'w': case 'x': case 'y': case 'z':
489        case 'A': case 'B': case 'C': case 'D': case 'E':
490        case 'F': case 'G': case 'H': case 'I': case 'J':
491        case 'K': case 'L': case 'M': case 'N': case 'O':
492        case 'P': case 'Q': case 'R': case 'S': case 'T':
493        case 'U': case 'V': case 'W': case 'X': case 'Y': case 'Z':
494            evbuffer_add( out, &str[i], 1 );
495            break;
496        case '/':
497            if(!escape_slashes) {
498                evbuffer_add( out, &str[i], 1 );
499                break;
500            }
501            /* Fall through. */
502        default:
503            evbuffer_add_printf( out, "%%%02X", (unsigned)(str[i]&0xFF) );
504            break;
505        }
506    }
507}
508
509char *
510tr_http_unescape( const char * str, int len )
511{
512    char * tmp = curl_unescape( str, len );
513    char * ret = tr_strdup( tmp );
514    curl_free( tmp );
515    return ret;
516}
Note: See TracBrowser for help on using the repository browser.