In questo romanzo Sherlock Holmes viene ingaggiato dalla signorina Mary Morstan; il padre aveva trovato, all'insaputa della figlia, durante il soggiorno militare in India un tesoro, ma nel momento di tornare era scomparso senza mai giungere a casa. Dopo quattro anni dalla scomparsa del padre la signorina ricevette una perla, e da allora ne ricevette una ogni anno, nello stesso giorno. La ragazza si è recata da Holmes perché l'autore di questi regali l'aveva contattata per incontrarla. Holmes e Watson la accompagnano all'appuntamento; il loro ospite è il signor Thaddeus Sholto, figlio di un amico del padre di Mary. Il vecchio Sholto e Morstan avevano trovato anni prima il tesoro ma, durante una lite, il padre della signorina Mary aveva avuto un attacco di cuore ed era morto; quando morì anche il padre di Sholto i figli ebbero l'incarico di ritrovare il tesoro nascosto nella casa e darne una parte a Mary.
Vi erano però vari misteri legati a quel tesoro. Ad esempio, il padre di Sholto aveva una grandissima paura verso gli uomini con una gamba sola ed il giorno della sua morte era arrivata una strana lettera firmata "il segno dei quattro". La sera stessa della visita a Thaddeus, Holmes, la ragazza, lo stesso Sholto e Watson si recano alla casa del fratello gemello di Sholto, Bartholomew, che aveva ritrovato di recente il tesoro nascosto dal padre, che però trovano assassinato da una freccia avvelenata; inoltre il tesoro è stato rubato.
Mentre sopraggiunge l'incapace ispettore di polizia Athelney Jones, sul luogo del delitto Holmes e Watson trovano degli indizi: delle impronte su tutto il pavimento di un uomo con una gamba di legno e delle impronte più piccole, che si scopriranno appartenere ad un selvaggio delle isole Andamane. Sherlock Holmes e Watson seguono le tracce dei due assassini grazie all'aiuto di un cane, Toby, che li guida fiutando l'odore di creosoto fino ad un "porto" dove scoprono che un uomo con una gamba di legno era partito da poco con una barca veloce. In breve Holmes spiega anche a Watson chi sono gli assassini, ma non riesce a comprendere il loro movente.
Dopo numerose ricerche ed un lungo inseguimento in barca Holmes riesce ad arrestare l’uomo dalla gamba di legno, che si chiama Jonathan Small, e ad uccidere l’indiano (Tonga) che aveva tentato di ucciderlo con una delle sue frecce avvelenate. Prima di essere arrestato, l'uomo dalla gamba di legno apre il baule del tesoro e lascia cadere il contenuto nel fiume in modo che non possa più essere trovato. Jonathan Small racconta in seguito che il tesoro gli spettava poiché era stato lui insieme ad altri tre suoi compagni a trovarlo e a portarlo nel suo paese dopo tante fatiche; era quindi quello il segno dei quattro. In seguito il padre di Mary e Sholto rubarono il tesoro, e Jonathan Small evase dal carcere per riprenderselo a tutti i costi. Dice infine che non aveva intenzione uccidere il fratello di Sholto, ma il suo complice l’aveva assassinato senza pietà. Alla fine del romanzo Watson, colpito dalla bellezza e dal coraggio della signorina Morstan, le chiede di sposarlo e lei accetta.