Io non lo eliminerei, penso sia una delle cose più caratteristiche che abbia sentito. Anzi, la prima volta che me ne sono accorto pensavo fosse un qualche problema e mi sono messo in allarme...
In ogni caso sono quasi certo che siano gli ingranaggi: se fossero i cuscinetti, si sentirebbe anche con le altre marce a parità di regime di giri; se fosse il differenziale, si sentirebbe almeno con la 3° marcia a parità di velocità.
Per questo motivo sono anche convinto che sparirebbe sostituendo l'olio del cambio con un olio un pochino più viscoso (giustificato peraltro dalla consunzione che potrebbero avere gli ingranaggi dopo parecchi chilometri d'utilizzo).