Absolutamente. O que se vê é totalmente normal em bebés, particularmente por volta dos 3+ meses de idade. Entre outras coisas, ele pode estar a começar a mamar; ambas as coisas estão associadas a mamar. A baba está associada a basicamente tudo para muitos bebés, e chupar nos dedos (ou polegares ou outras coisas) também é muito normal.
Se a baba é realmente excessiva, pode querer falar com o seu pediatra para garantir que não se deve a algumas causas particulares (tónus muscular baixo, em particular). Caso contrário, compre muitos babetes e coloque-o sempre, por cima da camisa, ou por baixo, se o excesso for um problema. Certifique-se de que é um babete seguro (que não o possa sufocar). Muitos babetes devem ser retirados para dormir, embora eu ache que alguns são seguros®.