En tant que telle, cette expression est attestée en 1531.
Mais c'est dans la Bible (Genèse 15.5) qu'elle prend sa source, alors qu'il y est question de la descendance d'Abraham en nombre aussi incalculable que les étoiles ou les grains de sable des rivages :
« Tu seras le père d’une grande nation, ta descendance sera comme la poussière de la terre, si quelqu’un peut compter les étoiles du ciel, il pourra alors compter ta descendance »
Compte tenu de leur nombre, il faudrait effectivement être un peu sot pour espérer arriver à compter les étoiles lors d'une nuit claire passée loin de la pollution lumineuse d'une ville.
On comprend donc aisément l'association avec une tâche vouée à l'échec.