J'apporte ma contribution :

1 Selon le Petit Robert (2007), ON n'est que familier, et uniquement lorsqu'il équivaut à tu, nous et vous. (C'est mon résumé.)

2 Selon la même source, le verbe être employé au passé avec un complément de lieu ou un infinitif, signifie "aller".

Voici le texte exact :
"3 (Au passé, avec un compl. de lieu, un inf.) Aller.
* J'ai été à Rome l'an dernier. J'y suis allé.
* Nous avons été l'accompagner.
(La suite n'apporte rien.)

La nuance exprimée par Jean-Luc ne semble pas fondée SELON cette source. Et pourtant, il me semble l'avoir lue quelque part. Je vais essayer de retrouver cette source, mais sans garantie.

Bonne nuit !
Edy

J'ai omis de signaler qu'il y avait une faute d'accord dans la question :
* On (= nous apparemment) est alléS au café.
(Ou allées, s'il y a lieu.)

En effet, si le verbe doit être au singulier (accord avec ON), les autres accords se font avec le ou les référents.