Hallo 
Den Fall c) gibt es meiner Meinung nach nicht, weil es keine
„elastische Reibung“ gibt - Gummi-Zahnstangen sind in der
Natur eher selten. Hast du schon einmal ein Auto gesehen, das
nach einer Vollbremsung rückwärts fährt? Alle Bremsvorgänge
führen bis zum Stillstand, aber nicht weiter.
Wie ich sehe hast du nie einen Flummi ordentlich schnell gedreht und dann auf einem Fliesen-Boden springen lassen, denn er springt dann „hin und her“ bzw. im Zickzack. Das funktioniert auch, wenn du Billiard auf einem Billiard-Tisch mit gummierten Banden spielst.
Wobei das natürlich keine „elastische Reibung“ ist, sondern, die Haftreibung, die das Material verformt und wenn dann bei der Rückformung noch Kontakt besteht wird die Rotation umgekehrt.
Nicht allzu wissenschaftlich erklärt, aber ich denke der Effekt ist klar 
Zum eigentlichen Thema:
Ich bin mir nicht ganz sicher, wie das Programm aufgebaut ist, aber ich vermute, dass ohnehin eine Zerlegung der Bewegung in X- und Y-Richtung (eventuell auch Z) erfolgt. Das würde letztlich ja bedeuten, dass der „Winkel“ nicht weiter wichtig ist, sondern die resultierenden X- und Y-Geschwindigkeiten. Diese lassen sich dank Energieerhaltung auch trotz Drehung recht einfach ermitteln, denn die Rotationsenergie muss (bei vollständiger, verlustfreier Umwandlung) komplett in Bewegungsenergie gewandelt werden, wobei die Richtung immer entlang der Tangente am Berührpunkt verläuft, während die Rotationsrichtung das Vorzeichen bestimmt. (Sollten nicht nur waage-/senkrechte Wände vorhanden sein ist noch ein wenig Trigonometrie nötig
)
Was die Rotationsenergie angeht:
Erot = 1/2 * J * w²
w ist die Winkelgeschwindigkeit und wird in rad/s angegeben.
J ist das Trägheitsmoment und abhängig von Form, Masse und Rotationsachse, die vermutlich wichtigsten sind:
J = 2/3 * m * r² (Hohlkugel)
J = 2/5 * m * r² (Vollkugel)
J = 1/2 * m * r² (Vollzylinder, z.B. ein Puck)
m ist die Masse und r der Radius, dürfte aber hoff ich klar sein 
Bewegungsenergie:
Ekin = 1/2 * m * v²
Zum Anteil, um den die Rotation gebremst wird muss ich mir erst noch ein paar Gedanken machen 
m.f.G.
Schigum
PS: Sollte keine Zerlegung in Partialgeschwindigkeiten erfolgen und tatsächlich der Winkel benötigt werden ließe er sich natürlich trotzdem so berechnen.