x264 und h264 ist das gleiche! Nur das der h264 Geld kostet. Das Problem ist das man in den 264 codecs ziemlich viel Einstellen kann, und dies muß für den Player passen!
Ich benutze für solche Sachen den Mediacoder, dort kann man solche Profile selber erstellen. Vieleicht findest du im WWW schon ein fertiges Profil für deinen Player.
Ansonsten mal in der Beschreibung des Players nachsehen welche 264 Profile (min, basline, high) dein Player unterstützt. Es kann auch irgendwas banales sein das z.B. die Anzahl der Vorhersageframes deinem Player nicht passt. Alternativ kann der Mediacoder auch XVid AVI`s erstellen.