@kabe no estoy muy puesto en el tema. Ojeando:
https://en.wikipedia.org/wiki/Open_gaming_license
si no prevés hacer dinero y te gusta D&D, yo tiraría por ahí. Si quieres ser "legal a rajatabla", seguro que puedes encontrar un sistema "realmente" abierto que te guste y te encaje tanto como D&D. (Yo sólo conozco Fate, que no parece encajar con lo que quieres hacer.)