Kyburz gewann 2009 in Italien die Junioren-Weltmeisterschaft im Sprint. 2011 sorgte er für Aufsehen, als er in Porvoo den Weltcupauftakt gewann. Im Laufe der Weltcupsaison kam er zudem zweimal auf einen dritten Platz. In der Gesamtwertung belegte er Rang vier hinter Daniel Hubmann, Thierry Gueorgiou und Matthias Merz. Bei den Weltmeisterschaften 2011 in Frankreich gewann Kyburz ausserdem seine Sprint-Qualifikation, im Final kam er aber nur auf den 20. Platz.
Bei den Europameisterschaften 2012 kam Kyburz im Sprint auf Rang sechs und sprintete für das Team Schweiz 2 in der Staffel auf der Schlussstrecke zu Gold. Bei den Orientierungslauf-Weltmeisterschaften 2012 in Lausanne gewann er, vor seinen beiden Teamkameraden Matthias Merz und Matthias Müller die Goldmedaille im Sprint. Bei den World Games 2013 in Kolumbien wurde Kyburz zum erfolgreichsten Orientierungsläufer dieser Spiele.[1] Im Sprint gewann er knapp vor dem Russen Andrey Khramov und dem Schweden Jerker Lysell. In der Mittel-Distanz setzte er sich gegen seinen Schweizer Teamkollegen Daniel Hubmann und den Litauer Vilius Aleliūnas durch. Zum Abschluss erkämpfte sich Kyburz seine dritte Goldmedaille, welche er deutlich mit der Mixed-Staffel (zusammen mit Daniel Hubmann, Sara Lüscher und Judith Wyder) vor den Teams aus Dänemark und Österreich gewann.
Am 16. April 2020 verbesserte Kyburz mit seiner Zeit von 2:56:35 h den Weltrekord über die 50-Kilometer-Strecke auf einem Laufband.[2] Für 2024 setzte er sich zum Ziel, bei den Olympischen Spielen in Paris den Marathon zu laufen, betreut von Viktor Röthlin. Er schaffte die Limite bei einem Rennen in Paris am 7. April 2024 mit 2:07:44 h, der schnellsten Zeit, die ein Schweizer bei seinem Debüt lief.[3] Beim Olympia-Marathon belegte er Rang 30.[4]
