Vediamo se riesco a spiegarmi meglio senza entrare in tecnicismi molto stretti.
Bisogna partire dalla composizione di funzioni e dalla estensione analitica di funzioni.
Facciamo un esempio.
Consideriamo la funzione

Ovviamente semplifichiamo e otteniamo

Consideriamo però i domini delle funzioni

e

.
Il primo dominio è

mentre

g(x) e h(x) sono equivalenti in tutto e per tutto TRANNE che in x=1 e x=3
in x=1 e x=3 g(x) NON E' DEFINITA.
h(x) è quindi una estensione della funzione g(x). Scrivo "una" perché potrei immaginarne altre, per esempio potrei definire h(x)=g(x) escludendo x=1 e x=3 e porre h(1)=7 e h(3)=9.
Questa sarebbe comunque una estensione della funzione g(x), in quanto essendo g(x) non definita in quei punti non è errato attribuire a quella funzione qualunque valore reale.
Il fatto che scelga di porre h(1)=h(3)=1 viene fatto per continuità e per rendere la funzione di classe C infinito.
Se volessimo fare un discorso più rigoroso dovremmo definire

e

e scrivere che

.
Uguale a prima, finché non consideriamo rigorosamente i domini delle funzioni.
Infatti nella definizione appena scritta di g(x) tutto fila liscio finché non si scrive il dominio della funzione composta, che deve essere:

Per effettuare quindi le cose correttamente dobbiamo considerare valori di x appartenenti al dominio della funzione INTERNA, dunque

in modo che la prima valutazione di composizione abbia senso.
BASTA? Purtroppo no
Infatti quando applichiamo la funzione ESTERNA dobbiamo necessariamente richiedere che i valori appartengano al suo dominio, cioè

.
Con un minimo di ragionamento capiamo quindi che se la funzione e la sua composta non sono entrambe biiettive NON possiamo comporre nulla.
Possiamo solo operare restrizioni sulle funzioni, restringendo il dominio per garantire la biiettività.
Veniamo quindi al nostro caso.
Qui le cose si complicano perché la funzione k e la funzione f sono inverse.
Se applichiamo la definizione alla lettera dobbiamo garantire quindi CONTEMPORANEAMENTE che x siano valori presenti nel dominio SIA della funzione interna che di quella esterna.
Questo non è possibile, perché il dominio di x^2 è tutto l'asse reale, mentre il dominio di radice di x è solo l'asse reale positivo.
A RIGORE LA COMPOSIZIONE DI FUNZIONE HA DOMINIO NULLO, per cui, in pratica non ha senso.
Abbiamo scritto un nonsense matematico? SI.
Volendo essere un po' meno inflessibili quello che possiamo fare è considerare una estensione analitica della funzione, restringendo il dominio ai soli reali positivi.
Qui tutto funziona perfettamente:

,

Volendo essere ancora meno inflessibili possiamo cercare di restringere ai reali negativi, prendendo il ramo negativo di x^2. Qui però sorge un problema. Nuovamente a rigore la cosa non ha senso, nemmeno in questo caso, perché la composta f con k(x)=1/x ha dominio nullo.
Possiamo quindi prendere l'estensione analitica della radice nel suo ramo negativo e così facendo otterremo sempre valori positivi.
Per cui alla fine ha ragione
dimaios: scrivere

è una convenzione, o meglio una delle possibili estensioni (quella analitica) della funzione composta.
Dove la funzione è biiettiva invece il dominio è sempre l'intero asse dei reali, per cui la scrittura

non desta particolari preoccupazioni.
In campo complesso le cose si complicano un po'. In campo complesso le potenze sono sempre definite in tutto

, ma la funzione radice non esiste.
Ne avevamo discusso
DirtyDeeds e io in
questo thread.
Questo discorso vale solo in campo reale e per esponenti interi.
Una sfida interessante, affrontata dal sig. Dedekind, per chi volesse approfondire, è data da

, per esempio. Qui le cose diventano un po' più complicate, ma direi che possiamo lasciar perdere.
La domanda dell'OP non è comunque per nulla banale.
Chi vuole approfondire la composizione di funzioni può vedere per esempio
qui.
Solita domanda: ho risposto all'OP?
EDIT: grazie a
boiler che mi ha segnalato una svista.