Não conheço muito bem essa parte do WordPress, mas pelo que vi você deseja utilizar a função add_menu_page() desta forma, sem passar a página nos parâmetros, mas com a função de callback (my_custom_menu_page()), então acredito que dentro desta função você devesse utilizar a instrução include_once() do php, para incluir a página desejada quando a função for chamada.
http://php.net/manual/pt_BR/function.include-once.php
funcionou …
add_action( 'admin_menu', 'register_my_custom_menu_page' );
function register_my_custom_menu_page(){
add_menu_page( 'custom menu title', 'custom menu', 'manage_options', 'custompage', 'my_custom_menu_page', plugins_url( 'myplugin/images/icon.png' ), 6 );
}
function my_custom_menu_page(){
include_once 'teste.php';
}
Obrigada!