Имеет ли право российское консульство в Америке отказать нотариально заверять документ гражданину РФ, живущему в Канаде?

Я не суперспециалист в международном частном праве, поэтому ответ даю обобщённый.
Ничего незаконного в таком заявлении нет. Должностные лица консульских учреждений совершают нотариальные действия исключительно в пределах своей компетенции.

При заверении доверенностей, должностное лицо консульства обязано удостоверить вашу личность.
Проверить консульство может только тех физических лиц, доступ к информации по которым у консульства есть. Если вы проживаете на территории другого государства, то сами понимаете, чтобы осуществить проверку вашей личности, необходимо соблюсти кучу процедур.
Отношения между государствами строятся на договорных началах. Межгосударственными договорами охвачены не все, возникающие в жизни, ситуации.

Мне очень понравился сайт консульства в Сиднее. Разъяснения чёткие и конкретные.
Вот что там указано (привожу для примера) :
"Для оформления любого вида доверенностей необходимо личное посещение Генерального консульства доверителем. Консульский сотрудник удостоверяет личность доверителя. Личность гражданина Российской Федерации, постоянно поживающего в Австралии, т. е. стоящего (наверное, имеется в виду состоящего на учёте) на консульском учете в Генеральном консульстве России в Сиднее, Австралия, удостоверяется на основании действительного загранпаспорта. Для граждан Российской Федерации, временно находящихся в Австралии, удостоверение личности происходит на основании действительного внутреннего российского паспорта (или копии страниц с реквизитами и регистрацией по месту жительства в Российской Федерации) и действительного загранпаспорта. Удостоверение доверенностей по почте и по просроченным документам, удостоверяющим личность, не допускается. Удостоверение подлинности подписи осуществляется только при личном обращении в Генеральное консульство Российской Федерации в Сиднее с обязательным предъявлением действительного заграничного паспорта заявителя".

А вообще, по общему правилу, нотариальные функции осуществляются российским консулом за рубежом только при условии, что это прямо предусмотрено соответствующим консульским договором между Россией и государством пребывания или не противоречит внутреннему законодательству иностранного государства.
Государство пребывания - это государство пребывания, а не соседнее государство. Надеюсь это вам разъяснять не надо.

Живущий в Канаде, жевет по законам Канады.

смотря, что заверять
св-во о рождении и браке, по любому заверят....