結論からいうとタイトルのままだがやや正確さを欠いているので正確に言い直しておく。Google Fontsをサイト通り普通に読み込んでいる限り高いPageSpeedとGoogleFontsによるウェブフォント採用は両立できません。あくまで意見であって事実でも真実でもないが正しいと思っている。ちなみにサイト通りの読み込み方法というのは<head></head>内に
<link href="https://fonts.googleapis.com/css?family=Noto+Sans+JP&display=swap" rel="stylesheet"> を記述してfont-familyに'Noto Sans JP', sans-serif;を指定することを言います。Noto Sansの場合の例です。これがいわゆる「いわれるがままGoogle Fonts」というものです。