第四章「憎悪の外見」で、ウォルドロンは「ヘイト・スピーチがもたらす社会的害悪と、それを抑制しようとする立法の実質的な目的」について論じる。ヘイト・スピーチを禁止する実質的目的、保護法益の議論である。その際、ウォルドロンは、ジョン・ロールズの「秩序ある社会」という概念を活用する。ロールズはヘイト・スピーチ刑事規制を主張したわけではないが、ロールズの概念を用いてロールズとは異なる議論を展開できるとするウォルドロンは「秩序ある社会はどのように見えるか」と問う。あるいは、どのように聞こえるか、どのような匂いがするか、政治的美学の研究である。
「人々が人種差別的、宗教的憎悪を支持しているならば、社会は秩序あるものではありえない。秩序ある社会という考えは、ある社会がある正義の構想によって完全にかつ効果的に規制されているという考えである。細かい専門用語を使えば、それは部分的遵守理論ではなくて完全遵守理論である。この説明によるならば、ヘイト・スピーチを生み出すのに十分な遺恨と分断をともなう社会についての議論は、秩序ある社会についての議論ではありえない。なぜならヘイト・スピーチが表現する憎悪とそれがかきたてることを計算されている憎悪はいずれも、その態度が市民の間に広まっている事実――それどころか、普遍的にその態度が取られていること――が秩序ある社会を定義づけるものと想定されている態度とは、両立しないからである。私たちとしては、そうした憎悪の態度が死に絶えて正義の感情に取って代わられるまでは、社会を『秩序ある』と呼ぶことはしない。」
「秩序ある社会がどのように見えるかが重要であるのはなぜか。外見はなぜ重要なのか。その答えは、安全および安心と関係している。すでに述べたように、秩序ある社会は『そこでは誰もが、まさに同一の正義の諸原理を受け入れており、しかも他の誰もがそれらを受け入れていることを知ってもいる』社会だというロールズの洞察をもとに私は議論を組み立てたい。中心となる考えはこうである。すなわち、社会の見かけは、その成員に向けて、社会が安心を伝える主要なやり方のひとつだということである。その際の安心というのは、たとえば、日常生活の中で遭遇したり向き合わされたりする何百、何千という見知らぬ人々によって、彼らがどのように扱われるはずであるかについての安心である。」
ウォルドロンは「秩序ある社会における安心」の供給を「公共財」と見る。「尊厳に基礎をもつ安心はすべての人に対してすべての人によって供給される公共財であり、それは街灯の利益とは違ってひとつの集中的な供給会社によっては供給されえない」と見る。
