1923年東京生れ。46年、早稲田大学文学部仏文科を卒業後、同大文学部副手を経て、58年、ドナルド・リチイの『映画芸術の革命』（昭森社）の翻訳を手がける。『映画評論』編集部に所属。その後、フリーとなり、スポーツ、文芸批評、映画、音楽、演劇、旅、ギャンブル、恋愛論、女性論など幅広い分野で名筆を振るった。66年に上梓した『スポーツへの誘惑』（珊瑚書房）は名著として知られ、三島由紀夫、大島渚等に絶賛された。69年、三島からの依頼で『三島由紀夫文学論集』（講談社）を編纂。記録映画『東京オリンピック』のシナリオも執筆している。79年には『シャガールの馬』が直木賞候補になり、スポーツ小説集『ロマンティック街道』（話の特集）など、透徹した美意識と独特のロマンティシズムに満ちた文体は、未だに熱狂的なファンが多い。作家としての飛躍が期待されたが、83年、脳血栓で倒れ、八年間にわたる闘病生活の末、91年六月、肺炎のために死去。同年、玉木正之編で『虫明亜呂無の本』全三巻（筑摩書房）が刊行されている。09年、エッセイ集『女の足指と電話機――回想の女優たち』（清流出版）が編まれると、NHK BSブックレビュー、新聞、雑誌の書評等で絶賛され、再評価の機運が高まっている。