Yerba Buena Island została oficjalnie nazwana Goat Island (Kozia Wyspa) przez U.S. Geographic Board (urząd federalny do spraw nazw geograficznych) w 1895 roku i ta nazwa pozostał aż do roku 1931, wtedy to władze San Francisco zdecydowały, że nazwa (Kozia Wyspa) Goat Island niezbyt nadaje się na nazwę łącznika między nowym mostem Bay Bridge a miastem i przekonały do tego U.S. Geographic Board, który zmienił nazwę na Yerba Buena Island.Nie po raz pierwszy doszło do nieporozumień dotyczących nazwy tej wyspy. Hiszpański porucznik marynarki Juan Manuel de Ayala nadał dzisiejszej Yerba Buena Island nazwę La Isla de Los Alcatraces (Wyspa Pelikanów) w 1775 roku, ale angielski kapitan marynarki rysujący mapy okolicy w 1826 roku przez pomyłkę nazwał tak wyspę, na której stoi teraz byłe więzienie znane jako... Alcatraz.
W 1870, Central Pacific Railroad zaproponowała budowę mostu kolejowego na Yerba Buena Island z Oakland. Doki miały być zbudowane na wyspie, skąd towary miały być przeładowywane z wagonów towarowych na statki płynące w świat. Pomysł został porzucony na rzecz portu w Oakland.
Wyspą połączona jest ze sztuczną wysepką Treasure Island 274 metrową rampą a obydwa moduły mostu Bay Bridge połączone są ze sobą 160 metrowym tunelem. Na wyspie znajduje się kilka domów mieszkalnych, mała latarnia morska i placówka Straży Przybrzeżnej.
