あらかじめ Git 管理にあるファイルやディレクトリを .gitignore に追加するには、キャッシュをクリアが必要です。
$ git rm --cached ファイル名
$ git rm --cached -r ディレクトリ名
vi や エディタソフトなどで .gitignore にファイルを追加し、あとはコミットするだけです。