cleanmysourcetree.c

   1 #define _GNU_SOURCE
   2
   3 #include <dirent.h>
   4 #include <unistd.h>
   5 #include <stdio.h>
   6 #include <err.h>
   7 #include <string.h>
   8 #include <stdbool.h>
   9 #include <signal.h>
  10 #include <poll.h>
  11 #include <errno.h>
  12 #include <sys/types.h>
  13 #include <sys/stat.h>
  14 #include <sys/inotify.h>
  15 #include <sys/wait.h>
  16 #include <sys/prctl.h>
  17 #include <uthash.h>
  18
  19 enum delstate {
  20   DELSTATE_NO, /* source file that was accessed, keep it */
  21   DELSTATE_MAYBE, /* source file that was not touched so far, delete it if it stays unused */
  22   DELSTATE_YES /* generated file in a run with delete_new = true, delete it */
  23 };
  24
  25 // describes a file or a directory that was created during compilation
  26 typedef struct {
  27   UT_hash_handle hh;
  28   enum delstate delstate;
  29   char name[]; /* path relative to project root; hashmap key */
  30 } file;
  31 file *hashed_files = NULL;
  32
  33 // describes a directory that existed before compilation
  34 typedef struct {
  35   UT_hash_handle hh;
  36   int watch_descriptor; /* hashmap key */
  37   char name[];
  38 } directory;
  39 file *hashed_dirs = NULL;
  40
  41 int inotify_fd = -1;
  42
  43 void *xmalloc(size_t len) {
  44   void *ret = malloc(len);
  45   if (ret == NULL && len != 0)
  46     err(1, "memory allocation failure");
  47   return ret;
  48 }
  49
  50 static void add_file(const char *file_path) {
  51   file *f;
  52   HASH_FIND_STR(hashed_files, file_path, f);
  53   if (f)
  54     errx(1, "we tried to add the file '%s' twice, probably because you're messing "
  55       "around in the filesystem and removing and adding files during the initial scan "
  56       "step. stop it.", file_path);
  57
  58   f = xmalloc(sizeof(*f) + strlen(file_path) + 1);
  59   strcpy(f->name, file_path);
  60   f->delstate = DELSTATE_MAYBE;
  61   HASH_ADD_STR(hashed_files, name, f);
  62 }
  63
  64 static void add_dir(const char *dir_path) {
  65   directory *d = xmalloc(sizeof(*d) + strlen(dir_path) + 1);
  66   strcpy(d->name, dir_path);
  67
  68   // Don't register watches on files to avoid running into the fs.inotify.max_user_watches limit.
  69   // Instead, register watches on all directories. There shouldn't be too many of those.
  70   d->watch_descriptor = inotify_add_watch(inotify_fd, dir_path,
  71     IN_OPEN | IN_CREATE | IN_MOVED_TO | IN_EXCL_UNLINK | IN_ONLYDIR);
  72   if (d->watch_descriptor == -1)
  73     err(1, "unable to add inotify watch for '%s'", dir_path);
  74
  75   directory *d_existing;
  76   HASH_FIND_INT(hashed_dirs, &d->watch_descriptor, d_existing);
  77   if (d_existing)
  78     errx(1, "the kernel says we watched the same directory twice. whatever you're doing "
  79       "to make the filesystem behave that way, stop it.");
  80   HASH_ADD_INT(hashed_dirs, watch_descriptor, d);
  81 }
  82
  83 static void add_files_recursive(const char *current_path) {
  84   DIR *d = opendir(current_path);
  85   if (d == NULL)
  86     err(1, "unable to open directory '%s'", current_path);
  87
  88   struct dirent entry;
  89   struct dirent *r_entry;
  90   while (1) {
  91     if (readdir_r(d, &entry, &r_entry))
  92       errx(1, "readdir_r failed");
  93     if (r_entry == NULL)
  94       break;
  95     if (strcmp(entry.d_name, ".") == 0 || strcmp(entry.d_name, "..") == 0)
  96       continue;
  97
  98     char file_path[strlen(current_path) + 1 + strlen(entry.d_name) + 1];
  99     sprintf(file_path, "%s/%s", current_path, entry.d_name);
 100
 101     struct stat st;
 102     if (lstat(file_path, &st))
 103       err(1, "unable to stat '%s'", file_path);
 104     switch (st.st_mode & S_IFMT) {
 105       case S_IFREG:
 106         add_file(file_path);
 107         break;
 108       case S_IFDIR:
 109         // First recurse, then add the watch. This avoids spamming ourselves with irrelevant
 110         // directory open events.
 111         add_files_recursive(file_path);
 112         break;
 113       default:
 114         break;
 115     }
 116   }
 117   add_dir(current_path);
 118   closedir(d);
 119 }
 120
 121 volatile bool child_quit = false;
 122
 123 void handle_sigchld(int n) {
 124   if (waitpid(-1, NULL, WNOHANG) == -1)
 125     err(1, "wait for child failed");
 126   child_quit = true;
 127   puts("processing remaining events...");
 128 }
 129
 130 void usage(void) {
 131   puts("invocation: cleanmysourcetree <deletenew/keepnew> [<target directory>]");
 132   puts("deletenew will cause files and directories created by "
 133     "the compilation process to be deleted.");
 134   exit(1);
 135 }
 136
 137 int main(int argc, char **argv) {
 138   bool delete_new;
 139
 140   if (argc == 3) {
 141     if (chdir(argv[2]))
 142       err(1, "unable to chdir to specified directory");
 143   } else if (argc != 2) {
 144     usage();
 145   }
 146   if (strcmp(argv[1], "deletenew") == 0) {
 147     delete_new = true;
 148   } else if (strcmp(argv[1], "keepnew") == 0) {
 149     delete_new = false;
 150   } else {
 151     usage();
 152   }
 153
 154   // collect filenames, init watches
 155   inotify_fd = inotify_init1(IN_CLOEXEC | IN_NONBLOCK);
 156   if (inotify_fd == -1)
 157     err(1, "unable to open inotify fd");
 158   add_files_recursive(".");
 159
 160   sigset_t sigchild_mask;
 161   sigemptyset(&sigchild_mask);
 162   sigaddset(&sigchild_mask, SIGCHLD);
 163   if (sigprocmask(SIG_SETMASK, &sigchild_mask, NULL))
 164     err(1, "sigprocmask failed");
 165   if (signal(SIGCHLD, handle_sigchld) == SIG_ERR)
 166     err(1, "unable to register signal handler");
 167
 168   pid_t child = fork();
 169   if (child == -1)
 170     err(1, "can't fork");
 171   if (child == 0) {
 172     prctl(PR_SET_PDEATHSIG, SIGTERM); /* stupid racy API :/ */
 173     puts("dropping you into an interactive shell now. compile the project, then "
 174       "exit the shell.");
 175     // uhhh... yeah.
 176     system("$SHELL");
 177     exit(0);
 178   }
 179
 180   // process inotify events until the child is dead
 181   // and there are no more pending events
 182   struct pollfd fds[1] = { { .fd = inotify_fd, .events = POLLIN } };
 183   struct timespec zero_timeout_ts = { .tv_sec = 0, .tv_nsec = 0};
 184   sigset_t empty_mask;
 185   sigemptyset(&empty_mask);
 186   while (1) {
 187     int r = ppoll(fds, 1, child_quit ? &zero_timeout_ts : NULL, &empty_mask);
 188     if (r == -1 && errno == EINTR)
 189       continue;
 190     if (r == -1)
 191       err(1, "ppoll failed");
 192     if (r == 0)
 193       break;
 194
 195     char buf[20 * (sizeof(struct inotify_event) + NAME_MAX + 1)];
 196     ssize_t read_res = read(inotify_fd, buf, sizeof(buf));
 197     if (read_res == -1)
 198       err(1, "read from inotify fd failed");
 199     if (read_res < sizeof(struct inotify_event))
 200       errx(1, "short/empty read from inotify");
 201     struct inotify_event *e = (void*)buf;
 202     while ((char*)e != buf + read_res) {
 203       if (e->mask & IN_Q_OVERFLOW)
 204         errx(1, "inotify queue overflow detected");
 205       if (e->len != 0 && (e->mask & (IN_OPEN | IN_CREATE | IN_MOVED_TO))) {
 206         directory *dir;
 207         HASH_FIND_INT(hashed_dirs, &e->wd, dir);
 208         if (dir == NULL)
 209           errx(1, "unable to find dir by inotify wd, bug!");
 210         char path[strlen(dir->name) + e->len];
 211         sprintf(path, "%s/%s", dir->name, e->name);
 212         file *f;
 213         HASH_FIND_STR(hashed_files, path, f);
 214         // if f is NULL, this is a file/directory generated during compilation
 215         // or a pre-existing directory
 216         if (f != NULL) {
 217           if (f->delstate == DELSTATE_MAYBE)
 218             f->delstate = DELSTATE_NO;
 219         } else if (delete_new && (e->mask & (IN_CREATE | IN_MOVED_TO))) {
 220           f = xmalloc(sizeof(*f) + strlen(path) + 1);
 221           strcpy(f->name, path);
 222           f->delstate = DELSTATE_YES;
 223           HASH_ADD_STR(hashed_files, name, f);
 224         }
 225       }
 226       // step to next event in buffer. yuck.
 227       e = (struct inotify_event *)((char *)e + sizeof(struct inotify_event) + e->len);
 228     }
 229   }
 230
 231   // reset signal handling
 232   signal(SIGCHLD, SIG_DFL);
 233   if (sigprocmask(SIG_SETMASK, &empty_mask, NULL))
 234     err(1, "sigprocmask failed");
 235
 236   close(inotify_fd);
 237   puts("inotify event collection phase is over, deleting stuff...");
 238
 239   // if we want to delete generated files and folders, we haven't seen
 240   // any events for files in generated folders. therefore, to delete
 241   // those folders, they need to be rm -rf'ed. I don't want to write
 242   // logic for that manually, so just execute rm.
 243   for (file *f = hashed_files; f != NULL; f = f->hh.next) {
 244     if (f->delstate == DELSTATE_NO) continue;
 245
 246     pid_t rm_pid = fork();
 247     if (rm_pid == -1)
 248       err(1, "unable to fork for rm");
 249     if (rm_pid == 0) {
 250       execlp("rm", "rm", "-rfv", "--", f->name, NULL);
 251       err(1, "unable to invoke rm");
 252     }
 253     if (wait(NULL) != rm_pid)
 254       err(1, "waiting for rm failed");
 255   }
 256   puts("cleanup complete");
 257   return 0;
 258 }