첫 외부 사용자가 왔는데 채널 23개가 비어 있었다
Plainfeed는 고른 유튜브 채널의 새 영상만 올라온 순서대로 보여주는 웹사이트예요. 알고리즘 추천 영상과 쇼츠는 섞이지 않아요. 새 영상은 무료인 유튜브 RSS로 받고, RSS가 안 될 때만 유튜브 API로 대신 받습니다.
지난 글에서 RSS가 통째로 404를 낼 때 처음 보는 채널도 대신 받게 고쳤어요. 그 글 끝에 요청당 대신 받는 수(그때 6개)와 1시간 표시는 그대로 둔다고 적었어요. 수는 11월 7일에 15개로 늘렸지만, 이번 글은 그 몫과 1시간 표시가 함께 처음 로그인한 외부 사용자를 막은 기록입니다.
- 대신 받기: RSS가 실패한 채널을 API의 업로드 목록으로 받는 것 (채널마다 1유닛, 하루 할당량 1만 유닛에서 씀)
- 몫: 요청 한 번에 대신 받는 채널 수. 11월 7일 유료 플랜으로 바꾸며 6개에서 15개로 늘렸어요
- 1시간 표시: 처음 보는 채널을 받지 못했을 때 붙이는 표시. 붙은 채널은 1시간 동안 다시 묻지 않아요
무슨 일이 있었나
11월 10일 오후, 한 커뮤니티에 Plainfeed 소개 글을 올린 날이었습니다. 16:29에 처음으로 로그인한 외부 사용자가 구글 계정으로 들어와 유튜브 구독 채널 68개를 한꺼번에 가져왔어요.
그 시각 유튜브 RSS가 다시 404를 내고 있었습니다. 68개 대부분이 처음 보는 채널이라 대신 받아야 했는데, 요청마다 15개까지만 받을 수 있었어요. 그 몫을 넘은 23개에는 1시간 표시가 붙었습니다.
표시가 붙은 채널은 1시간 동안 앱이 다시 물어도 서버가 받지 않습니다. 그 1시간 동안 그분은 다시 오지 않았고, 화면에는 채널 23개가 빈 채로 남아 있었을 거예요. 18:00에 RSS를 다시 확인했을 때는 모두 200으로 돌아와 있었습니다.

왜 막혔나
결론: 지어낸 채널을 막으려던 1시간 표시가, 몫이 모자라 못 받은 진짜 채널에도 붙었습니다.
1시간 표시는 원래, 존재하지 않는 채널 ID를 잔뜩 보내 할당량을 쓰게 만드는 요청을 막으려고 만든 장치예요. 없는 채널은 RSS도 늘 404라서, 표시가 없으면 요청마다 다시 묻게 되니까요.
그런데 코드는 "있는지 확인했지만 몫이 다 차서 못 받은 채널"과 "없는 채널"을 같은 표시로 처리하고 있었어요. 게다가 아는 채널이 몫을 먼저 다 쓴 요청에서는, 있는지조차 묻지 않고 바로 표시를 붙였습니다. 지난 글에서 아는 채널만 챙기던 규칙을 고쳤는데, 이번에는 구독을 한꺼번에 많이 가져온 사람을 놓치고 있었던 거예요.
고친 것
결론: 있는 채널은 표시 없이 다음 요청에 다시 받고, 1시간 표시는 없는 채널과 받기에 실패한 채널에만 붙입니다.
몫이 이미 찼어도, RSS가 실패한 처음 보는 채널은 channels.list로 있는지 먼저 묻습니다. 한 번에 50채널까지 1유닛이에요. 유튜브가 돌려준 채널인데 몫이 차서 못 받으면 아무 표시도 남기지 않아요. 앱은 화면을 열어 두면 10분마다 새 영상을 확인하니, 그때 다시 받습니다.
// 줄인 코드 (lib/youtube.js)
// RSS가 실패한 처음 보는 채널마다
for (const r of unchecked) {
// 없는 채널: 1시간 표시
if (!found.has(r.id)) { r.dead = true; continue; }
// 있는 채널인데 몫이 참: 표시 없이 다음 요청에
if (fallbacks >= maxFallback) continue;
fallbacks++;
// 대신 받기 1유닛
try { r.feed = await fetchUploads(r.id); }
// 대신 받기 실패: 1시간 표시
catch { r.dead = true; }
}
| RSS가 실패했을 때, 처음 보는 채널 | 전 | 지금 |
|---|---|---|
| 있는 채널, 몫 안 | 대신 받음 | 대신 받음 |
| 있는 채널, 몫을 넘음 | 1시간 표시 | 표시 없이 다음 요청(10분 뒤)에 다시 |
| 없는 채널 | 1시간 표시 | 1시간 표시 (그대로) |
| 있는지 묻기 실패 | 1시간 표시 | 1시간 표시 (그대로) |
| 대신 받기 실패 | 1시간 표시 | 1시간 표시 (그대로) |
대가도 있어요. 몫이 찬 요청에서도 있는지를 묻기 때문에, RSS 장애 중에는 요청마다 1유닛이 더 들 수 있어요. 대신 받기 하루 상한(전체 1,500채널)은 그대로라 할당량이 새지는 않습니다. 고친 동작은 가짜 유튜브 응답으로 만든 시험에 더해 두었어요.
숫자
| 항목 | 값 |
|---|---|
| 가져온 구독 채널 | 68개 |
| 1시간 표시가 붙은 그분의 채널 | 23개 (같은 때 표시가 붙은 46개 중) |
| 구독을 가져온 때 | 16:29 |
| RSS가 돌아온 것을 확인한 때 | 18:00 |
| 고친 코드를 올린 때 | 18:11 |
그분은 다음 날 오후에 다시 들어와 채널을 하나 더 넣은 기록이 있어요. 11월 15일 기준으로 모든 계정의 채널 235개가 받아져 있고, 새 영상 알림도 모두 살아 있어요.
마치며
보호 장치를 만들 때는 "막고 싶은 요청"만 떠올렸는데, 실제로 걸린 건 처음 온 사용자였습니다. 첫 화면에서 빈 채널을 본 사람이 다시 와 줄지는 알 수 없어요. 그래서 이제는 의심스러운 요청을 막는 규칙을 만들 때, 같은 규칙에 걸릴 수 있는 정상적인 사람이 누구인지도 함께 적어 두려고 합니다.