apkmirror-scraper-compose
다음 구조 의 디렉토리 가 있습니다.
.
├── docker-compose.yml
├── privoxy
│ ├── config
│ └── Dockerfile
├── scraper
│ ├── Dockerfile
│ ├── newnym.py
│ └── requirements.txt
└── tor
└── Dockerfile
다음을 실행하려고합니다 docker-compose.yml
.
version: '3'
services:
privoxy:
build: ./privoxy
ports:
- "8118:8118"
links:
- tor
tor:
build:
context: ./tor
args:
password: ""
ports:
- "9050:9050"
- "9051:9051"
scraper:
build: ./scraper
links:
- tor
- privoxy
어디 Dockerfile
를위한이 tor
있다
FROM alpine:latest
EXPOSE 9050 9051
ARG password
RUN apk --update add tor
RUN echo "ControlPort 9051" >> /etc/tor/torrc
RUN echo "HashedControlPassword $(tor --quiet --hash-password $password)" >> /etc/tor/torrc
CMD ["tor"]
동안 그 privoxy
입니다
FROM alpine:latest
EXPOSE 8118
RUN apk --update add privoxy
COPY config /etc/privoxy/config
CMD ["privoxy", "--no-daemon"]
config
두 줄로 구성 되는 곳
listen-address 0.0.0.0:8118
forward-socks5 / tor:9050 .
그리고 Dockerfile
for scraper
는
FROM python:2.7-alpine
ADD . /scraper
WORKDIR /scraper
RUN pip install -r requirements.txt
CMD ["python", "newnym.py"]
여기서 requirements.txt
단일 행을 포함합니다 requests
. 마지막으로이 프로그램 newnym.py
은 Tor를 사용하여 IP 주소 변경이 작동하는지 간단히 테스트하도록 설계되었습니다.
from time import sleep, time
import requests as req
import telnetlib
def get_ip():
IPECHO_ENDPOINT = 'http://ipecho.net/plain'
HTTP_PROXY = 'http://privoxy:8118'
return req.get(IPECHO_ENDPOINT, proxies={'http': HTTP_PROXY}).text
def request_ip_change():
tn = telnetlib.Telnet('tor', 9051)
tn.read_until("Escape character is '^]'.", 2)
tn.write('AUTHENTICATE ""\r\n')
tn.read_until("250 OK", 2)
tn.write("signal NEWNYM\r\n")
tn.read_until("250 OK", 2)
tn.write("quit\r\n")
tn.close()
if __name__ == '__main__':
dts = []
try:
while True:
ip = get_ip()
t0 = time()
request_ip_change()
while True:
new_ip = get_ip()
if new_ip == ip:
sleep(1)
else:
break
dt = time() - t0
dts.append(dt)
print("{} -> {} in ~{}s".format(ip, new_ip, int(dt)))
except KeyboardInterrupt:
print("Stopping...")
print("Average: {}".format(sum(dts) / len(dts)))
는 docker-compose build
성공적으로 빌드하지만 내가하려고하면 docker-compose up
, 나는 다음과 같은 오류 메시지가 나타납니다 :
Creating network "apkmirrorscrapercompose_default" with the default driver
ERROR: could not find an available, non-overlapping IPv4 address pool among the defaults to assign to the network
이 오류 메시지에 대한 도움말을 찾으려고했으나 찾을 수 없습니다. 이 오류의 원인은 무엇입니까?
답변
도 커가 최대 생성 네트워크에 있다고 제안했습니다. 이 명령 docker network prune
을 사용하여 하나 이상의 컨테이너에서 사용하지 않는 모든 네트워크를 제거 할 수 있습니다.
Robert 가 다음과 같이 논평 하면서 내 문제는 끝났습니다 : openvpn의 문제는 문제를 service openvpn stop
‘해결했습니다.
답변
OpenVPN이 실행 중이기 때문에이 문제가 발생했습니다. OpenVPN을 종료하자마자 바로 실행되었으며 docker-compose up
오류가 사라졌습니다.
답변
OpenVPN도 작동 하면서이 문제가 발생했으며 OpenVPN 서버를 중지 / 시작하지 않아야하는 솔루션을 찾았습니다.
정확히 사용하려는 서브넷을 지정해야합니다. 에서 docker-compose.yml
쓰기 :
networks:
default:
driver: bridge
ipam:
config:
- subnet: 172.16.57.0/24
그게 다야. 이제 default
네트워크가 사용되며 VPN이 172.16.57.*
서브넷에서 무언가를 할당하지 않았다면 괜찮습니다.
답변
다음 피터 Hauge 의 코멘트를 실행시, docker network ls
다음 (다른 라인들) I 톱을 :
NETWORK ID NAME DRIVER SCOPE
dc6a83d13f44 bridge bridge local
ea98225c7754 docker_gwbridge bridge local
107dcd8aa889 host host local
와 라인 NAME
과 DRIVER
양쪽으로는 host
그는 “이미 호스트에서 생성 된 네트워크”를 참조 무엇 것으로 보인다. 따라서 https://gist.github.com/bastman/5b57ddb3c11942094f8d0a97d461b430 다음 에 명령을 실행했습니다.
docker network rm $(docker network ls | grep "bridge" | awk '/ / { print $1 }')
이제 docker-compose up
작동합니다 ( newnym.py
오류가 발생 하더라도 ).
답변
나도 같은 문제가있어. 나는 실행 docker system prune -a --volumes
, docker network prune
하지만 둘은 나에게 도움이되지 않습니다.
VPN을 사용하고 VPN을 끄고도 커가 정상적으로 시작된 후 네트워크를 만들 수있었습니다. 그런 다음 VPN을 다시 활성화 할 수 있습니다.
답변
다른 답변에서 언급했듯이 Docker의 기본 로컬 bridge
네트워크는 30 개의 서로 다른 네트워크 만 지원합니다 (각각 하나의 이름으로 고유하게 식별 가능). 당신이 그들을 사용 docker network prune
하지 않으면, 트릭을 할 것입니다.
그러나 각각 자체 네트워크가있는 컨테이너를 30 개 이상 설정하는 데 관심이있을 수 있습니다. 그렇게하는 데 관심이 있다면 overlay
네트워크 를 정의해야 합니다. 이것은 좀 더 까다 롭지 만 여기에 매우 잘 설명되어 있습니다 .
편집 (2020 년 5 월) : 링크를 사용할 수 없게되어 문서를 통해 정확한 교체가 이루어지지는 않지만 여기서 부터 시작하는 것이 좋습니다 .
답변
동일한 오류 메시지와 동일한 문제가 있었지만 사용되지 않은 도커 네트워크를 제거하는 솔루션은 도움이되지 않았습니다. 기본이 아닌 도커 네트워크 (및 모든 이미지와 컨테이너도)를 삭제했지만 도움이되지 않았습니다. 도커는 여전히 새 네트워크를 만들 수 없었습니다.
문제의 원인은 OpenVpn 설치 후 남은 네트워크 인터페이스에있었습니다. (이것은 이전에 호스트에 설치되었습니다.) 나는 ifconfig
명령 을 실행하여 찾았습니다 .
...
tun0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:10.8.0.2 P-t-P:10.8.0.2 Mask:255.255.255.0
UP POINTOPOINT RUNNING NOARP MULTICAST MTU:1500 Metric:1
RX packets:75 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:100
RX bytes:84304 (84.3 KB) TX bytes:0 (0.0 B)
tun1 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:10.8.0.2 P-t-P:10.8.0.2 Mask:255.255.255.0
UP POINTOPOINT RUNNING NOARP MULTICAST MTU:1500 Metric:1
RX packets:200496 errors:0 dropped:0 overruns:0 frame:0
TX packets:148828 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:100
RX bytes:211583838 (211.5 MB) TX bytes:9568906 (9.5 MB)
...
몇 가지 명령으로 제거 할 수 있음을 발견했습니다.
ip link delete tun0
ip link delete tun1
이 후 문제가 사라졌습니다.