6장의 openai api사용 부분에서 rate limit오류가 발생해서 문의합니다.

[seongjin0526]

예제 6.8 기초모델 성능측정 부분에서요. api_request_parallel_processor.py를 사용하는 부분이 있는데 이걸 사용하기 위해서 openai api key를 받고 계정에 10달러 결제 후 실행을 했는데 아래처럼 rate limit 에러가 너무 많이 발생해서요....

찾아보니 --max_requests_per_minute 2500 로 되어있는데 docs에서는 3 RPM이 제한이라고합니다... https://platform.openai.com/settings/organization/limits

그리고 이걸 돌리다보니 또 하루 200개까지가 제한이라고하는데 이러면 GPT-4 평가 수행 부분이 불가능 할 것 같은데 혹시 제 limit이 이상한걸까요....

INFO:root:Starting request #0
INFO:root:Starting request #1
INFO:root:Starting request #2
INFO:root:Starting request #3
...
WARNING:root:Request 3 failed with error {'message': 'Rate limit reached for gpt-4-turbo-preview in organization org------------------------------- on requests per day (RPD): Limit 200, Used 200, Requested 1. Please try again in 7m12s. Visit https://platform.openai.com/account/rate-limits to learn more. You can increase your rate limit by adding a payment method to your account at https://platform.openai.com/account/billing.', 'type': 'requests', 'param': None, 'code': 'rate_limit_exceeded'}
WARNING:root:Request 1 failed with error {'message': 'Rate limit reached for gpt-4-turbo-preview in organization  org------------------------------- on requests per day (RPD): Limit 200, Used 200, Requested 1. Please try again in 7m12s. Visit https://platform.openai.com/account/rate-limits to learn more. You can increase your rate limit by adding a payment method to your account at https://platform.openai.com/account/billing.', 'type': 'requests', 'param': None, 'code': 'rate_limit_exceeded'}
WARNING:root:Request 4 failed with error {'message': 'Rate limit reached for gpt-4-turbo-preview in organization org------------------------------- on requests per min (RPM): Limit 3, Used 3, Requested 1. Please try again in 20s. Visit https://platform.openai.com/account/rate-limits to learn more. You can increase your rate limit by adding a payment method to your account at https://platform.openai.com/account/billing.', 'type': 'requests', 'param': None, 'code': 'rate_limit_exceeded'}
....

[shangrilar]

안녕하세요. 허정준입니다. 질문 남겨주셔서 감사합니다 :)

OpenAI API의 사용량 제한(Rate Limit)은 회원 티어에 따라 RPM, RPD 등을 제한하고 있는데요. 자세한 사항은 아래 링크에서 확인하실 수 있습니다.

https://platform.openai.com/docs/guides/rate-limits/usage-tiers?context=tier-free

말씀해주신 제한으로 봤을 때는 Free Tier(API 활용을 위한 신용카드 등록을 하지 않은 경우)에 해당하시는 것 같습니다.

10달러를 결제하셨다고 하신걸로 봤을 때 신용카드 등록과 크레딧 구매를 이미 하신 것 같아서, 그러면 티어 반영에 시간이 좀 걸리는게 아닌가 싶은데요. 현재 계정의 티어를 확인 해보시는게 좋겠습니다(User Settings > Organization > Limits).

혹시 더 궁금한 사항 있으시면 말씀 부탁드립니다. 감사합니다.

[seongjin0526]

안녕하세요 ㅎㅎ

이거 해보니 5달러 이상 사용을 해야 Limit이 올라가네요. 리밋이 너무 적어서 Support에 문의해서 Tier를 1더 올리긴했습니다만. 12시간이나 걸렸습니다.ㅠ

저처럼 처음 계정 생성해서 돌릴땐 RPM(분당 3회제한)과 RPD(하루 동안 200개 제한)이 있어서 오류코드만 보일수도 있어서 아래 처럼 수정하는게 다른분들께도 좋을것같아요.

api_requtest_paraller_processor.py 파일 돌릴때 아래 옵션값을 처음 사용할때의 Limit으로 수정해서 시간이 걸리더라도 실습 진행에 지장은 없도록할 수 있을 것 같아요.

--max_requests_per_minute 3 \ --max_tokens_per_minute 10000 \

어제 이렇게해서 잘되고있었는데 제가 24시간이 안되어서 RPD에 걸렸는데요. 실습을 위해 돌리는건 112개니까 RPM 3으로 설정하면 처음 설정하는 분들은 RPD에 안걸리고 무난하게 될걸로 보입니다.

[shangrilar]

@seongjin0526 안녕하세요. 공유해주셔서 감사합니다 :)

처음 계정을 생성했을 때 5달러 이상 사용해야 티어가 반영되는군요.

네 말씀해주신 방식으로 변경하거나 안내를 추가하는 방식으로 반영해보겠습니다.

감사합니다 👍